69 компаній Edge AI NPU: чипи, SDK і YOLO (2026)

Єдиного ринку NPU немає. Цей невичерпний посібник охоплює 69 компаній і платформних екосистем: 51 постачальника чипів або платформ для розгортання, дев'ять постачальників IP NPU та дев'ять чітко позначених компаній зі списку спостереження. Вони охоплюють кілька несумісних класів прискорювачів і майже стільки ж стосів компіляторів. Більшість обіцяє той самий шлях: експортувати модель, квантувати її, скомпілювати, скопіювати пропрієтарний артефакт на плату й запустити середовище виконання постачальника. Саме деталі визначають, чи цей шлях займе пів дня або квартал роботи інженерів.

Цей посібник описує компанії, що надають надійне обладнання для комп'ютерного зору у 2026 році. У ньому наведено відповідні чипи, назви SDK і компіляторів, артефакти для розгортання, рівень публічного доступу та моделі, які постачальник справді документує. Окрему увагу приділено Amlogic, чий новіший стек ADLA суттєво відрізняється від старішої екосистеми NPU A311D.

Обсяг дослідження: джерела перевірено 15 серпня 2026 року. Твердження про конкретні моделі спираються на власні сторінки продуктів, документацію, каталоги моделей, репозиторії або посібники постачальників, якщо не зазначено інше. Заявлені TOPS є показниками постачальників, а не незалежно зіставними результатами бенчмарків. Це посібник для розробників, а не інвестиційна порада чи платний рейтинг.

Швидка навігація: таблиці компаній | детальний огляд Amlogic | профілі постачальників | таблиця скомпільованих артефактів | доступ і життєвий цикл | план LibreYOLO

Головний висновок

Апаратне забезпечення фрагментоване, але схема розгортання напрочуд послідовна:

PyTorch checkpoint
    -> ONNX or TFLite interchange graph
    -> representative calibration data
    -> vendor quantizer and graph compiler
    -> chip-specific binary or model package
    -> vendor runtime on the target
    -> application preprocessing, decode, NMS and rendering

ONNX прямо підтримує середовища виконання, генератори коду й апаратні реалізації, але файл ONNX є лише точкою передачі. Це не означає, що кожен оператор ONNX можна перетворити для кожного прискорювача. Те, що справді працюватиме на NPU, визначають статичні форми вхідних даних, обмеження підтримуваних операторів, правила квантування та резервне виконання на хості.

Отже, програмний стек є частиною чипа. Формально швидкий NPU із закритим або нестабільним компілятором може виявитися гіршою ціллю для розгортання, ніж менш потужний пристрій із відкритим набором інструментів, каталогом моделей, симулятором і стабільним середовищем виконання.

Що в цьому посібнику означає «підтримується»

У документації постачальників слово підтримка вживають дуже вільно. У цій статті розрізнено чотири рівні доказів:

Це розрізнення має значення. «Імпортує ONNX» не означає «підтримує сегментацію YOLO11». Модель може розібратися, але перейти на CPU, скомпілюватися з неправильними вихідними числовими значеннями, переповнити пам'ять прискорювача або втратити точність під час квантування.

Компанії та платформи NPU: огляд

У таблицях навмисно поєднано SoC, дискретні прискорювачі, розумні сенсори та суміжні цілі GPU/FPGA. Вони конкурують за те саме рішення щодо розгортання, навіть коли постачальники використовують назви NPU, AIPU, BPU, KPU, DLA, HTP, TPU чи MLA.

Вбудовані SoC, розумні сенсори та промислові процесори

Спеціалізовані edge-прискорювачі та модулі

Суміжні платформи, які розробники порівнюють із NPU

Amlogic: два покоління NPU, а не одне

Amlogic заслуговує на окремий розгляд, оскільки вебджерела часто об'єднують несумісні продукти. Компанія має старіший шлях на основі VeriSilicon і новіший власний шлях ADLA. Вони використовують різні компілятори, артефакти й середовища виконання.

У даташиті A311D зазначено початковий NPU на 5 TOPS INT8. На старій сторінці застосунків Khadas VIM3 і в огляді NPU задокументовано DenseNet CTC, MTCNN, RetinaFace, YOLOFace, YOLOv2, YOLOv3, YOLOv3-tiny, YOLOv4, YOLOv7-tiny та YOLOv8n; в огляді також наведено YOLOv8n-pose, а FaceNet позначено застарілою. Це реальні приклади, але вони свідчать про стару екосистему Acuity .nb, а не про поточні чипи ADLA. A311D не є A311D2, а C305X не є C305X2.

Є й друга апаратна пастка. У посібнику з ревізій Khadas VIM4 зазначено, що початкова плата V12/A311D2 ревізії B не має NPU; заявлений NPU на 3.2 TOPS з'явився у V13A та пізніших платах із компонентом A311D2-N0D ревізії C. Самої назви продукту недостатньо, щоб вибрати пристрій для тестування.

Поточний стек AMLNN і ADLA

Поточний AMLNN Toolkit охоплює перетворення моделей, квантування, компіляцію, інференс і профілювання. У його зафіксованому посібнику користувача за травень 2026 року задокументовано імпортери ONNX, TFLite з рухомою комою або квантизований, TorchScript .pt і PyTorch 2 ExportedProgram/PT2. У докладному посібнику шляхи TensorFlow, Paddle і Keras позначено як заплановані, хоча в огляді репозиторію формулювання ширше. Компілятор створює .adla. Для розгортання Python використовують AMLNN або amlnn_edge_toolkit_lite; нативний C/C++ підключає libnnsdk.so через nnsdk2.h. Для розробки на хості можна використовувати ADB із nnserver; середовище виконання також підтримує Android, Buildroot, Yocto та окремі середовища Debian/Armbian.

Поточні ідентифікатори платформ, опубліковані в наборі інструментів:

Поле цілі має практичне значення. Amlogic вимагає, щоб .adla, nnsdk2.h, libnnsdk.so, BSP і покоління компілятора/середовища виконання відповідали одне одному. У закріпленому посібнику зі швидкого старту вимагається драйвер ADLA версії 2.0.2 або новішої, NNSDK 3.0.0 або новішої та NNSDK2 1.0.0 або новішої; у посібнику з розгортання Android конкретно пояснено зв'язок бібліотеки, заголовка, драйвера й BSP. Розглядайте .adla як артефакт збірки, прив'язаний до ABI, а не як переносну модель.

Квантування також залежить від покоління NPU. Для цілей ADLA2 001-006 задокументовано компіляцію W8A8 і W8A16. Цілі ADLA3 007 і 008 додають комбінації W4A8, W4A16, W8A8, W8A16 і W16A16, а також нативну підтримку INT4, FP16 і BF16 в посібнику з операторів. Amlogic рекомендує 200-500 репрезентативних зразків для калібрування. Опція випадкових даних прямо призначена для тестування продуктивності, а не для квантування зі збереженням точності.

Задокументоване охоплення моделей Amlogic

Закріплений каталог моделей Amlogic є набагато сильнішим доказом, ніж загальна заява про підтримку ONNX. У його опублікованій матриці підтримки/прикладів названо A311D2, S905X5, A311Y3, C305X2 та A123X. Те, що компілятор приймає інші ідентифікатори цілей, не доводить валідації на них усього цього списку моделей.

У цьому ж репозиторії опубліковано такі показники роботи моделі й середовища виконання W8A8. Це вимірювання постачальника для нейронної мережі на NPU, а не для повного пайплайна камери.

Застереження тут особливо важливі. У посібнику з операторів Amlogic вказано, що NMS виконується програмно і на ADLA2, і на ADLA3. У README ці результати визначено як вимірювання роботи моделі на NPU; попередню та післяобробку виключено, але не уточнено, чи враховано всі передавання даних із пам'яті. У рядках точності для YOLO використовуються підмножини COCO із 300 зображень, а в рядках класифікації набір ImageNet val1000. Також у таблицях наведено іншу затримку YOLOv8n на A311Y3, ніж у таблиці FPS, і репозиторій не пояснює різницю умов. Не вказано частоти, режим живлення, охолодження, точні версії SDK/BSP і тривалість тестування. Використовуйте ці цифри для розуміння стека одного постачальника, а не для порівняння з іншим.

Чому Amlogic має стратегічний інтерес

Amlogic поєднує чотири незвичні переваги: широке поширення вбудованих SoC, нещодавно відкритий компілятор, поточну матрицю моделей із великим перетином із завданнями LibreYOLO та відносно слабку першокласну інтеграцію в поширені бібліотеки навчання. Поточні репозиторії також нові: вони стали публічними наприкінці 2025-го й на початку 2026 року, а змістовні посібники датовано періодом із травня до липня 2026 року. Це створює реальну можливість стати першими, а також ризик нестабільності API.

Чисту інтеграцію варто побудувати так: детермінований експорт ONNX LibreYOLO слугує входом для компілятора, для збірок із низькою точністю використовуються репрезентативні калібрувальні зображення, створюються .adla і маніфест метаданих, а завантаження виконує адаптер NNSDK2. Для застарілого A311D слід використовувати чітко окрему ціль .nb, оскільки подання .nb і .adla як одного бекенду спричинило б непомітні помилки сумісності. Репозиторії Amlogic містять ліцензії Apache-2.0 верхнього рівня, але права на поширення комплектних коліс, спільних бібліотек, nnserver і двійкових файлів Android AAR слід підтвердити безпосередньо, перш ніж LibreYOLO включатиме їх до своїх матеріалів.

Найсильніші відкриті екосистеми розгортання

Наведені нижче компанії наразі пропонують найкраще поєднання доступного обладнання, публічних технічних матеріалів і свідчень щодо названих моделей. Це не означає, що вони завжди швидші. Їхні твердження про сумісність легше оцінити до купівлі обладнання.

Hailo

Hailo є взірцевим прикладом екосистеми спеціалізованого прискорювача для комп'ютерного зору. Моделі розбираються у Hailo Archive, оптимізуються та квантуються на репрезентативних зображеннях, після чого компілюються у файл Hailo Executable Format (.hef). Застосунки завантажують цей HEF через HailoRT.

Hailo Model Zoo містить рецепти, попередньо навчені моделі, конфігурації післяобробки й дані продуктивності для виявлення, сегментації, класифікації, оцінювання пози та інших завдань. До переліку YOLO входять YOLOv3/v4/v5/v6/v7/v8/v9/v10/11/12 і YOLO26, а також YOLOX, DAMO-YOLO, SSD та EfficientDet. Таблиця виявлення об'єктів Hailo-8 із фіксацією версії є кращим джерелом сумісності, ніж загальна сторінка продукту, а окремий застосунок описує готові до розгортання пайплайни YOLO.

Важливо враховувати межу між версіями. Hailo-8 і Hailo-8L використовують старішу лінійку Model Zoo 2.x, Dataflow Compiler 3.x і HailoRT 4.x, тоді як Hailo-10 і Hailo-15 використовують поточне покоління 5.x. Рецепти, поведінка парсера й HEF не взаємозамінні лише тому, що всі пристрої мають назву Hailo.

Для Hailo-15 також передбачено окремий рівень застосунків. Він використовує Vision Processor Software Package і Hailo Media Library, а не шлях хоста у стилі TAPPAS для Hailo-8/10H. Публічний довідковий репозиторій hailo-camera-apps заархівували 3 травня 2026 року, а hailo-apps-core залишається окремим публічним фреймворком застосунків. Архівування репозиторію не доводить завершення життєвого циклу продукту, але для проєктів Hailo-15 варто уточнити поточний пакет застосунків у Developer Zone.

У посібнику з розгортання Hailo LibreYOLO навмисно зупиняється на передачі статичного ONNX, оскільки пропрієтарний компілятор не можна включити як залежність Python. Це чесна межа між створенням відповідного графа й заявою про перевірений HEF.

Rockchip

Rockchip має одну з найбільших екосистем плат для вбудованого Linux серед ентузіастів і комерційних розробників, особливо на RK3588, RK3576 і RK356x. Публічний RKNN-Toolkit2 перетворює та квантує моделі на хості з x86 Linux, а RKNN Runtime або Toolkit-Lite виконує отриманий файл .rknn на платі.

У RKNN Model Zoo незвично чітко зазначено чипи, сімейства моделей і точність. У поточній таблиці перелічено шляхи FP16 і INT8 для YOLOv5/6/7/8/10/11, YOLOX, PP-YOLOE, YOLO-World і варіантів сегментації YOLOv5/v8; YOLOv8 OBB і YOLOv8 pose зазначено лише для INT8. Також охоплено OCR, обличчя та інші мережі сегментації.

У LibreYOLO вже є консервативний прямий експортер RKNN. Він перевіряє чотири конкретні варіанти виявлення на RK3588, може порівняти симулятор компілятора з ONNX Runtime та відхиляє невалідовані сімейства замість того, щоб прирівнювати успішну збірку до правильних передбачень. Така вузька заява про підтримку є добрим прикладом для кожного майбутнього бекенду NPU.

Axelera AI

Axelera AI, яку часто помилково пишуть як «Accelera», створює AIPU Metis і продає її у продуктах M.2, PCIe та багаточипових системах. У продажу наразі є сімейство Metis; Europa й Titania є анонсованими продуктами портфеля, тому їх не слід подавати як продукти з однаковим статусом доступності. Voyager SDK публічно доступний на GitHub і охоплює вибір моделі, компіляцію, квантування, виконання та пайплайни застосунків; підтримка клієнтів потребує облікового запису.

Публічний Voyager Model Zoo є одним із найінформативніших у галузі. У ньому наведено варіант моделі, розмір входу, точність, правильність і виміряну продуктивність для YOLOv3, YOLOv5, YOLOv7, YOLOv8, YOLOv9, YOLOv10, YOLO11, YOLO26 n/s/m/l/x, YOLOX, YOLO-NAS, OBB, оцінювання пози та сегментації, а також багатьох моделей класифікації й щільного передбачення. Публікація втрат точності після квантування поруч зі швидкістю корисніша, ніж саме число пікових TOPS.

Назви артефактів змінилися між поколіннями API. Потік компіляції alpha Pipeline Builder створює модель .axm і може запакувати переносний пайплайн у .axe. У документації класичного пайплайна описано .axmodel разом із метаданими моделі та маніфестом. Інтеграція має визначати встановлене покоління Voyager, а не жорстко задавати одне розширення.

Qualcomm

Qualcomm охоплює надзвичайно багато пристроїв, але за назвою «NPU Qualcomm» ховаються різні інтерфейси. Розробники працюють із Hexagon HTP через QAIRT/QNN, старішим процесом SNPE, сервісами компіляції Qualcomm AI Hub, LiteRT або провайдером виконання QNN для ONNX Runtime, залежно від пристрою та класу продукту.

Офіційний репозиторій Qualcomm AI Hub Models є вагомим доказом підтримки на рівні моделей. У ньому публікуються оптимізовані пакети для виявлення/сегментації/оцінювання пози в YOLOv3, YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv9, YOLOv10, YOLO11 і YOLO26, а також для YOLOX, YOLO-World, YOLOR, RF-DETR і багатьох моделей класифікації, оцінювання глибини та пози. AI Hub також надає профілювання для конкретних пристроїв, що важливо, бо модель, скомпільована для одного покоління HTP, не обов'язково переноситься на інше.

Основна складність інтеграції полягає в масштабі матриці: мають значення Android чи вбудований Linux, замовні компоненти QCS чи споживчий Snapdragon, архітектура HTP, версія QNN/QAIRT і схема квантування. Поточні власні сторінки Qualcomm також розходяться щодо статусу Dragonwing IQ-9075: сторінка продукту вказує Active, а комплект EVK доступний для оцінювання, тоді як Product Longevity Program досі позначає IQ-9075 як Sampling і вказує довготривалу підтримку до 2038 року. Префікс замовного/SKU-коду: QCS9075; Qualcomm заявляє конфігурації на 50 і 100 щільних INT8 TOPS, а також підтримку Ubuntu/Yocto. Серійний статус слід перевіряти для точного SKU замовлення, і інтеграція LibreYOLO має записувати цей SKU замість створення загальної теки «Qualcomm».

DEEPX

Прискорювачі DX-M1/DX-M1M від DEEPX використовують SDK DXNN. DX-COM компілює та квантує модель, DX-RT виконує її, а розгорнутий артефакт має формат .dxnn. Компанія публікує DX-AllSuite, приклади застосунків у DX-APP і великий онлайн-каталог моделей.

Станом на 15 серпня 2026 року публічний каталог містив 354 записи для DX-COM 2.4.0 і DX-RT 3.4.0. Задокументоване охоплення включає YOLOv3-YOLO11 і YOLO26, YOLOX, SSD, EfficientDet, NanoDet, DAMO-YOLO, сегментацію YOLO, оцінювання пози й орієнтовані рамки. DEEPX є особливо реалістичним кандидатом на інтеграцію, оскільки межу між компілятором і середовищем виконання та артефакт для розгортання чітко визначено, а публічне охоплення моделей комп'ютерного зору широке.

Промислові SoC: це кілька екосистем, а не одна

Промислові постачальники часто пропонують довший життєвий цикл продуктів і кращу інтеграцію камер, безпеки та систем реального часу, ніж виробники SoC для плат розробників. Їхні стеки AI можуть бути складнішими, бо один постачальник здатен одночасно випускати кілька не пов'язаних архітектур NPU.

Texas Instruments

До поточних edge-AI процесорів TI належать AM62A, AM67A, AM68A, AM69A та пов'язані пристрої TDA4. Програмний шлях поєднує Processor SDK Linux, компілятор/середовище виконання TIDL, Edge AI TIDL Tools і Edge AI Model Zoo. TIDL інтегрується з ONNX Runtime, TensorFlow Lite та іншими середовищами виконання застосунків, передаючи підтримувані підграфи для обчислення.

TI публікує значно більше, ніж заяви про імпорт фреймворку: каталог містить перетворені моделі й метадані продуктивності для виявлення об'єктів, сегментації, оцінювання пози, класифікації, оцінювання глибини та інших завдань. TI також попереджає, що артефакти каталогу моделей є відправною точкою для розробки, а не автоматично готовими до виробництва ресурсами. Це важливе застереження, яке часто відсутнє у порівняннях постачальників.

TI також указує TDA54-Q1 зі статусом Preview, із підтримкою до чотирьох NPU C7 і до 400 TOPS для цієї моделі; для ширшого сімейства TDA5 заявлено до 1,200 TOPS. Це заяви постачальника про нове покоління продуктів, а не підстава переносити валідацію моделей TIDL для AM6xA/TDA4 на TDA54-Q1 до публікації TI матриці для конкретної цілі.

NXP

Для NXP потрібні щонайменше чотири окремі описи бекендів:

У eIQ Model Zoo є ресурси або рецепти для YOLOv4-tiny, YOLOv8, NanoDet, CenterNet, FastestDet, SSD Lite, YOLACT та інших моделей; запис YOLOv5 додано лише як документацію. Валідований запис для одного бекенду не є доказом підтримки всіх чотирьох. Власний посібник NXP з експорту YOLO для платформ i.MX демонструє цю проблему перетворення для окремих цілей. NXP повідомляє, що монолітний eIQ Toolkit не оновлювався після версії 1.17 у Q3 2025 року; у поточних процесах використовують окремі пакети, як-от eIQ Neutron SDK.

NXP завершила придбання Kinara в жовтні 2025 року. У технічному описі Ara240 вказано до 40 заявлених постачальником eTOPS і 313 зображень за секунду для YOLOv8n. На сторінці продукту NXP згадано Ara SDK та eIQ Toolkit, але це не підтверджує взаємозамінності артефактів з окремим шляхом Neutron для i.MX 95. Модуль M.2 на 16 GB активний, а варіант USB перебуває на передвиробничому етапі. NXP визначає «e» в eTOPS як «equivalent», тобто «еквівалентний», а не «effective», тобто «ефективний»; цей показник не є мірою щільних INT8 TOPS іншого постачальника й не має порівнюватися безпосередньо.

STMicroelectronics

Пристрої STM32N6x7, зокрема STM32N657 і STM32N647, додають прискорювач Neural-ART на 600 GOPS у продукт класу MCU; у лінійці загального призначення N6x5 цього прискорювача немає. STM32Cube AI Studio і ST Edge AI Core аналізують та оптимізують імпортовані моделі, а STM32 AI Model Zoo Services надає процеси розгортання, оптимізації, бенчмаркінгу й приклади.

У поточному огляді виявлення об'єктів задокументовано Tiny YOLOv2, YOLOv5u, YOLOv8, YOLO11, YOLO26 і ST-YOLOX, а також послуги для класифікації, оцінювання пози й сегментації. Це не той самий клас продуктивності, що й плата PCIe на 200 TOPS. Привабливість у тому, що отримання зображення з камери, інференс і керування можуть вкладатися в жорсткі обмеження енергоспоживання й пам'яті вбудованих систем.

Renesas

Процесори Renesas RZ/V інтегрують прискорювачі DRP-AI. Програмний стек еволюціонував від DRP-AI Translator і DRP-AI TVM до RUHMI, що працює на технології EdgeCortix MERA. У відкритому репозиторії RZ/V DRP-AI TVM та списку валідації RZ/V2H названо варіанти YOLOv5, YOLOv8, YOLO11 і YOLO26 n/s/m, YOLOX, мережі оцінювання пози й сегментації, а також моделі класифікації.

Renesas є надійною ціллю для робототехніки й промисловості, але для відтворюваності потрібно записувати точну плату, покоління DRP-AI, версію Translator і післяобробку на CPU.

Розумні сенсори й процесори для камер

Sony IMX500

Sony IMX500 не є звичайним прикладним процесором. У ньому сенсор зображення поєднано з обробкою AI, щоб виконувати інференс у сенсорі й зменшити обсяг даних зображення, які потрібно передавати з камери. Raspberry Pi AI Camera робить цю архітектуру незвично доступною.

В офіційному репозиторії моделей Raspberry Pi IMX500 опубліковано пакети моделей YOLOv8n, YOLO11n, EfficientDet Lite0, NanoDet+ і SSD MobileNetV2 FPN Lite. У документації AI Camera пояснюються перетворення, пакування та післяобробка на сенсорі. Для розгортання використовують пакет RPK, а не загальний файл ONNX; важливими обмеженнями є пам'ять сенсора й набір операторів. На сторінці продукту Raspberry Pi зазначає, що виробництво цієї камери триватиме щонайменше до січня 2028 року.

Ambarella

Процесори Ambarella CVflow глибоко вкорінені у камерах, дронах і автомобільних системах комп'ютерного зору. До поточних сімейств продуктів належать CV72/CV75 для камер, CV5/CV52 для потужніших систем машинного зору та автомобільні пристрої CV3-AD. Платформа розробників Cooper і процес компіляції/виконання CVflow утворюють названий у відкритих джерелах програмний стек.

У публічному модельному каталозі для розробників названо YOLOX, RTMDet, DeepLabV3+, TopFormer, OWL-ViT і мультимодальні моделі. Водночас докладна документація компілятора й завантаження орієнтовані на партнерів. Тому інтеграцію Ambarella варто починати зі зв'язку з постачальником або OEM-виробником, а не з припущення, що існує публічний пакет pip.

Synaptics Astra

Для Synaptics важливі три цілі. Системи Astra SL1600/SL1680 використовують набір інструментів SyNAP, який перетворює вихідну модель разом з описом YAML на пакет model.synap. Новіші пристрої SL2611/13/15/17/19 використовують платформу Torq, процес на основі IREE/MLIR, що створює .vmfb. Сімейство SR100 є окремим сімейством MCU на Cortex-M55 та Ethos-U55 із власним SDK. Ці артефакти й API не взаємозамінні.

Офіційний посібник із бенчмарку YOLO незвично докладний: він експортує YOLOv8 у TFLite, виконує асиметричне калібрування UINT8 у SyNAP, компілює модель для SL1680, а потім запускає synap_cli і застосунок виявлення об'єктів. Це підтверджує роботу YOLOv8n/v8s на SL1680 і описує підтримку SyNAP до YOLO11. Окремий посібник із виявлення об'єктів для SL261x запускає YOLOv8 із Torq .vmfb. Це офіційні приклади для конкретних цілей, а не твердження, що всі графи YOLO підтримуються в усіх трьох сімействах.

MediaTek Genio

MediaTek заслуговує на окремий розділ, оскільки її поточний IoT AI Hub тепер показує матрицю обладнання/програмного забезпечення, пакети моделей і таблиці бенчмарків, які раніше не можна було перевірити в оглядах ринку. Genio 360/360P/420/520/720 використовують NeuroPilot 8 з MDLA 5.3; Genio 510/700 використовують NP6 з MDLA 3.0; Genio 1200 використовує NP6 з MDLA 2.0. MediaTek зазначає, що покоління NeuroPilot і MDLA, набір операторів, компілятор і середовище виконання прив'язані до версій протягом життєвого циклу кожного SoC.

Шлях аналітичного AI побудовано навколо TFLite:

PyTorch model
    -> NeuroPilot Converter and representative calibration
    -> quantized .tflite
    -> version-matched ncc-tflite compiler
    -> chip-generation-specific .dla
    -> Neuron Runtime on MDLA

У новіших Genio також доступні онлайн-делегування LiteRT і шлях ONNX Runtime CPU/NPU у підтримуваних операційних системах. Це інші режими виконання, ніж офлайн .dla. У посібнику з архітектури програмного забезпечення і матриці ресурсів це розрізнення сформульовано чітко.

В офіційній таблиці аналітичних моделей опубліковано записи бенчмарків YOLOv5s і YOLOv8s та посібники з перетворення для кількох поколінь MDLA. Там прямо зазначено, що попередньо перетворені артефакти YOLO не поширюються через обмеження AGPL-3.0. Вимірювання Quant8, 640 x 640 в офлайн-режимі включають 5.35 ms і 8.04 ms відповідно на Genio 720. На сторінці моделі YOLOv8s опубліковано вхідні/вихідні тензори, час для конкретних бекендів і попередження щодо користувацьких операцій MediaTek. Це бенчмарки постачальника, а не результати повного процесу роботи камери.

Доступ є обмежувальним чинником. Публічна документація Yocto докладна, але поточний універсальний пакет конвертера/компілятора NP8 і значна частина матеріалів Android позначені як NDA або ресурси для прямих клієнтів. Звичайний обліковий запис розробника не надає такого доступу, як клієнтський обліковий запис MediaTek Online. Тому LibreYOLO варто вважати Genio технічно перевіреним, але залежним від партнерства для відтворюваної інтеграції компілятора з користувацькими моделями.

Екосистеми Edge AI, орієнтовані на Китай

Кілька найпотужніших і найдоступніших недорогих платформ машинного зору погано представлені в англомовних оглядах ринку.

D-Robotics і платформи BPU на основі Horizon

D-Robotics підтримує екосистему плат розробників RDK навколо прискорювачів BPU, які використовуються в RDK X3, X5, Ultra та новіших продуктах серії S100. Поточна гілка rdk_x5 у RDK Model Zoo документує шляхи YOLOv5/v5u, YOLOv8/9/10/11/12/13/26, YOLOE, YOLO-World, виявлення, сегментації, оцінювання пози, класифікації, OCR і CLIP для RDK X5. Для X3 є окрема гілка, а поточне постачання серії S міститься в гілці rdk_s основного каталогу; старіший репозиторій rdk_model_zoo_s містить історичні демо. Отже, сучасний перелік X5 не доводить валідацію всіх моделей для X3, Ultra або S100.

OpenExplorer/Algorithm Toolchain імпортує ONNX або Caffe для PTQ і підтримує процеси QAT, орієнтовані на PyTorch. Розгортання залежить від платформи: поточний RDK X5 використовує .bin через hbm_runtime поверх libdnn, а поточний основний процес rdk_s використовує .hbm через однойменний API hbm_runtime поверх libhbucp; для X3 збереглися старіша гілка й інтерфейси інференсу. У старіших матеріалах rdk_model_zoo_s також описано історичні шляхи .bin і .hbm, тому ці артефакти потрібно залишати у відповідності до їхньої гілки й набору інструментів. Непідтримувані оператори можуть перейти на CPU. Публічні приклади корисні, але відповідність версій RDK OS, прошивки плати, набору інструментів і бінарної моделі залишається частиною контракту сумісності.

AXERA

Сімейства AX650/AX630/AX620 від AXERA використовуються в компактних AI-камерах і платах на зразок лінійки MaixCAM від Sipeed. Pulsar2 імпортує ONNX, виконує калібрування й аналіз точності та створює .axmodel; артефакт запускає AXEngine.

В офіційних прикладах AXERA є YOLOv5/6/7/8/9/10/11/13/26, YOLOX і YOLO-World; підтримка завдань і чипів різниться залежно від платформи. На підтримуваних цілях поточні приклади YOLO26 включають виявлення, оцінювання пози, сегментацію й OBB. У прикладах перетворення Pulsar2 показано реальну роботу: точні назви тензорів, точки поділу виходів, перетворення розкладки, архіви для калібрування та налаштування цільового обладнання.

SOPHGO

TPU-MLIR від SOPHGO є одним із найпривабливіших стеків компілятора для незалежної інтеграції, оскільки сам компілятор має відкритий код. Він імпортує ONNX, PyTorch, TFLite і Caffe, перетворює та квантує графи, створюючи .bmodel для цілей BM або .cvimodel для обладнання CV18xx.

Проєкт TPU-MLIR підтримує процеси FP32, BF16, FP16 і INT8 залежно від цілі. У колекції демо SOPHON названо YOLOv3/4/5/7/8/9/10/11/12/26, YOLOX, PP-YOLOE, YOLO-World, варіанти OBB/сегментації, SSD, CenterNet, RetinaFace, SAM/SAM2 та OCR. Як завжди, демо на BM1684X не валідовує той самий артефакт на BM1688 або CV18xx.

Huawei Ascend

Лінійка edge-інференсу Huawei охоплює чипи Ascend 310/310P/310B у продуктах Atlas 200I і 300I. CANN надає компілятор ATC, середовище виконання AscendCL і ядра операторів для конкретного чипа; ATC перетворює ONNX та інші вихідні представлення на офлайн-модель .om.

У поточній документації Atlas 200I DK A2 і прикладах CANN є шлях .om для YOLOv5 на Ascend 310B. Ширший, старіший Ascend ModelZoo містить YOLOv2/3/4/5, YOLOX, YOLOR, SSD, RetinaNet, Mask R-CNN, а також моделі оцінювання пози й сегментації, але його не слід подавати так, ніби кожен запис повторно валідовано для 310B. CANN, ядра, прошивка та SoC мають відповідати одне одному. .om для Ascend310P не є універсальним артефактом Ascend.

Cambricon

Прискорювачі MLU від Cambricon використовують Neuware і рушій інференсу MagicMind. Публічний репозиторій MagicMind Cloud закріплено на MagicMind 1.7 і матриці MLU370-X4/S4; це свідчення історичної сумісності, а не матриця поточного SDK чи валідація MLU270. У репозиторії задокументовано шляхи PyTorch, ONNX, Caffe і Paddle; підтримку TensorFlow у фреймворку вилучено у версії 1.7, хоча історичні приклади TensorFlow залишилися. У поточному порталі розробників серії 3 наведено новіші загальні релізи SDK, тому публічний репозиторій прикладів і поточний комерційний стек не можна подавати як одну версію.

Офіційний хмарний репозиторій моделей MagicMind публікує надзвичайно конкретну матрицю MLU370-X4/S4. У ній наведено приклади YOLOv3, Tiny-YOLOv3, YOLOv4, YOLOv5, YOLOv7, YOLOv8, PP-YOLOE, SSD, RetinaFace, RetinaNet, Mask R-CNN, DeepLab і UNet, зокрема зазначено наявність прикладів C++ або Python. Докази переконливі; головна перешкода полягає в доступі до SDK і контейнера через канали Cambricon.

Canaan/Kendryte

Поточні K230/K230D і застарілі чипи KPU K210/K510 від Kendryte важливі для недорогих плат і розумних камер. Компілятор nncase імпортує ONNX або TFLite, використовує калібрувальні дані для перетворення з фіксованою точкою, симулює результат на хості й створює .kmodel.

В офіційному посібнику з розробки nncase для K230 показано компіляцію, симуляцію й запуск YOLOv5s. В окремому каталозі демо AI є артефакти виявлення, сегментації та оцінювання пози YOLOv8n, а в поточному журналі змін CanMV додано оптимізовані приклади класифікації, виявлення, сегментації, OBB й оцінювання пози для YOLOv8/11/26. Результат YOLOv5s у даташиті є опублікованим бенчмарком; версії компілятора й двійкового плагіна KPU мають відповідати SDK плати.

Allwinner

У V853 від Allwinner поєднано мультимедійне обладнання для камер із Vivante NPU на 1 TOPS. В офіційному посібнику NPU англійською описано імпорт Acuity/Pegasus, квантування, перевірку й розгортання через viplite. На власних сторінках моделей Allwinner і в посібнику YOLOv5 названо YOLOv2/3/4/4-tiny/5/5s, RetinaNet, MobileNet, ResNet та мережі розпізнавання облич і людей.

Це справжня підтримка комп'ютерного зору, але вона залишається прив'язаною до старішого набору інструментів Tina Linux/Vivante, а для завантаження SDK потрібен обліковий запис. Платформа належить до огляду ринку з чітко зазначеним обмеженням.

Недооцінені платформи Кореї, Тайваню та Китаю

В англомовних оглядах часто переходять від Rockchip одразу до NVIDIA, пропускаючи другий рівень реального й задокументованого кремнію. Деякі з цих екосистем мають ширші поточні матриці YOLO, ніж відоміші західні стартапи.

Mobilint

Корейський постачальник прискорювачів Mobilint продає малопотужний REGULUS і продуктивніший ARIES MLA100. Його qb SDK приймає дані PyTorch, TensorFlow, TFLite, ONNX і Keras-сумісні входи, квантує до INT8 і створює скомпільований артефакт .mxq. У публічній матриці комп'ютерного зору названо виявлення YOLOv3/v5/v7/v8/v9/v10/11/12/26, а також варіанти сегментації, оцінювання пози й OBB для YOLO. На сторінці ARIES навіть опубліковано окремі результати для YOLO11s і YOLO26m. Це переконливі свідчення можливості інтеграції, хоча доступ до SDK/обладнання залишається комерційним.

Sunplus

У SP7350/C3V від Sunplus використовується стек NPU на основі Vivante, але його запаковано інакше, ніж в Allwinner або старого Amlogic. Публічний процес поєднує перетворення Acuity, середовище Docker для NPU, середовище виконання SNNF і результат .nb. В офіційному посібнику з власної реалізації YOLOv8 описано перетворення й розгортання, а не лише заявлено підтримку фреймворку. Споріднений IP не робить .nb переносним на інший SoC на базі Vivante.

ESWIN Computing

До сімейства RISC-V від ESWIN належать EIC7700/EIC7700X і EIC7702/EIC7702X із двома кристалами; EIC7700 використовується в платах у продажу, зокрема Milk-V Megrez. ENNP містить EsQuant, поточний компілятор EsAAC, генерування еталонних даних, симуляцію й середовище виконання ESSDK зі скомпільованим результатом .model; у старіших матеріалах ENNP використовувалася назва ennc-compile. На поточній сторінці EsAAC задокументовано вхід ONNX, тож для інших фреймворків потрібен експорт або перетворення на підтримуване проміжне представлення. Розміщені на Milk-V огляд ENNP і посібник YOLOv3 підтверджують публічний наскрізний процес, але не широку сучасну матрицю моделей/точності.

Nuvoton M55M1

M55M1 від Nuvoton є конструкцією MCU-класу Cortex-M55 плюс Ethos-U55-256, а не прикладним процесором Linux. NuEdgeWise/NuML і Arm Vela готують квантизовані моделі TFLite Micro. У публічному репозиторії NuEdgeWise названо YOLOv8-nano, YOLOX-nano, YOLO Fastest v1.1, SSD-MobileNet FPNLite та кілька класифікаторів. Ці приклади невеликих мереж є переконливим свідченням відповідності класу пам'яті/потужності пристрою, а не доказом для стандартних варіантів YOLO із роздільною здатністю 640 пікселів.

Rebellions і FuriosaAI

У лінійці ATOM від Rebellions використовуються SDK RBLN і скомпільовані артефакти .rbln. В офіційному релізі підтримки названо YOLOv3 tiny/full/SPP, YOLOv5 від n до x, YOLOv6 від n до l, варіанти YOLOv7 і YOLOv8 від n до x. У поточній матриці підтримки плат ATOM CA02 і ATOM+ CA12 позначено EoL, а ATOM+ CA22 та ATOM-Max CA25 мають статус Active. Для ATOM-Lite CA21 є сторінка продукту, але його немає в матриці SDK, тому поточний статус набору інструментів неясний. Документація публічна, але для колеса компілятора потрібні облікові дані Rebellions Portal.

FuriosaAI слід розглядати за поколіннями. Warboy є старішим прискорювачем комп'ютерного зору з артефактами INT8 .enf та офіційним каталогом моделей, де є SSD, YOLOv5M/L і YOLOv7-w6-pose. RNGD використовує інший стек .fxb, переважно орієнтований на навантаження LLM/VLM. У поточній дорожній карті зазначено, що підтримку машинного зору YOLOv8m завершено в 2024 Q4, але поточні публічні сторінки підтримуваних моделей і продуктивності зосереджені на LLM/VLM і не містять докладної матриці точності/продуктивності YOLOv8m. Це свідчення випущеного покоління, а не заява про сумісність із Warboy.

Realtek, Telechips, T-Head і SigmaStar

Ці чотири платформи реальні, але мають вужчі, старіші або закриті можливості для користувацьких моделей:

Розумний зір HiSilicon не є Huawei Ascend

SoC камер Hi3516CV610/DV500, Hi3519DV500 і Hi3403V100 від HiSilicon надають процес ATC у .om через середовища виконання NNN/SVP-NNN. В офіційному каталозі моделей HiSpark у матриці для конкретних цілей, зокрема Hi3403 і Hi3591P, названо YOLOv3/4/5/6/7/8/9/10/11, сегментацію/оцінювання пози YOLO11, OBB/World/сегментацію YOLOv8, OCR, оцінювання глибини й TinySAM. Це не доводить, що кожен запис працює на кожному з перелічених вище SoC для розумного зору. Частина записів є пунктами дорожньої карти, тому випущені приклади й заплановану підтримку потрібно розділяти; крім того, у репозиторії вказано, що надані моделі ModelZoo призначено лише для некомерційного використання. Спільні позначення ATC/.om не доводять сумісність артефактів або середовища виконання з лінійкою Ascend на основі CANN.

Компанії з новими та спеціалізованими прискорювачами

MemryX

Модулі MX3 від MemryX використовують архітектуру потоку даних і можуть поєднувати кілька чипів. Neural Compiler приймає моделі ONNX, TensorFlow Lite, Keras і TensorFlow та створює пакет DFP, який використовує середовище виконання прискорювача. Його API середовища виконання підтримують багатомодельні потокові пайплайни.

Документація й приклади MemryX охоплюють оптимізовані попередню та післяобробку YOLO для виявлення, сегментації й оцінювання пози. У примітках до релізів SDK прямо названо підтримку YOLOv10, YOLO11 і YOLO26. Публічні матеріали технічно корисні, хоча в них немає єдиної простої таблиці моделей/точності/пристроїв на зразок Axelera.

Kneron

Продукти Kneron KL520/KL530/KL630/KL720/KL730 охоплюють невеликі прискорювачі USB і вбудовані рішення. Kneron PLUS охоплює середовище виконання застосунків, а поточна версія Model Toolchain 0.33.1 документує для цих цілей перетворення, квантування, оцінювання, симуляцію та компіляцію у .nef. KL830 трапляється в окремих API середовища виконання PLUS, але відсутній у поточному списку цілей компілятора; не слід поширювати загальну заяву про компіляцію .nef на KL830 без підтвердження постачальника.

В офіційному прикладі YOLO показано процес на Tiny-YOLOv3; інші матеріали Kneron охоплюють навчання й розгортання YOLOv5. Докази переконливі, але вужчі за широкі сучасні матриці YOLO від Hailo, Axelera, Rockchip або DEEPX.

SiMa.ai

У MLSoC від SiMa.ai та серійній платформі Modalix на 50 TOPS використовується програмне середовище Palette. ModelSDK, компілятор MLA і ModelExecutor охоплюють імпорт, квантування, компіляцію, профілювання й виконання. Залежно від робочого навантаження й продукту інструменти підтримують процеси INT8, INT16 і BF16.

У примітках до релізів компанії названо валідовані пайплайни YOLOv7, виявлення/оцінювання пози/сегментації YOLOv8, YOLOX і сегментації YOLOX, DETR, Mask R-CNN та EfficientDet. Не слід приховувати одну поточну проблему: у примітках до Palette SDK 2.1 сказано, що QAT не працює через регресію квантування Python/PT2E. Задокументований обхідний шлях: створити анотований ONNX у SDK 2.0 і скомпілювати його у 2.1. Доступ і придбання орієнтовані на корпоративних клієнтів.

Межу розгортання також задокументовано: процес компіляції ModelSDK створює скомпільований .tar.gz і може створювати виконуваний ELF, тоді як MPK Tool пакує артефакт для розгортання .mpk. Ці вихідні файли прив'язані до цілі MLSoC/Modalix і релізу Palette.

EdgeCortix

SAKURA-II є прискорювачем на 60 заявлених TOPS для машинного зору й генеративного AI, який компілюється через програмний фреймворк MERA. EdgeCortix також надає технологію MERA для новішого процесу RUHMI від Renesas.

У матеріалах про продукт SAKURA-II описано обладнання й компілятор, а обладнання M.2/PCIe пропонують для тестування або замовлення за запитом. Достатньо точної актуальної публічної матриці сумісності YOLO не знайдено. Для закупівлі це важлива інформація: перед придбанням обладнання слід запросити валідацію моделі.

BrainChip

Akida від BrainChip є нейроморфним процесором подій, а не звичайним NPU для щільних тензорів. Середовище MetaTF складається з інстальованих пакетів Python для створення моделей, квантування з малою кількістю бітів, перетворення, симуляції та виконання на обладнанні. Тепер BrainChip продає супроцесор AKD1500 у форматі M.2, який є в продажу, поряд із застарілим обладнанням AKD1000 та IP Akida 2.

У поточній картці моделей Akida 2 названо детектор YOLOv2 AkidaNet0.5, CenterNet, AkidaUNet і мережі розпізнавання облич. Інші матеріали підтримки охоплюють FOMO і робочі навантаження на основі подій. Akida підтримує незвично низьку розрядність ваг і активацій, але для успішного розгортання може знадобитися перетворення з урахуванням архітектури, а не ставлення до нього як до чергової цілі загального призначення INT8 ONNX. Результат каталогу моделей AKD1000 або Akida 2 не слід приписувати AKD1500, доки його не підтвердить явний звіт зіставлення/відповідності.

Blaize

Blaize продає продукти Pathfinder і Xplorer на базі P1600; шлях програмного забезпечення забезпечують Picasso SDK, NetDeploy і AI Studio. На сторінках продуктів чітко зазначено цільове призначення для комп'ютерного зору й edge AI, але актуальної публічної матриці сумісності окремих моделей немає.

Тому в цьому посібнику Blaize класифіковано як комерційну платформу із закритим доступом, а не доповнено твердженнями спільноти. До початку робіт слід отримати від постачальника звіт компіляції й точності для потрібної моделі.

TinyML і машинний зір на кінцевих пристроях

Arm Ethos-U та Alif

Arm ліцензує компаніям-виробникам чипів IP NPU Ethos-U55, U65 і U85. Компілятор Vela бере квантизовані графи LiteRT/TFLite й переписує підтримувані підграфи у власні операції Ethos-U. Непідтримувані операції можуть залишитися на CPU, отже «застосунок працює» і «вся мережа працює на NPU» є різними твердженнями.

Реальні реалізації включають Ethos-U55 в Alif Ensemble E7, Ethos-U65 у NXP i.MX 93 і Ethos-U85 у новіших системах. У E7 AI/ML AppKit від Alif задокументовано два прискорювачі ML і продемонстровано процес E7 TFLite-Vela; у Ensemble E8 поєднано один Ethos-U85 із двома NPU Ethos-U55. Alif також публікує бенчмарк детектора облич YOLO-Fastest усього сімейства INT8 з роздільною здатністю 192 на 192 на Cortex-M55 плюс Ethos-U55, але широкої матриці сучасних YOLO для конкретних цілей немає. Ці системи з обмеженою пам'яттю підходять для невеликих мереж класифікації й виявлення, а не для довільних детекторів на 640 пікселів лише тому, що їх можна представити у TFLite.

Infineon PSOC Edge, Himax WiseEye2 і Analog Devices MAX7800x

У сімействах PSOC Edge E83 і E84 від Infineon поєднано Cortex-M55 з Ethos-U55 і додано окремий блок NNLite на малопотужному боці M33. В архітектурному посібнику E84 описано 8-бітні ваги, 8- або 16-бітні активації та процес Vela, у якому підтримувані оператори стають потоком команд NPU, а непідтримувана робота залишається на CPU. DEEPCRAFT Model Converter приймає шляхи TFLite, Keras і PyTorch, а в архітектурних матеріалах MobileNetV1/V2 названо типовими ядрами, а не бенчмарками цілі. До E84 AI Kit входить камера; комплект використовує ModusToolbox, але в публічних матеріалах поки немає матриці сумісності з названими моделями YOLO. Це справжня програмована платформа машинного зору з екосистемою моделей, що розвивається, а не валідована ціль для детекторів загального призначення.

У HX6538 WiseEye2 від Himax також поєднано Cortex-M55 та Ethos-U55 для постійного аналізу зору. Публічна історія програмного забезпечення незвично конкретна для такого класу потужності: в офіційних прикладах Grove Vision AI Module V2 є виявлення об'єктів і оцінювання пози YOLOv8n, класифікація статі, виявлення YOLO11n, face mesh і PeopleNet. Уніфікований шлях використовує TFLite Micro і Vela, а за потреби переходить на CMSIS-NN та еталонні ядра. Це навмисно невеликі моделі й роздільні здатності, а не доказ, що звичайний серверний граф YOLO поміститься на пристрої.

Analog Devices використовує інший підхід із прискорювачами CNN MAX78000/MAX78002. Публічний інструмент ai8x-synthesis квантує навчену мережу й генерує специфічний для цілі код C, ваги й конфігурацію прискорювача замість переносного пакета середовища виконання ONNX. Свідчення від першої сторони включають ідентифікацію облич, виявлення QR-кодів TinierSSD у каталозі моделей ADI та класифікатори зображень. Ці пристрої доречні для машинного зору на кінцевих пристроях, але актуальної офіційної матриці сучасних YOLO не знайдено.

GreenWaves GAP9

GAP9 поєднує обчислення RISC-V з нейронним рушієм NE16. NNTool імпортує й квантує мережі, а AutoTiler і GAP SDK створюють код для розгортання. У публічному меню нейронних мереж GAP9 є застосунки MobileNet, EfficientNet, ResNet, MobileNet SSD, обробки облич і розпізнавання. GreenWaves також публікує проєкт виявлення людей YOLOX із даними точності та симуляції.

Це незвично прозорі свідчення для TinyML, але повний SDK доступний лише кваліфікованим клієнтам, а моделі значно менші за типові варіанти YOLO 640 на 640.

Lattice sensAI

sensAI від Lattice є альтернативою фіксованому NPU на основі FPGA. sensAI Studio і Neural Network Compiler зіставляють підтримуваний граф із конфігурованим IP прискорювача для пристроїв ECP5, iCE40 UltraPlus, CrossLink-NX, CertusPro-NX, Avant-E та Avant-X. Результат прив'язаний до вибраної FPGA, режиму прискорювача, розкладки пам'яті й бітового образу, а не є переносною моделлю для середовища виконання.

У поточному посібнику Neural Network Compiler є незвично пряма таблиця топологій. У ній наведено YOLOv1 для ECP5, YOLOv5 і YOLOv8 для оптимізованих/розширених режимів CrossLink-NX та CertusPro-NX, а YOLO11 лише для IP режиму Advanced. Також наведено SSD, MobileNetV2-SSD, ResNet, ENet, SqueezeDet та інші мережі комп'ютерного зору з видимими непідтримуваними комірками для кожного сімейства FPGA. Advanced CNN Accelerator призначено для Avant-E/Avant-X/CertusPro-NX і є комерційним IP. Це свідчення з таблиці компілятора, а не обіцянка, що один бітовий образ одночасно підтримує всі перелічені топології.

Microchip VectorBlox

Публічний VectorBlox SDK 3.1 від Microchip виконує попередню обробку й компілює повністю квантизовані мережі TFLite INT8 для конфігурованого IP CoreVectorBlox у FPGA PolarFire SoC. tflite_preprocess і vnnx_compile створюють ресурси для розгортання .vnnx, .hex і .ucomp; до репозиторію також входять симулятор і драйвер C для цільового пристрою. Графи TensorFlow, ONNX і OpenVINO все одно мають пройти задокументований процес підготовки TFLite/INT8.

У поточній матриці посібників є YOLOv5n, виявлення/класифікація/OBB/оцінювання пози/сегментація YOLOv8n, YOLOv9t, розріджені/стиснені варіанти YOLO, MobileNet, EfficientNet-Lite0, ResNet18, MiDaS, FFNet і QuickSRNet. В посібнику з післяобробки C окремо названо декодери YOLOv2/3/4/5 і Ultralytics для виявлення, оцінювання пози й OBB. Поточна версія SDK 3.1 підтримує PolarFire SoC Video Kit і прямо не підтримує PolarFire Video Kit без SoC, тому старі демо для плат не слід плутати з поточним контрактом цілі.

SDK публічно доступний за ліцензією Microchip, яка обмежує використання програмного забезпечення та похідних робіт продуктами Microchip. Microchip пропонує безплатні ліцензії Libero Silver і CoreVectorBlox за запитом. Розгортання все ще є системним контрактом FPGA: конфігурація прискорювача, бітовий образ, прошивка, згенеровані SDK дані мережі й розкладка пам'яті мають відповідати одне одному. Успішна компіляція VectorBlox не перетворює модель на бінарний файл, який можна скопіювати на довільну конструкцію PolarFire.

Syntiant

NDP200 від Syntiant призначено для постійного інференсу зору, аудіо й сенсорних даних за енергоспоживання, нижчого за звичайні SoC Linux. У поточній таблиці обладнання NDP200 позначено як серійне виробництво, а NDP250 як зразок. У технічному описі NDP200 задокументовано підтримку CNN, RNN і повнозв'язних мереж за потужності нижче 1 mW; анонс NDP250 натомість описує постійне розпізнавання зображень із потужністю нижче 30 mW. Твердження «нижче мілівата» не можна узагальнювати на обидві моделі.

Публічні матеріали не підтверджують широку сумісність із YOLO, тому продукт слід оцінювати для невеликих класифікаторів і детекторів постійної готовності за допомогою оцінювання моделі, яке підтримує постачальник, а не припущення про загальний експорт ONNX.

Google Coral: два не пов'язані між собою покоління

Для застарілих продуктів Edge TPU використовуються Edge TPU Compiler, libedgetpu і PyCoral з повністю INT8-моделями TFLite. Основні репозиторії Edge TPU і PyCoral заархівовано. Це реальний ризик для супроводу, але не офіційне повідомлення про завершення життєвого циклу обладнання.

Google також підтримує окремий активний IP Coral NPU із відкритим кодом: прискорювач RISC-V для інтеграції в малопотужні SoC. У поточному публічному проєкті доступні RTL, апаратна симуляція, набір інструментів і приклади ELF. Це не прямий наступник Edge TPU у форматі USB/M.2, і для нього не опубліковано поточної матриці розгортання YOLO.

Пастки суміжних GPU, клієнтських NPU й адаптивних обчислень

NVIDIA, AMD, Intel і Apple часто з'являються в пошуку NPU, але не надають одного взаємозамінного класу прискорювачів.

NVIDIA Jetson: Jetson Orin поєднує GPU CUDA зі спеціальними ядрами DLA. TensorRT може зібрати серіалізований рушій для DLA, але непідтримувані шари виконуються на GPU лише за явно ввімкненого резервного використання GPU. У поточній таблиці DeepStream YOLO є YOLOv4/v7/v8/v9/11, але більшість записів призначено для GPU; явний запис ONNX DLA стосується YOLOv8s INT8. В обмеженнях DLA від NVIDIA пояснено обмеження операторів. Thor також має окрему властивість: у посібнику з переходу DriveOS NVIDIA зазначає, що в Thor ядра DLA прибрали заради гнучкішого планування GPU. Отже, фраза «працює на Jetson» не вказує, який прискорювач використовується.

AMD Vitis AI: у старішому поколінні Kria/DPU скомпільовані графи .xmodel виконуються через VART. Поточна версія Vitis AI 6.2 має статус GA для двох окремих шляхів Versal AI Edge: Gen1 на VEK280/VE2802 використовує ONNX, AMD Quark і цільовий процес зі знімком/підграфами; Gen2 на VEK385 має власний контракт компіляції й середовища виконання. У Gen1 наведено приклади YOLOv5, YOLOv7, YOLOv8 і YOLOX. Ryzen AI є четвертим окремим стеком клієнтського NPU. Не переносіть артефакти або валідацію між застарілим DPU, Versal Gen1, Versal Gen2 і Ryzen AI лише тому, що вони мають назву Vitis або AMD.

Intel OpenVINO: OpenVINO може спрямовувати обчислення на CPU, GPU й NPU Core Ultra через один API. У документації плагіна NPU Intel перелічено підтримувані покоління NPU, а в матриці перевірених моделей є окремі стовпці для пристроїв. Ноутбук YOLO доводить наявність рецепта застосунку, а не валідацію NPU, якщо цього не підтверджує матриця. Підтримувані операції, форми, точність і встановлений драйвер NPU визначають, чи весь граф працюватиме на цьому пристрої. OpenVINO IR (.xml плюс .bin) є повторно використовуваним вихідним IR; кеш скомпільованої моделі залежить від пристрою та програмного забезпечення.

Apple Core ML: coremltools перетворює моделі на .mlpackage, який Xcode компілює у .mlmodelc. Core ML може планувати обчислення на CPU, GPU й Apple Neural Engine, але навмисно приховує точне розбиття. Через це Apple є чудовою платформою розгортання, але заяву на кшталт «увесь граф YOLO виконувався на NPU» варто робити лише за наявності профілювання, яке це підтверджує.

Компанії, що створюють IP NPU для виробників чипів

Деякі компанії зовсім не продають плату або готовий прискорювач. Вони ліцензують розробки NPU виробникам SoC. Це важливо, бо та сама базова архітектура може з'являтися під кількома брендами чипів, але кінцеві SDK і артефакт усе одно можуть бути адаптовані ліцензіатом.

Imagination показує, чому поруч із назвою архітектури мають бути зазначені доступ і життєвий цикл. Її програма Open Access пропонує три конфігурації Series3NX, перевірені на кремнії, без попередньої плати за ліцензію IP, але лише після оцінювання компанії, із платною підтримкою/обслуговуванням і роялті за серійне виробництво. Neural Compute SDK надає інструменти компіляції, оптимізації, квантування й середовище виконання; в офіційній співпраці з Baidu PaddlePaddle названо виявлення PP-YOLOE, класифікацію EfficientNet і сегментацію HRNet. Ці приклади не валідовують кожну конфігурацію Series3NX або Series4; на поточних окремих сторінках продуктів Series4 зазначено, що продукти недоступні, тож Series4 слід вважати історичним поколінням, доки відділ продажу не підтвердить інше.

Цей рівень пояснює зовнішню схожість сімейств. Він не забезпечує переносності артефактів. Два SoC зі спорідненим IP Vivante або Ethos можуть мати різні карти пам'яті, драйвери, версії компіляторів, набори операторів і середовища виконання постачальників.

Що саме ви розгортаєте: таблиця прив'язки артефактів

Саме на останньому етапі конвеєра компілятора закінчується позірна переносність ONNX. Назви й розширення змінюються, але практичне правило незмінне: зберігайте вихідну модель і калібрувальні дані, оскільки нативний артефакт зазвичай не можна перенести на інше покоління NPU або надійно перезібрати з іншою версією SDK.

Ця таблиця є не просто довідником розширень. Версія компілятора, ідентифікатор цілі, драйвер, прошивка й BSP входять до відтворюваної ідентичності моделі. Майбутній експортер LibreYOLO має записувати їх у машинозчитуваний маніфест поруч із кожним артефактом.

Доступ до інструментів і сигнали життєвого циклу

Доступність обладнання та доступ до компілятора є незалежними чинниками. Плату може бути легко купити, хоча для поточного компілятора потрібна клієнтська угода; публічний SDK може призначатися для кремнію, який важко дістати. Нижче наведено конкретні сигнали від перших сторін, а не універсальний рейтинг довговічності.

Чому TOPS не є критерієм вибору

Пікові TOPS можуть бути корисними в межах одного постачальника й архітектури, але між постачальниками такі порівняння зазвичай некоректні, якщо не збігаються всі наведені нижче умови:

• Числова точність, зокрема INT8, INT4, FP16 або змішаний режим
• Чи рахують одне множення з накопиченням як одну або дві операції
• Щільна чи структурно розріджена арифметика
• Роздільна здатність входу, розмір батча й граф моделі
• Точність після квантування
• Затримка лише на NPU чи в усьому пайплайні застосунку
• Передавання даних із пам'яті й резервне виконання на хості
• Тепловий стан і тривала, а не короткочасна робота

Детектор працює як пайплайн: отримання зображення, зміна розміру/letterbox, нормалізація, передавання на пристрій, інференс нейронної мережі, декодування, NMS, масштабування координат і логіка застосунку. Постачальники часто публікують лише середню частину, тобто інференс нейронної мережі. MLPerf Inference Edge цінний тим, що визначає сценарії, цільові показники якості й правила вимірювання всієї системи, а не ізольовано порівнює маркетингову арифметику.

Для розгортання YOLO мінімальний достовірний запис бенчмарку має містити:

exact checkpoint + checksum
source and compiled model format
compiler, runtime, driver and firmware versions
target board and clock/power mode
input resolution and batch
precision and calibration dataset
accuracy before and after compilation
warmup and sample count
preprocess, inference and postprocess latency
power measurement boundary

Без цих полів два значення FPS зазвичай вимірюють різні речі.

Як вибрати NPU для комп'ютерного зору

Обирайте в такому порядку, а не за найбільшим числом на сторінці продукту.

1. Перевірте сумісність графа. Скомпілюйте саме експортовану модель, а не модель із подібною назвою з каталогу.
2. Виміряйте правильність. Перевірте скомпільований артефакт на реальному датасеті завдання після калібрування й квантування.
3. Виміряйте весь процес. Включіть перетворення входу, передавання даних, декодування й NMS.
4. Перевірте доступ до програмного забезпечення. З'ясуйте, чи компілятор публічний, потребує реєстрації або доступний лише після комерційної угоди.
5. Зафіксуйте матрицю версій. Запишіть версії компілятора, середовища виконання, драйвера, прошивки й ідентифікатори цілей.
6. Перевірте реальну підтримку ОС. Підтримка Android, Debian, Yocto, Buildroot, RTOS і Windows не взаємозамінна.
7. Перевірте постачання й життєвий цикл. Технічно чудовий чип погано підходить для виробництва, якщо модулі, драйвери або довготривала підтримка ненадійні.
8. Лише після цього порівнюйте вартість, потужність і продуктивність. Ці вимірювання мають значення, коли та сама модель коректно працює на обох цілях.

Практичні відправні точки за сценарієм використання

Ця таблиця є коротким списком для дослідження, а не рейтингом продуктивності. Закупівлі, регіональна доступність і конкретна модель можуть змінити порядок.

Що це означає для LibreYOLO

Масштабований дизайн не потребує десятків не пов'язаних експортерів. Потрібен один суворий контракт обміну та невеликі адаптери компілятора й середовища виконання постачальників:

LibreYOLO model
    -> deterministic static ONNX
    -> VendorCompiler.compile(model, target, calibration, precision)
    -> native artifact + manifest
    -> VendorRuntime.load() / infer()
    -> shared task-specific decode and Results objects

Для кожного нативного артефакту має бути супровідний маніфест із такими полями:

• Постачальник, цільовий чип і цільова плата
• Версії компілятора, середовища виконання, драйвера й прошивки
• Контрольна точка джерела та контрольні суми ONNX
• Назви й форми входів, розкладка, колірний простір, нормалізація та тип даних
• Точність квантування, масштаби за наявності та хеш калібрувальних даних
• Назви й форми вихідних тензорів, їхнє семантичне значення
• Завдання виявлення, назви класів і розташування декодування/NMS, на чипі чи на хості
• Результати числової узгодженості й точності завдання

LibreYOLO вже має переносний експорт ONNX, інструменти квантування, прямий, але навмисно вузький експорт RKNN і чесний процес зовнішньої компіляції Hailo. За критеріями цього посібника Amlogic ADLA є сильним наступним кандидатом на інтеграцію: набір інструментів публічний, моделі значною мірою збігаються із завданнями LibreYOLO, а старий шлях A311D можна чітко відокремити.

Наступний пріоритет після Amlogic слід визначати за обладнанням користувачів і можливістю перевіряти точність, а не лише за доступністю компілятора. DEEPX, Sony IMX500, D-Robotics, AXERA, SOPHGO і Qualcomm технічно привабливі; TI, NXP, ST і Renesas стають особливо цінними, коли промислові партнери можуть надати плати й довготривалий доступ до CI.

Список спостереження: реальний кремній без публічного контракту інтеграції

Повне виключення компанії може зробити огляд ринку оманливим. Назвати її підтримуваною може бути ще гірше. Ці постачальники продають, відвантажують зразки або анонсували відповідні чипи, але публічні свідчення поки не підтверджують відтворюваний актуальний шлях компілятора, артефакту й названої моделі, придатний для бекенду LibreYOLO.

Цей список спостереження навмисно ґрунтується на доказах. Постачальник може перейти до таблиць платформ для розгортання, опублікувавши актуальний набір інструментів або шлях оцінювання, контракт артефактів для конкретної цілі та щонайменше одну названу модель із наскрізним рецептом.

Що навмисно не стверджувалося

У цій статті не стверджується, що кожна названа модель працює з кожного вихідного репозиторію. Моделі з каталогу постачальника часто змінено, розбито в інших вихідних вузлах або поєднано з користувацькою післяобробкою.

Також наведені твердження не перетворено на заяви про підтримку:

• Компілятор імпортує ONNX.
• Чип рекламує драйвер Android NNAPI.
• Дистриб'ютор каже, що плата «сумісна з YOLO».
• У репозиторії спільноти запускається один варіант однієї моделі.
• Модель компілюється без помилки.
• Постачальник наводить FPS лише для NPU без результату точності.

Прискорювачі телефонів Google Tensor і численні користувацькі ASIC, створені лише для OEM, також існують, але Google не пропонує Tensor як ціль компіляції для самостійного використання, порівнянну з переліченими вище платформами. Самого факту існування компанії, блок-схеми NPU чи прискорення Android недостатньо, щоб вигадувати заяву про інтеграцію LibreYOLO.

Хмарні прискорювачі, як-от Google TPU, AWS Inferentia/Trainium, Microsoft Maia й AI-плати лише для центрів обробки даних, також поза межами теми. Посібник присвячено обладнанню, яке розробник комп'ютерного зору реально може розгорнути на периферії.

Ліцензування моделей є окремим рівнем. Публікація постачальником чипа рецепта перетворення YOLO не надає прав на використання чи поширення вихідних ваг, коду навчання або скомпільованого похідного артефакту. Для цільового продукту потрібно окремо перевіряти підтримку обладнання, ліцензію SDK і ліцензію моделі.

Методологія дослідження та виправлення

Для кожної компанії шукали чотири типи першоджерел:

1. Поточну сторінку продукту або даташит, де визначено кремній.
2. Документацію компілятора й середовища виконання з поясненням реального процесу розгортання.
3. Каталог моделей, таблицю сумісності або наскрізний посібник із названими моделями комп'ютерного зору.
4. Сигнал щодо життєвого циклу або доступу, який показує, чи можуть розробники отримати інструменти.

Власні організації на GitHub вважаються джерелами постачальника. Документацію виробника плати позначено як свідчення екосистеми, якщо компанія-виробник чипа не публікує аналогічні матеріали. Твердження сторонніх джерел про продуктивність виключено з порівняльних таблиць.

Потім завершену чернетку повторно перевірили окремо за групами постачальників і міжтабличними даними. Під час перевірок повторно звірили обсяг цілей, назви артефактів, точність, докази щодо моделі й постпроцесора, статуси «анонсовано»/«у продажу», позначення життєвого циклу, знаменники бенчмарків і кожну кількість сутностей. Якщо два джерела від першої сторони суперечать одне одному, у посібнику це зазначено, а не обрано мовчки зручніше значення.

Цей ринок швидко змінюється. Якщо ви працюєте в одній із цих компаній і бачите помилку в чипі, SDK, списку моделей чи статусі доступу, надішліть LibreYOLO точну URL-адресу публічної документації та версію. Текст слід оновлювати на підставі виправлень із першоджерел; непідтверджені маркетингові заяви не слід додавати.

Поширені запитання

Скільки існує компаній Edge AI NPU?

Універсальної кількості компаній немає, оскільки постачальники продуктів, ліцензіари IP, розумні сенсори, GPU та приватні автомобільні ASIC перетинаються. Цей невичерпний посібник охоплює 69 компаній і платформних екосистем, пов'язаних із edge AI чипами, платформами прискорення, ліцензованим IP NPU або перспективними чипами зі списку спостереження станом на серпень 2026 року.

Що таке NPU?

Нейронний процесор (NPU) є спеціалізованим обладнанням для операцій нейронних мереж, як-от згортки та множення матриць. Постачальники використовують назви NPU, AIPU, BPU, KPU, DLA, HTP, TPU та MLA, а скомпільовані моделі зазвичай не можна переносити між компаніями.

Які компанії NPU офіційно підтримують моделі YOLO?

Amlogic, Hailo, Axelera AI, Rockchip, Qualcomm, MediaTek, DEEPX, D-Robotics, AXERA, SOPHGO, Huawei, Cambricon, Sony IMX500 через офіційний репозиторій Raspberry Pi AI Camera, STMicroelectronics, Renesas, Lattice, Himax, Microchip та кілька інших мають власні записи в каталогах моделей, посібники або валідовані результати щонайменше для одного покоління YOLO. Конкретне покоління, завдання, цільовий чип і версія SDK мають значення.

Чи може будь-яка модель ONNX працювати на будь-якому NPU?

Ні. ONNX є форматом обміну, а не гарантією апаратної сумісності. Компілятор NPU має підтримувати кожен оператор, форму тензора й тип даних у графі. Часто трапляються статичні форми, розбиття графа, користувацькі операції та резервне виконання на CPU.

Який NPU найкраще підходить для YOLO?

Універсального переможця немає. Hailo, Rockchip, Axelera AI, DEEPX і Amlogic мають добре задокументовану підтримку YOLO, а Qualcomm вирізняється надзвичайно широким охопленням пристроїв. Обирайте з огляду на правильність після квантування, затримку всього пайплайна, тривалу потужність, ціну, доступність, доступ до SDK і підтримку операційної системи.

Чому показники NPU у TOPS не можна порівнювати безпосередньо?

Постачальники можуть рахувати різну точність, розріджені операції, операції множення з накопиченням і припущення щодо пікового завантаження. TOPS не враховує трафік пам'яті, непідтримувані оператори, попередню та післяобробку й накладні витрати хоста. Порівнюйте ту саму модель, точність, роздільну здатність, правильність і весь пайплайн.

Що таке калібрування NPU?

Під час калібрування репрезентативні, зазвичай неанотовані зображення для розгортання пропускають через модель, щоб компілятор міг оцінити діапазони активацій для INT8 або іншого формату з низькою точністю. На випадкових або нерепрезентативних зображеннях артефакт може скомпілюватися, але точність завдання погіршиться.

Чи підтримує LibreYOLO edge NPU?

LibreYOLO експортує ONNX і кілька форматів середовищ виконання, має прямий шлях компіляції RKNN для окремих моделей Rockchip і документує зовнішній процес компіляції Hailo. Для кожного іншого артефакту у форматі постачальника все одно потрібен його SDK; до компіляції, валідації та запуску на обладнанні такий варіант слід вважати кандидатом на інтеграцію.