YOLOv9

Установлення

YOLOv9 не потребує нічого додаткового до базового пакета.

pip install libreyolo

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Той самий виклик, інша контрольна точка. Наскрізна голова повертає власні# передбачення з найвищими оцінками, тому NMS не запускається, а iou ігнорується.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

Повернений об'єкт Results однаковий для всіх сімейств, тому для переходу на інший детектор достатньо змінити один рядок. У базовій моделі та моделі з кроком 4 аргумент conf задає поріг упевненості, а iou задає поріг NMS. Наскрізна модель не запускає NMS та ігнорує iou, тому її вивід визначають conf і max_det. Докладніше про джерела, потокове оброблення та роботу з результатами дивіться в розділі передбачення.

Варіанти

Три варіанти мають спільний бекбон. Усі три призначені лише для виявлення об'єктів і приймають однакові аргументи.

Базова модель робить передбачення на трьох масштабах ознак і усуває дублікати рамок за допомогою NMS.

Наскрізна модель зберігає цю голову й додає поряд із нею гілку зіставлення один-до-одного. Під час інференсу зчитується лише гілка один-до-одного, з якої вибираються передбачення з найвищими оцінками, тому NMS не запускається. Вибирайте цю модель, якщо середовище виконання для розгортання не має оператора NMS.

Модель із кроком 4 виводить на поверхню ще один рівень вище в бекбоні, розширює neck до нього й робить передбачення на чотирьох масштабах замість трьох. Додатковий масштаб призначений для об'єктів, що займають мало пікселів; єдину опубліковану контрольну точку для нього навчено на аерофотознімках. До нього можна переносити базові контрольні точки виявлення: бекбон і neck завантажуються без змін, три попередньо навчені башти голови зміщуються на одну позицію вгору, а башта з кроком 4 починає з випадкової ініціалізації.

Навчання

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # Варіант із кроком 4 не має власної контрольної точки COCO, тому вкажіть# базову контрольну точку виявлення: бекбон і neck завантажуються без змін,# а башта голови з кроком 4 починає з випадкової ініціалізації.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrained визначає початковий стан запуску. Передайте True, щоб завантажити опубліковану контрольну точку для тієї самої моделі й розміру, або назву чи шлях для будь-якої іншої. Тензори з невідповідною формою пропускаються, а не відхиляються, і в журналі запуску зазначено кількість завантажених тензорів. Тому контрольна точка, навчена з іншою кількістю класів, усе одно придатна як відправна точка.

Модель із кроком 4 не має власної опублікованої контрольної точки COCO, тому True для неї визначається як файл, якого не існує, і завантаження завершується помилкою. Натомість укажіть базову контрольну точку виявлення.

Докладніше про датасети, аугментацію, кілька GPU та засоби журналювання дивіться в розділі навчання.

Базова модель може навчати допоміжну гілку PGI поряд зі своєю основною головою. Гілка використовується лише під час навчання: передбачення й експорт працюють з основною головою. Запуск під'єднує її, коли початкові ваги містять тензори PGI або коли навчання йде з нуля. Опубліковані базові контрольні точки їх не містять, тому донавчання з них навчає лише основну голову й повідомляє про це в лозі. aux_weight=0.25 усе одно під'єднує нову гілку з цією вагою втрат, а aux_weight=0 тримає її вимкненою. Відновлений запуск зберігає налаштування PGI своєї контрольної точки. На розмірах m і c гілка така сама, як в upstream: другий бекбон на вхідному зображенні, етапи якого CBFuse підсумовує з відгалуженнями CBLinear основного бекбона, і власна голова, 12.8M та 25.7M параметрів лише для навчання за 80 класів. Наскрізна модель і модель із кроком 4 гілки PGI не мають.

Усі три варіанти обрізають L2-норму градієнта до 10 перед кожним кроком оптимізатора; clip_max_norm=0 вимикає обрізання. Призначення міток оцінює якорі в fp32, також і під автоматичним приведенням типів float16. max_labels=300 обмежує кількість рамок, що зберігаються для одного навчального зображення, а рамки понад ліміт відкидаються з одноразовим попередженням; пам'ять для призначення залежить від справжніх рамок кожного зображення, а не від ліміту. Імпульс SGD зростає від 0.8 до 0.937 протягом трьох епох. letterbox_pad=None успадковує позначку контрольної точки: ваги без позначки використовують topleft, а нові офіційні конверсії записують center.

Mosaic у YOLO9 і YOLOX надає перевагу зображенням із розміткою, виконуючи до 20 спроб вибору; MixUp у YOLO9 використовує те саме правило. MixUp типово вимкнено (mixup_prob=0). Коли його ввімкнено, коефіцієнт змішування береться з Beta(1, 1), рівномірно на [0, 1], як у MultimediaTechLab/YOLO. Профілі вхідних даних, відмінні від RGB, описано в розділі гістограм подій.

Валідація

val() повертає словник ключів metrics/, що охоплюють точність, повноту, mAP 50 і mAP 50-95, виміряні на будь-якому датасеті у форматі, на якому проводилося навчання.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# Вбудований файл COCO yaml містить убудований скрипт завантаження, тому# потрібен явний дозвіл, якщо датасету ще немає локально.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Експорт

Позначка стосується всіх трьох варіантів: якщо їхня підтримка відрізняється, матриця показує найслабший рівень серед трьох.

Експортований артефакт завантажується назад через LibreYOLO() за суфіксом файла, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий об'єкт Results. Також підтримується запуск графа в чистому середовищі виконання без установленої LibreYOLO, але тоді попереднє та подальше оброблення потрібно реалізувати самостійно.

Для базової моделі виявлення частину постоброблення можна перемістити до графа. nms=True під час експорту ONNX додає придушення всередину моделі, а першим виводом стає фіксований тензор (1, max_det, 6), рядки якого мають вигляд x1, y1, x2, y2, score, class і після кількості виявлень доповнюються нулями. Цей граф працює з батчем 1 і не містить динамічних осей. Наскрізна модель і модель із кроком 4 не приймають цей прапорець.

Кожен формат установлює окремий додатковий пакет і приймає кілька власних аргументів. Обидва аспекти описано на сторінці цього формату.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика визначає маршрут за суфіксом файла, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 використовує int8=True з калібрувальними даними.

Входи та виходи ONNX

Контрольні точки

Усі опубліковані файли ваг цього сімейства.

Ліцензування

Цитування

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}