YOLOv9

Установка

YOLOv9 не требует ничего сверх базового пакета.

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreYOLO9s.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreYOLO9s.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Тот же вызов, другой чекпойнт. End-to-end голова сама возвращает# предсказания с наибольшими оценками, поэтому NMS не запускается, а iou игнорируется.model = LibreYOLO("LibreYOLO9E2Es.pt")result = model(SAMPLE_IMAGE, conf=0.25, max_det=300) print(len(result.boxes))

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому замена на другой детектор — правка в одну строку. У базовой модели и у модели с шагом 4 conf задаёт порог уверенности, а iou — порог NMS. End-to-end модель NMS не запускает и iou игнорирует, поэтому её вывод определяется conf и max_det. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Три варианта используют общий бэкбон. Все три решают только задачу детекции и принимают одни и те же аргументы.

Базовая модель предсказывает на трёх масштабах признаков и убирает дублирующиеся рамки с помощью NMS.

End-to-end модель сохраняет эту голову и добавляет рядом ветку с сопоставлением один к одному. Инференс читает только эту ветку и берёт из неё предсказания с наибольшими оценками, поэтому NMS не запускается. Выбирайте её, когда в среде выполнения, куда вы разворачиваете модель, нет оператора NMS.

Модель с шагом 4 выводит наружу ещё один уровень бэкбона, протягивает до него neck и предсказывает на четырёх масштабах вместо трёх. Дополнительный масштаб нужен для объектов, занимающих мало пикселей; единственный опубликованный для неё чекпойнт обучен на аэрофотоснимках. Базовые детекционные чекпойнты в неё переносятся: бэкбон и neck загружаются без изменений, три предобученные башни головы сдвигаются на одну позицию вверх, а башня с шагом 4 стартует со случайной инициализации.

Обучение

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.train(data="my-dataset.yaml", epochs=100, imgsz=640, batch=16)

libreyolo train model=LibreYOLO9s.pt data=my-dataset.yaml \  epochs=100 imgsz=640 batch=16

from libreyolo import LibreYOLO9P2 # У варианта с шагом 4 нет собственного чекпойнта на COCO, поэтому# укажите базовый детекционный: его бэкбон и neck загрузятся без# изменений, а башня головы с шагом 4 стартует со случайной инициализации.model = LibreYOLO9P2(None, size="s")model.train(data="my-dataset.yaml", epochs=100, pretrained="LibreYOLO9s.pt")

pretrained определяет, с чего начинается запуск. Передайте True, чтобы загрузить опубликованный чекпойнт для той же модели и того же размера, или имя либо путь — для всего остального. Тензоры с несовпадающей формой пропускаются, а не приводят к ошибке, и в лог пишется, сколько их загрузилось, поэтому чекпойнт, обученный на другом числе классов, всё равно годится как стартовая точка.

У модели с шагом 4 нет собственного опубликованного чекпойнта на COCO, поэтому в этом случае True указывает на несуществующий файл, и скачивание падает. Вместо этого укажите базовый детекционный чекпойнт.

Про датасеты, аугментацию, multi-GPU и логгеры см. обучение.

Базовая модель может обучать вспомогательную ветвь PGI рядом с основной головой. Ветвь нужна только при обучении: предсказание и экспорт используют основную голову. Запуск подключает её, когда стартовые веса содержат тензоры PGI или когда обучение идёт с нуля. Опубликованные базовые чекпойнты их не содержат, поэтому дообучение с них обучает только основную голову и пишет об этом в лог. aux_weight=0.25 всё равно подключает новую ветвь с этим весом функции потерь, а aux_weight=0 оставляет её выключенной. Возобновлённый запуск сохраняет настройку PGI из своего чекпойнта. В размерах m и c ветвь такая же, как в оригинале: второй бэкбон на входном изображении, стадии которого CBFuse суммирует с отводами CBLinear основного бэкбона, и собственная голова, 12.8M и 25.7M параметров, используемых только при обучении, при 80 классах. У сквозной модели и модели с шагом 4 ветви PGI нет.

Все три варианта обрезают L2-норму градиента на 10 перед каждым шагом оптимизатора; clip_max_norm=0 отключает обрезку. Назначение меток оценивает якоря в fp32, в том числе при автокасте float16. max_labels=300 ограничивает число рамок, сохраняемых на обучающее изображение, а рамки сверх лимита отбрасываются с однократным предупреждением; память назначения зависит от реальных рамок каждого изображения, а не от лимита. Momentum SGD прогревается от 0.8 до 0.937 за три эпохи. letterbox_pad=None наследует отметку чекпойнта: веса без отметки используют topleft, а новые официальные конверсии записывают center.

Mosaic в YOLO9 и YOLOX предпочитает изображения с разметкой, делая не более 20 попыток выбора; MixUp в YOLO9 использует ту же политику. MixUp по умолчанию выключен (mixup_prob=0). Когда он включён, коэффициент смешивания берётся из Beta(1, 1), равномерно на [0, 1], как в MultimediaTechLab/YOLO. Профили входа без RGB описаны в разделе гистограмм событий.

Валидация

val() возвращает словарь с ключами metrics/ для точности, полноты, mAP 50 и mAP 50-95, измеренных на любом датасете в том формате, на котором вы обучались.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreYOLO9s.pt data=my-dataset.yaml

# Во встроенном COCO yaml есть скрипт скачивания, поэтому нужно явное# разрешение, если датасет ещё не лежит локально.libreyolo val model=LibreYOLO9c.pt data=coco.yaml imgsz=640 \  allow_download_scripts=True

Экспорт

Галочка действует для всех трёх вариантов: там, где они расходятся, в таблице стоит самый слабый из трёх.

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Запуск графа в чистой среде выполнения, без установленной библиотеки LibreYOLO, тоже поддерживается, но тогда препроцессинг и постпроцессинг придётся писать самостоятельно.

Для базовой детекционной модели половину с постпроцессингом можно перенести в граф. nms=True при экспорте в ONNX помещает подавление внутрь модели, и первый выход становится тензором фиксированной формы (1, max_det, 6), строки которого — x1, y1, x2, y2, score, class, дополненные нулями после числа детекций. Такой граф рассчитан на батч 1 и не содержит динамических осей. End-to-end модель и модель с шагом 4 этот флаг не принимают.

Каждый формат устанавливает свой extra и принимает несколько собственных аргументов. И то и другое описано на странице этого формата.

from libreyolo import LibreYOLO model = LibreYOLO("LibreYOLO9s.pt")model.export(format="onnx", imgsz=640)

libreyolo export model=LibreYOLO9s.pt format=onnx imgsz=640

libreyolo export model=LibreYOLO9s.pt format=onnx nms=True \  conf=0.25 iou=0.45 max_det=300

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает путь по суффиксу файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же объект Results.model = LibreYOLO("LibreYOLO9s.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

TFLite INT8 использует int8=True с калибровочными данными.

Входы и выходы ONNX

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@inproceedings{wang2024yolov9,
      title={{YOLOv9}: Learning What You Want to Learn Using Programmable Gradient Information},
      author={Wang, Chien-Yao and Yeh, I-Hau and Liao, Hong-Yuan Mark},
      year={2024},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
}