PicoDet

Установка

PicoDet не требует ничего сверх базового пакета.

pip install libreyolo

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibrePICODETs.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibrePICODETs.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому замена на другой детектор занимает одну строку. conf задаёт порог уверенности, а iou — порог NMS. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Три размера, каждый на своём фиксированном входном разрешении: s — самый маленький, l — самый большой. Разрешение растёт вместе с размером, поэтому крупные чекпойнты не только несут больше параметров, но и обходятся дороже на каждом изображении.

Обучение

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")model.train(    data="my-dataset.yaml",    epochs=300, batch=16, lr0=0.01,)

# imgsz стоит задать: в CLI по умолчанию стоит 640, тогда как у# чекпойнта s родное разрешение — 320.libreyolo train model=LibrePICODETs.pt data=my-dataset.yaml imgsz=320 epochs=300 batch=16 lr0=0.01

Компоненты функции потерь и назначение целей повторяют апстрим-рецепт: VFL, DFL, GIoU и SimOTA, со взвешиванием по качеству классификации и целями VFL по динамическому IoU. Инференс побитово совпадает с апстримом на одном и том же чекпойнте.

Что не проверялось, если верить самому docstring у train(): сходимость на полном датасете, поведение при multi-GPU и любая аугментация, кроме горизонтального отражения. Чекпойнт s на своём родном 320 к тому же не всегда проходит нижний порог точности LibreYOLO на тестовой выборке из 30 изображений и двух классов, на которой библиотека проверяет небольшие дообучения. Этот размер лучше подходит для масштаба полного COCO.

train() принимает и аргумент pretrained, но внутри метода его значение нигде не читается: обучение всегда продолжается с тех весов, с которыми модель была создана, поэтому pretrained=False не переинициализирует сеть. Если не задавать imgsz в Python, берётся родное разрешение загруженного чекпойнта: 320 для s, 416 для m и 640 для l. CLI всегда передаёт imgsz, по умолчанию 640, поэтому там его нужно выставить под чекпойнт.

Если больше ничего не трогать, обучение идёт 300 эпох на SGD с lr0=0.01, моментом 0.9, weight decay 4e-5 и прогревом в одну эпоху по косинусному расписанию. Единственная применяемая аугментация — горизонтальное отражение.

Про датасеты, аугментацию, multi-GPU и логгеры см. обучение.

Валидация

val() возвращает словарь с ключами metrics/, которые покрывают точность, полноту, mAP 50 и mAP 50-95, посчитанные на любом датасете в том формате, на котором шло обучение.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibrePICODETs.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Запускать граф в голой среде выполнения, без установленного LibreYOLO, тоже можно, но тогда предобработку и постобработку придётся писать самостоятельно.

from libreyolo import LibreYOLO model = LibreYOLO("LibrePICODETs.pt")model.export(format="onnx", imgsz=320)model.export(format="tensorrt", imgsz=320, half=True)

libreyolo export model=LibrePICODETs.pt format=onnx imgsz=320libreyolo export model=LibrePICODETs.pt format=tensorrt imgsz=320 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому# экспортированный артефакт загружается как любой чекпойнт и# возвращает тот же объект Results.model = LibreYOLO("LibrePICODETs.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@misc{yu2021pppicodet,
      title={PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices},
      author={Guanghua Yu and Qinyao Chang and Wenyu Lv and Chang Xu and Cheng Cui and Wei Ji and Qingqing Dang and Kaipeng Deng and Guanzhong Wang and Yuning Du and Baohua Lai and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},
      year={2021},
      eprint={2111.00902},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}