Deformable DETR

Установка

Deformable DETR не требует опциональных extra. Всё, что он импортирует, входит в базовую установку, а в основе лежит многомасштабное деформируемое внимание на чистом PyTorch.

pip install libreyolo

Установка libreyolo[hub-kernels] опциональна. Как только пакет kernels доступен, LibreYOLO во время работы скачивает с Hugging Face Hub скомпилированное ядро многомасштабного деформируемого внимания и использует его вместо реализации на чистом PyTorch; LIBREYOLO_HUB_KERNELS=0 выключает это обратно.

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDeformableDETRr50.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDeformableDETRr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому замена одного детектора на другой сводится к одной строке. conf и max_det фильтруют отбор запросов; iou принимается ради совместимости API, но ни на что не влияет, потому что декодер предсказывает набор целиком и шага NMS в нём нет. Про источники, стриминг и обработку результатов см. предсказание.

В LibreYOLO Deformable DETR доступен только для инференса. Оригинальная реализация обучается с венгерским сопоставлением и focal-функцией потерь для классификации; этот рецепт здесь не реализован, поэтому train() выбрасывает NotImplementedError.

Варианты

Пять чекпойнтов покрывают опубликованные конфигурации, все с одинаковым разрешением на входе. r50ss ограничивает внимание одним масштабом признаков; r50ssdc5 добавляет поверх этого стадию бэкбона C5 с dilated-свёрткой. r50 — стандартная многомасштабная конфигурация, которая делает выборку по четырём уровням карт признаков. r50refine добавляет итеративное уточнение ограничивающих рамок по слоям декодера, а r50twostage формирует начальные предложения областей из выхода энкодера, а не из обучаемых запросов.

Валидация

val() возвращает словарь с ключами metrics/, куда входят точность, полнота, mAP 50 и mAP 50-95, измеренные на любом датасете в том формате, в котором вы обучали.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeformableDETRr50.pt") # val() возвращает обычный dict, а не объектmetrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreDeformableDETRr50.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Экспорт перечисляет аргументы, которые принимает каждый формат.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDeformableDETRr50.pt")model.export(format="onnx", imgsz=800)model.export(format="tensorrt", imgsz=800, half=True)

libreyolo export model=LibreDeformableDETRr50.pt format=onnx imgsz=800libreyolo export model=LibreDeformableDETRr50.pt format=tensorrt imgsz=800 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому# экспортированный артефакт загружается как любой чекпойнт и# возвращает тот же объект Results.model = LibreYOLO("LibreDeformableDETRr50.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@article{zhu2020deformable,
  title={Deformable DETR: Deformable Transformers for End-to-End Object Detection},
  author={Zhu, Xizhou and Su, Weijie and Lu, Lewei and Li, Bin and Wang, Xiaogang and Dai, Jifeng},
  journal={arXiv preprint arXiv:2010.04159},
  year={2020}
}