D-FINE

Установка

D-FINE не требует опциональных extra. Всё, что он импортирует, входит в базовую установку.

pip install libreyolo

Исключение — дообучение адаптерами с lora=True: ему нужен extra lora.

pip install "libreyolo[lora]"

Предсказание

Веса скачиваются с Hugging Face при первом запуске и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Суффикс -seg в имени файла выбирает голову масок, поэтому аргумент# task здесь не нужен.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

Возвращаемый объект Results — тот же, что возвращает любое семейство, поэтому замена на другой детектор занимает одну строку. Имя файла с -seg само по себе выбирает задачу сегментации, и тогда result.masks несёт маски экземпляров рядом с рамками. conf и max_det фильтруют отбор запросов; iou принимается ради единообразия API, но ни на что не влияет, потому что декодер предсказывает сразу весь набор объектов и шага NMS в нём нет. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Пять размеров. Все они работают на одном и том же входном разрешении, поэтому таблица разделяет их по числу параметров и точности.

Сегментация переиспользует бэкбон, энкодер и декодер детекции и добавляет голову масок, поэтому -seg-чекпойнт принимает те же аргументы, что и его детекционный аналог. Семейство RT-DETRv4 в LibreYOLO написано как подкласс обёртки D-FINE: оно наследует эту линию декодера, а затем фиксирует список задач обратно на детекцию, потому что головы масок у него нет.

Обучение

Обучение начинается с опубликованного чекпойнта — для обеих задач.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Продолжает с опубликованных весов сегментации, вместе с головой масок.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# В весах детекции головы масок нет, поэтому это явный перенос:# голова стартует необученной и полезна только после обучения. Именно# запрос task=segment здесь разрешает такой перенос.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Если ничего не менять, обучение идёт 132 эпохи с lr0=2e-4 и amp=False, батчем 16 и ранней остановкой после 50 эпох без улучшения. Веса детекции — допустимая стартовая точка для обучения сегментации, но только как явный перенос: голова масок стартует необученной и иначе возвращала бы бессмысленные маски. Разрешает это передача task=segment в CLI. В Python путь уже: LibreDFINE приходится создавать напрямую с allow_detect_to_segment_transfer=True, потому что фабрика LibreYOLO() такого аргумента не принимает, а прямое создание ничего не скачивает, так что файл весов должен уже лежать на диске.

lora=True относится к детекции. Обучение сегментации его отклоняет и указывает вместо него на freeze='backbone', потому что голова масок с адаптерами не тестировалась. На Apple silicon весь запуск обучения переносится на CPU: обратный проход по бинированному matmul в Integral упирается в ошибку компиляции Metal. На инференс на MPS это не влияет.

Про датасеты, аугментацию, multi-GPU и логгеры см. обучение.

Валидация

val() возвращает словарь с ключами по именам метрик и печатает результаты по классам, если verbose оставлен включённым.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # маскиprint(metrics["metrics/mAP50-95(B)"])   # рамки

Для -seg-чекпойнта обычный ключ metrics/mAP50-95 содержит оценку по маскам, и тот же запуск дополнительно сообщает рамки под (B) и маски под (M), так что оба значения доступны за один проход.

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по расширению файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Пути экспорта в OpenVINO, Paddle, MNN и Core AI работают с фиксированным холстом, а не с динамическими формами. Экспорт перечисляет аргументы, которые принимает каждый формат, и те дополнительные, что добавляют некоторые из них.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по расширению файла, поэтому# экспортированный артефакт загружается как любой чекпойнт и# возвращает тот же объект Results.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Чекпойнты

Все опубликованные файлы весов этого семейства.

Лицензирование

Цитирование

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}