D-FINE

Встановлення

D-FINE не потребує додаткових пакетів. Усі його імпорти входять до базового встановлення.

pip install libreyolo

Винятком є донавчання адаптерів із lora=True, для якого потрібен додатковий пакет lora.

pip install "libreyolo[lora]"

Передбачення

Під час першого використання ваги завантажуються з Hugging Face та кешуються локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDFINEn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDFINEn.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Суфікс -seg у назві файлу вибирає голову масок, тому аргумент# завдання тут не потрібен.model = LibreYOLO("LibreDFINEn-seg.pt")result = model(SAMPLE_IMAGE, save=True) print(result.masks.data.shape)

Повертається той самий об'єкт Results, що й для кожного сімейства, тому для заміни детектора достатньо змінити один рядок. Назва файлу із -seg самостійно вибирає завдання сегментації, після чого result.masks містить маски екземплярів разом із рамками. Параметри conf і max_det фільтрують вибір запитів; iou приймається для сумісності API, але не впливає на результат, оскільки декодер є множинним предиктором без етапу NMS. Джерела, потокове оброблення та роботу з результатами описано на сторінці передбачення.

Варіанти

Доступні п'ять розмірів. Усі вони працюють з однаковою роздільною здатністю вхідних даних, тому таблиця розрізняє їх за кількістю параметрів і правильністю.

Сегментація повторно використовує бекбон, кодер і декодер виявлення та додає голову масок, тому контрольна точка -seg приймає ті самі аргументи, що й відповідна контрольна точка виявлення. Сімейство RT-DETRv4 у LibreYOLO реалізовано як підклас обгортки D-FINE: воно успадковує цю лінію декодера, а потім знову обмежує перелік завдань виявленням, оскільки не містить голови масок.

Навчання

Для обох завдань навчання починається з опублікованої контрольної точки.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, imgsz=640, batch=8, lr0=2e-4)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 imgsz=640 batch=8 lr0=2e-4

# Продовжує навчання з опублікованих ваг сегментації, зокрема голови масок.libreyolo train model=LibreDFINEn-seg.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

# Ваги виявлення не містять голови масок, тому це явне перенесення:# голова починає без навчання й стає корисною лише після нього. Саме запит# task=segment тут дозволяє перенесення.libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  task=segment epochs=50 imgsz=640

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.train(data="my-dataset.yaml", epochs=50, lora=True)

libreyolo train model=LibreDFINEn.pt data=my-dataset.yaml \  epochs=50 device=0,1 batch=16

Без додаткових параметрів тренер виконує 132 епохи з lr0=2e-4, amp=False, батчем 16 і ранньою зупинкою після 50 епох без покращення. Ваги виявлення можна використати як початкову точку для навчання сегментації, але лише як явне перенесення, оскільки голова масок починає без навчання й інакше повертала б беззмістовні маски. Саме передавання task=segment до CLI дозволяє це. Шлях Python має суворіші обмеження: потрібно безпосередньо створити LibreDFINE з allow_detect_to_segment_transfer=True, оскільки фабрика LibreYOLO() не приймає такого аргументу, а пряме створення не завантажує файли, тому файл ваг уже має бути на диску.

Параметр lora=True застосовується до виявлення. Навчання сегментації відхиляє його та натомість указує на freeze='backbone', оскільки голову масок не перевірено з адаптерами. На Apple silicon тренер переносить весь запуск на CPU: зворотний прохід бінованого матричного множення Integral спричиняє помилку компіляції Metal. Інференс на MPS не зазнає впливу.

Датасети, аугментацію, кілька GPU та системи журналювання описано на сторінці навчання.

Валідація

Метод val() повертає словник із ключами за назвами метрик і виводить результати для кожного класу, якщо verbose залишається ввімкненим.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])

libreyolo val model=LibreDFINEn.pt data=my-dataset.yaml

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn-seg.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mAP50-95(M)"])   # маскиprint(metrics["metrics/mAP50-95(B)"])   # рамки

Для контрольної точки -seg звичайний ключ metrics/mAP50-95 містить оцінку масок, а той самий запуск також повідомляє рамки під (B) і маски під (M), тому обидва результати доступні за один прохід.

Експорт

Експортований артефакт повторно завантажується через LibreYOLO() за суфіксом файлу, тому файл .onnx або .engine поводиться як контрольна точка й повертає той самий Results. Шляхи OpenVINO, Paddle, MNN і Core AI експортують із фіксованим полотном, а не динамічними формами. На сторінці Експорт наведено аргументи, які приймає кожен формат, і додаткові пакети, потрібні деяким із них.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDFINEn.pt")model.export(format="onnx", imgsz=640)model.export(format="tensorrt", imgsz=640, half=True)

libreyolo export model=LibreDFINEn.pt format=onnx imgsz=640libreyolo export model=LibreDFINEn.pt format=tensorrt imgsz=640 half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика виконує маршрутизацію за суфіксом файлу, тому експортований артефакт# завантажується як будь-яка контрольна точка й повертає той самий об'єкт Results.model = LibreYOLO("LibreDFINEn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Контрольні точки

Усі опубліковані файли ваг для цього сімейства.

Ліцензування

Цитування

@misc{peng2024dfine,
      title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
      author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
      year={2024},
      eprint={2410.13842},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}