DEIM

Instalacja

Żadna z wersji nie potrzebuje opcjonalnego dodatku. Wszystko, co importują, jest w podstawowej instalacji.

pip install libreyolo

Dostrajanie adaptera za pomocą lora=True jest wyjątkiem i wymaga dodatkowego lora.

pip install "libreyolo[lora]"

Predykcja

Wagi są pobierane z Hugging Face przy pierwszym użyciu i są przechowywane w pamięci podręcznej lokalnie.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDEIMn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDEIMn.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO # Wersja jest częścią nazwy pliku, a fabryka kieruje na# checkpoint, więc oba ładują się w ten sam sposób.model = LibreYOLO("LibreDEIMv2pico.pt") # Dowolne źródło akceptowane przez bibliotekę: plik, folder, URL, indeks kamery internetowej,# Strumień RTSP lub lista .streamsfor result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

Zwrócony obiekt Results jest tym, który zwraca każda rodzina, więc wymiana na inny detektor to zmiana w jednej linii. conf i max_det filtrują dekodowanie top-k dla zapytań i klas; nie ma kroku NMS do regulacji, a iou jest akceptowany, ale nieużywany. Zobacz prediction dla źródeł, streaming i obsługi wyników.

Warianty

Wersja 1 oferuje pięć rozmiarów, wszystkie przy tym samym rozmiarze wejściowym. Wersja 2 zachowuje te pięć nazw i dodaje trzy mniejsze, atto, femto i pico, z których dwa pierwsze są natywne przy mniejszym rozmiarze wejściowym niż pozostałe. W obu wersjach istnieje więc pięć kodów rozmiarów i oznaczają różne modele; wersja jest zapisana w nazwie pliku checkpointu.

Wersja 1 zachowuje architekturę D-FINE i zastępuje jej cel klasyfikacji funkcją straty uwzględniającą możliwość dopasowania z gęstego przepisu jeden-do-jednego. Obie rodziny współdzielą więc niemal wszystkie klucze słownika stanu, a odróżniają je metadane checkpointu. Wersja 2 zachowuje ten kontrakt trenowania i łączy różne backbone: HGNetv2 w rozmiarach mniejszych niż s oraz transformer wizyjny DINOv3 z adapterem dostrajania przestrzennego w rozmiarze s i większych. Ten backbone powoduje objęcie czterech checkpointów drugą licencją, dlatego przed ich wdrożeniem należy przeczytać sekcję Licencjonowanie.

Trenowanie

Trenowanie zaczyna się od opublikowanego checkpointu. pretrained nigdy nie dociera do trenera: wersja 1 ostrzega, że klucz jest nieznany i go ignoruje, wersja 2 go usuwa. Żadna z nich nie daje losowo zainicjowanego modelu.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # coco128.yaml pobiera próbkę 128 obrazów przy pierwszym użyciu. Punkt `data`# na własnym zbiorze danych YAML do rzeczywistego uruchomienia.model.train(data="coco128.yaml", epochs=50, batch=8, lr0=1e-4)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 batch=8 lr0=1e-4

from libreyolo import LibreYOLO # Jeżeli nie zostaną ustawione, epochs, batch, imgsz i lr0 pochodzą z wydanej wersji# przepis na rozmiar, który został załadowany.model = LibreYOLO("LibreDEIMv2pico.pt")model.train(data="coco128.yaml", epochs=50)

# Wymaga dodatkowego lora: pip install "libreyolo[lora]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")model.train(data="coco128.yaml", epochs=50, lora=True)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 device=0,1

Dla wersji 1 należy samodzielnie podać lr0. Sygnatura metody train() w Pythonie ma wartość domyślną 4e-4, pochodzącą z opublikowanego przepisu COCO. Konfiguracja trenowania rodziny ustawia natomiast 1e-4 jako domyślną wartość dostrajania i właśnie tę niższą wartość wybiera CLI, gdy argumentu nie podano. Konfiguracja rejestruje wynik pomiaru uzasadniającego ten wybór: przy rozmiarach batcha używanych podczas dostrajania na małych zbiorach danych współczynnik z przepisu COCO wyraźnie pogarszał transfer.

Wersja 2 sama rozwiązuje te ustawienia domyślne. Pozostawienie epochs, batch, imgsz i lr0 nieustawionych powoduje, że program odczytuje każdy z nich z opublikowanego przepisu dla wczytanego rozmiaru, dzięki czemu małe rozmiary trenują w swojej własnej rozdzielczości wejściowej bez konieczności jej podawania, a wartość, którą podasz, nadpisuje przepis. imgsz to argument, który ogranicza: musi być dodatnią wielokrotnością 32, a wersja 2 zgłasza błąd przed rozpoczęciem działania w przeciwnym razie.

Zobacz trenowanie dotyczące zbiorów danych, augmentacji, multi-GPU i loggerów.

Walidacja

val() zwraca słownik kluczy metrics/ obejmujących precyzję, czułość, mAP 50 oraz mAP 50-95, mierzone względem dowolnego zbioru danych w formacie, na którym trenowałeś.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # val() zwraca zwykły słownik, a nie obiektmetrics = model.val(data="coco128.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreDEIMn.pt data=coco128.yaml

# coco-val-only.yaml pobiera 5000 obrazów val2017 i pomija# zbiór treningowy. Zawiera osadzony skrypt pobierania, więc wymaga# wyraźna zgoda, chyba że zbiór danych jest już lokalny.libreyolo val model=LibreDEIMn.pt data=coco-val-only.yaml \  allow_download_scripts=True

Wiersze w powyższej tabeli benchmarkowej pochodzą z zestawu testowego LibreYOLO; nota pod tą tabelą zapisuje, który zbiór danych je wygenerował i łączy z zapisami uruchomień.

Eksport

Macierz obejmuje obie wersje jako jedną stronę: tam, gdzie nie zgadzają się co do formatu, komórka pokazuje słabszą z obu, więc nic tutaj nie jest przesadnie promowane dla którejkolwiek wersji, którą załadujesz.

Eksportowany artefakt ładuje się ponownie przez LibreYOLO() na swoim rozszerzeniu pliku, więc plik .onnx lub .engine działa jak checkpoint i zwraca ten sam Results.

# Wymaga dodatkowego onnx: pip install "libreyolo[onnx]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")path = model.export(format="onnx")print(path)

libreyolo export model=LibreDEIMn.pt format=onnx

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka kieruje na podstawie sufiksu pliku, więc eksportowany artefakt się ładuje# jak każdy checkpoint i zwraca ten sam obiekt Results.model = LibreYOLO("LibreDEIMn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

Checkpointy

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@misc{huang2024deim,
      title={DEIM: DETR with Improved Matching for Fast Convergence},
      author={Shihua, Huang and Zhichao, Lu and Xiaodong, Cun and Yongjun, Yu and Xiao, Zhou and Xi, Shen},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      year={2025},
}

DEIMv2 to odrębny artykuł i ma własny blok cytowań na github.com/Intellindust-AI-Lab/DEIMv2; cytuj go, jeśli używałeś checkpointu wersji 2.