DEIM

Installation

Keine der beiden Versionen braucht ein optionales Extra. Alles, was sie importieren, steckt in der Basisinstallation.

pip install libreyolo

Fine-Tuning mit Adaptern über lora=True ist die Ausnahme und braucht das lora-Extra.

pip install "libreyolo[lora]"

Vorhersage

Die Gewichte werden beim ersten Aufruf von Hugging Face geladen und lokal zwischengespeichert.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreDEIMn.pt")result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

libreyolo predict model=LibreDEIMn.pt save=True \  source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg

from libreyolo import LibreYOLO # Die Version steckt im Dateinamen, und die Factory routet über den# Checkpoint, also laden beide gleich.model = LibreYOLO("LibreDEIMv2pico.pt") # Jede Quelle, die die Bibliothek akzeptiert: Datei, Ordner, URL,# Webcam-Index, RTSP-Stream oder eine .streams-Listefor result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

Das zurückgegebene Results-Objekt ist dasselbe, das jede Familie liefert, ein anderer Detektor ist also eine Änderung von einer Zeile. conf und max_det filtern eine Top-k-Dekodierung über Queries und Klassen; es gibt keinen NMS-Schritt zum Einstellen, und iou wird akzeptiert, aber nicht genutzt. Siehe Vorhersage für Quellen, Streaming und den Umgang mit Ergebnissen.

DEIM akzeptiert rechteckiges imgsz=(height, width) für die Vorhersage. DEIMv2 weist rechteckige Vorhersage- und Validierungsanfragen ausdrücklich zurück. Daraus folgt keine Unterstützung für rechteckiges Training oder rechteckigen Export.

Varianten

Version 1 bringt fünf Größen mit, alle bei derselben Eingabegröße. Version 2 behält diese fünf Namen und ergänzt drei kleinere, atto, femto und pico, von denen die ersten beiden nativ auf einer kleineren Eingabegröße laufen als der Rest. Fünf Größenkürzel gibt es damit in beiden Versionen, und sie benennen unterschiedliche Modelle; die Version steht im Dateinamen des Checkpoints.

Version 1 behält die Architektur von D-FINE und tauscht deren Klassifikationsziel gegen den matchability-aware Loss aus dem dichten Eins-zu-eins-Rezept, deshalb teilen sich die beiden Familien fast jeden State-Dict-Key und werden über die Metadaten im Checkpoint unterschieden. Version 2 behält diesen Trainingsvertrag bei und mischt die Backbones: HGNetv2 unterhalb von s, und ein DINOv3-Vision-Transformer mit einem Spatial-Tuning-Adapter ab s aufwärts. Dieses Backbone ist der Grund, warum auf diesen vier Checkpoints eine zweite Lizenz liegt, lies also Lizenzierung, bevor du einen davon ausrollst.

Training

Das Training startet von einem veröffentlichten Checkpoint. pretrained erreicht den Trainer nie: Version 1 warnt, dass der Key unbekannt ist, und ignoriert ihn, Version 2 entfernt ihn. Keine der beiden gibt dir ein zufällig initialisiertes Modell.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # coco128.yaml lädt beim ersten Aufruf 128 Beispielbilder. Für einen# echten Lauf zeigt `data` auf dein eigenes Dataset-YAML.model.train(data="coco128.yaml", epochs=50, batch=8, lr0=1e-4)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 batch=8 lr0=1e-4

from libreyolo import LibreYOLO # Bleiben epochs, batch, imgsz und lr0 ungesetzt, kommen sie aus dem# veröffentlichten Rezept für die geladene Größe.model = LibreYOLO("LibreDEIMv2pico.pt")model.train(data="coco128.yaml", epochs=50)

# Braucht das lora-Extra: pip install "libreyolo[lora]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")model.train(data="coco128.yaml", epochs=50, lora=True)

libreyolo train model=LibreDEIMn.pt data=coco128.yaml \  epochs=50 device=0,1

Übergib lr0 bei Version 1 selbst. Ihre Python-Signatur von train() hat 4e-4 als Standard, die Rate aus dem veröffentlichten COCO-Rezept, während die Trainingskonfiguration der Familie 1e-4 als Fine-Tuning-Standard führt, und diesen niedrigeren Wert löst die CLI auf, wenn das Argument fehlt. Die Konfiguration hält die Messung dahinter fest: bei den Batch-Größen, die ein Fine-Tuning tatsächlich nutzt, und auf kleinen Datensätzen hat die COCO-Rate den Transfer messbar verschlechtert.

Version 2 löst diese Standardwerte selbst auf. Lässt du epochs, batch, imgsz und lr0 ungesetzt, liest sie jeden Wert aus dem veröffentlichten Rezept für die geladene Größe, dadurch trainieren die kleinen Größen ohne weitere Angabe in ihrer eigenen Eingabeauflösung, und ein Wert, den du übergibst, überschreibt das Rezept. imgsz ist das Argument, das sie einschränkt: Es muss ein positives Vielfaches von 32 sein, sonst wirft Version 2 einen Fehler, bevor der Lauf startet.

Siehe Training für Datensätze, Augmentierung, Multi-GPU und Logger.

DEIM aktiviert AMP standardmäßig mit amp_dtype="float16". Übergib amp=False für FP32-Training.

Validierung

val() gibt ein Dictionary mit metrics/-Keys zurück, das Precision, Recall, mAP 50 und mAP 50-95 abdeckt, gemessen an jedem Datensatz im Format, auf dem du trainiert hast.

from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt") # val() gibt ein einfaches dict zurück, kein Objektmetrics = model.val(data="coco128.yaml") print(metrics["metrics/mAP50-95"])print(metrics["metrics/mAP50"])print(metrics["metrics/precision"], metrics["metrics/recall"])

libreyolo val model=LibreDEIMn.pt data=coco128.yaml

# coco-val-only.yaml holt die 5000 val2017-Bilder und lässt das# Trainingsset aus. Es enthält ein Download-Skript, braucht also# explizite Erlaubnis, sofern der Datensatz nicht schon lokal ist.libreyolo val model=LibreDEIMn.pt data=coco-val-only.yaml \  allow_download_scripts=True

Die Zeilen in der Benchmark-Tabelle oben stammen aus dem Benchmark-Harness von LibreYOLO; die Notiz unter dieser Tabelle hält fest, welcher Datensatz sie erzeugt hat, und verlinkt die Laufprotokolle.

Export

Die Matrix deckt beide Versionen auf einer Seite ab: Wo sie sich bei einem Format unterscheiden, zeigt die Zelle den schwächeren der beiden Werte, hier wird also für keine der Versionen zu viel versprochen.

Ein exportiertes Artefakt lädt über seine Dateiendung wieder durch LibreYOLO(), eine .onnx- oder .engine-Datei verhält sich also wie ein Checkpoint und liefert dieselben Results.

# Braucht das onnx-Extra: pip install "libreyolo[onnx]"from libreyolo import LibreYOLO model = LibreYOLO("LibreDEIMn.pt")path = model.export(format="onnx")print(path)

libreyolo export model=LibreDEIMn.pt format=onnx

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory routet über die Dateiendung: Ein exportiertes Artefakt# lädt wie jeder Checkpoint und liefert dasselbe Results-Objekt.model = LibreYOLO("LibreDEIMn.onnx")result = model(SAMPLE_IMAGE) print(result.boxes.xyxy)

ONNX-Ein- und Ausgaben

Checkpoints

Jede veröffentlichte Gewichtsdatei dieser Familie.

Lizenzierung

Zitieren

@misc{huang2024deim,
      title={DEIM: DETR with Improved Matching for Fast Convergence},
      author={Shihua, Huang and Zhichao, Lu and Xiaodong, Cun and Yongjun, Yu and Xiao, Zhou and Xi, Shen},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      year={2025},
}

DEIMv2 ist ein eigenes Paper und hat einen eigenen Zitierblock unter github.com/Intellindust-AI-Lab/DEIMv2; zitiere diesen, wenn du einen Checkpoint von Version 2 verwendet hast.