LocateAnything

Installation

LocateAnything benötigt das Zusatzpaket vlm. Dieses installiert transformers sowie die Pakete decord, lmdb und peft, die der entfernte Hugging-Face-Code beim Laden importiert.

pip install "libreyolo[vlm]"

Vorhersage

LibreLocateAnything ist eine Python-Klasse und kein .pt-Checkpoint. Sie wird weder über die Factory LibreYOLO() geladen noch von der CLI libreyolo aufgelöst. Die Factory LibreVLM(...) (from libreyolo import LibreVLM) erreicht diese Familie ebenfalls über einen Alias, zum Beispiel LibreVLM("locate-anything"). Sie erzeugt die unten verwendete Klasse. Beim Laden wird der eigene entfernte Modellcode von NVIDIA auf Hugging Face heruntergeladen und ausgeführt. LibreYOLO schreibt den Download daher auf eine feste Commit-Revision statt auf den veränderlichen Branch main fest und protokolliert vor dem ersten Download einmalig einen Lizenzhinweis.

from libreyolo import LibreLocateAnything, SAMPLE_IMAGE model = LibreLocateAnything(size="3b") # Offenes Vokabular: Beliebige Wörter statt eines festen Klassen-Heads. Bleibt# über alle späteren predict()/track()-Aufrufe wirksam, bis es neu gesetzt wird.model.set_classes(["person", "bicycle", "dog"])result = model(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreLocateAnything, SAMPLE_IMAGE # task="point" gibt pro passendem Objekt einen Punkt statt einer Box zurück.# Aufgaben auf einem geladenen Modell mit model.set_task("point") wechseln.model = LibreLocateAnything(size="3b", task="point")model.set_classes(["the person closest to the camera"])result = model(SAMPLE_IMAGE, save=True) for pt in result.points:    print(pt.cls, pt.conf, pt.xy)

from libreyolo import LibreLocateAnything, SAMPLE_IMAGE model = LibreLocateAnything(size="3b") # Der direkte Weg unterhalb der Erkennungsfunktion: freie Fragen,# Zählaufgaben oder beliebige Prompts außerhalb des Boxen-Wrappers.text = model.chat(SAMPLE_IMAGE, "Describe the scene in one sentence.")print(text)

result.boxes (Aufgabe detect) und result.points (Aufgabe point) enthalten die geparste Ausgabe wie bei anderen Familien. Die Confidence ist ein Platzhalter: LocateAnything gibt keinen Score pro Box aus. Jede Erkennung erhält deshalb dieselbe konstante Confidence. conf= entfernt nur Zeilen unterhalb dieser Konstante und sortiert sie nicht. Wenn du set_classes() überspringst, verwendet das Vokabular standardmäßig die COCO-80-Namen. Unter Vorhersage findest du Quellen, Streaming und die Verarbeitung von Ergebnissen.

Varianten

Es gibt eine veröffentlichte Größe, 3b. Zwei Aufgaben verwenden dieselben Gewichte: detect (der Standardwert) gibt Boxen zurück, task="point" dagegen einen einzelnen Punkt pro passendem Objekt in result.points. Auf einem bereits geladenen Modell wechselst du mit model.set_task("point") zwischen ihnen. Der Benchmark-Testaufbau von LibreYOLO hat diese Familie nicht gemessen. Es gibt daher keine veröffentlichten Accuracy-Werte für einen Vergleich.

LibreYOLO bietet diese Familie nur für Vorhersagen an. train(), val() und export() lösen alle NotImplementedError aus. Führe ein Fine-Tuning upstream durch und lade stattdessen das Ergebnis. Die Datensatzvalidierung wird übersprungen, weil eine Platzhalter-Confidence den COCO-mAP irreführend machen würde. Der Export liegt außerhalb des Umfangs eines generativen Modells ohne tracebares State-Dictionary.

Lizenzierung

Zitieren

@article{wang2025locateanything,
  title   = {LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding},
  author  = {Shihao Wang and Shilong Liu and Yuanguo Kuang and Xinyu Wei and
             Yangzhou Liu and Zhiqi Li and Yunze Man and Guo Chen and
             Andrew Tao and Guilin Liu and Jan Kautz and Lei Zhang and Zhiding Yu},
  journal = {arXiv:2605.27365},
  year    = {2026},
}