Kosmos-2

Installation

Kosmos-2 gehört zur VLM-als-Detektor-Stufe von LibreYOLO. Sie bildet eine eigene Produktoberfläche mit eigener Factory und unterscheidet sich von den Checkpoint-basierten Familien. Dafür wird das Extra vlm benötigt.

pip install "libreyolo[vlm]"

Vorhersage

Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen und lokal zwischengespeichert. LibreYOLO lädt direkt aus dem eigenen Repository microsoft/kosmos-2-patch14-224 von Microsoft. Anders als bei Florence-2 ist hier kein erneuter Upload durch die Community erforderlich.

from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("kosmos-2")model.set_classes(["boat", "person"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreVLM model = LibreVLM("kosmos-2")model.set_classes(["boat", "person"]) # Jede von der Bibliothek unterstützte Quelle: Datei, Ordner, URL,# Webcam-Index, RTSP-Stream oder eine .streams-Listefor result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

Diese Familie wird über die Factory LibreVLM() und nicht über LibreYOLO() geladen. VLM-Familien deklarieren keinen Checkpoint-Loader. Daher gilt das auf anderen Modellseiten beschriebene Routing nach Dateiendung hier nicht. set_classes() legt das Vokabular fest, nach dem Kosmos-2 suchen soll. Die Einstellung bleibt über alle späteren Aufrufe von predict() und track() hinweg aktiv, bis du sie erneut setzt. Kosmos-2 verankert Nominalphrasen, anstatt ein Label exakt abzugleichen. Der Wrapper von LibreYOLO akzeptiert deshalb auch Teilübereinstimmungen: Eine Klasse namens "boat" passt auch zu einer generierten Phrase wie „the boats“. Jede Erkennung trägt dieselbe Platzhalter-Confidence. Die Filterung mit conf entscheidet daher nur zwischen allen oder keinen Ergebnissen, statt diese zu ordnen. iou hat hier keine Wirkung, weil der Wrapper die Erkennungsliste ohne Deduplizierungsschritt direkt aus den verankerten Entitäten erstellt. chat() löst NotImplementedError aus, da Kosmos-2 durch einen <grounding>-Prompt und nicht durch ein Chat-Template gesteuert wird. Die CLI von LibreYOLO deckt diese Stufe nicht ab: Eine Form wie libreyolo predict model=... gibt es dafür nicht. Unter Vorhersage findest du Informationen zu Quellen, Streaming und Ergebnisverarbeitung.

Varianten

Es gibt eine Größe: kosmos-2-patch14-224 mit 224 px. Sie wird als LibreVLM("kosmos-2") geladen. Das Modell stammt aus dem Jahr 2023, und der LibreYOLO-Wrapper weist darauf hin, dass sein Grounding gröber als das der neueren Detektoren dieser Stufe ist.

LibreYOLO trainiert, validiert und exportiert Kosmos-2 nicht: train(), val() und export() lösen für jede Familie dieser Stufe NotImplementedError aus (siehe die oben genannte Support-Stufe). Führe das Fine-Tuning von Kosmos-2 im Upstream-Projekt durch und lade die resultierenden Gewichte, wenn du ein fest integriertes benutzerdefiniertes Vokabular benötigst. Prüfe die Ausgabe von predict() visuell statt mit einem Validierungsdurchlauf im COCO-Stil, da jede Erkennung dieselbe Platzhalter-Confidence trägt.

Lizenzierung

Zitieren

@article{kosmos-2,
  title={Kosmos-2: Grounding Multimodal Large Language Models to the World},
  author={Zhiliang Peng and Wenhui Wang and Li Dong and Yaru Hao and Shaohan Huang and Shuming Ma and Furu Wei},
  journal={ArXiv},
  year={2023},
  volume={abs/2306}
}