LingBot-Vision

Installation

LingBot-Vision benötigt kein optionales Zusatzpaket. Alle Importe sind in der Basisinstallation enthalten.

pip install libreyolo

Vorhersage

Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen und lokal zwischengespeichert.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLingBotVisions-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreLingBotVisions-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask enthält die dichte Klassenkarte: .data ist ein Tensor der Form (H, W) mit Klassen-IDs in der ursprünglichen Bildgröße. .classes führt die tatsächlich vorhandenen Klassen-IDs auf. result.boxes ist None, weil es keine instanzbezogenen Erkennungen gibt. conf und iou werden aus Gründen der API-Parität akzeptiert, verändern die Ausgabe aber nicht. Das Modell gibt eine Klasse pro Pixel und keine zu filternden Erkennungen zurück. Unter Vorhersage findest du Quellen, Streaming und die Verarbeitung von Ergebnissen.

Varianten

Es gibt drei veröffentlichte Größen s, b und l, die aus einem ViT-g/16-Lehrer mit 1.1 Milliarden Parametern destilliert wurden. Der Lehrer selbst, Größe g, kann in LibreYOLO geladen und nachtrainiert werden. LibreYOLO hostet jedoch keinen eigenen g-Checkpoint.

Training

train() führt das Fine-Tuning eines veröffentlichten Checkpoints durch. Das Standardrezept entspricht der linearen Probe des Upstream-Berichts: Das ViT-Backbone ist eingefroren, und nur der dichte 1x1-Head wird trainiert. So wurden auch die oben von LibreYOLO gehosteten Gewichte erzeugt. Übergib freeze_backbone=False, um stattdessen das gesamte Netzwerk nachzutrainieren, und senke lr0 entsprechend.

from libreyolo import LibreYOLO # Das Backbone ist standardmäßig gemäß dem Upstream-Auswertungsprotokoll# eingefroren: Nur der dichte 1x1-Head wird trainiert.model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(data="my-dataset.yaml", epochs=20, imgsz=512, batch=16)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 imgsz=512 batch=16

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(    data="my-dataset.yaml", epochs=20, imgsz=512, batch=16,    freeze_backbone=False,)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 device=0,1 batch=32

Unter Training findest du Datensätze, Datenaugmentierung, Multi-GPU und Logger.

Validierung

val() gibt ein Dictionary mit metrics/-Schlüsseln zurück: mIoU und Pixel-Accuracy, gemessen auf einem beliebigen Datensatz in dem Format, das du für das Training verwendet hast.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreLingBotVisions-sem.pt data=my-dataset.yaml

Export

Ein exportiertes Artefakt wird anhand seiner Dateiendung wieder über LibreYOLO() geladen. Eine .onnx- oder .engine-Datei verhält sich daher wie ein Checkpoint und gibt dasselbe Results-Objekt zurück. Export führt die Argumente auf, die von den einzelnen Formaten akzeptiert werden.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="coreai", imgsz=512)

libreyolo export model=LibreLingBotVisions-sem.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Die Factory entscheidet anhand der Dateiendung, daher wird ein Exportartefakt# wie jeder Checkpoint geladen und gibt dasselbe Results-Objekt zurück.model = LibreYOLO("LibreLingBotVisions-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Alle veröffentlichten Gewichtsdateien dieser Familie.

Lizenzierung

Zitieren

@article{lingbot-vision2026,
  title={Vision Pretraining for Dense Spatial Perception},
  author={Fu, Zelin and Tan, Bin and Sun, Changjiang and Liu, Shaohui and Zheng, Kecheng and Xu, Yinghao and Zhu, Xing and Shen, Yujun and Xue, Nan},
  journal={arXiv preprint arXiv:2607.05247},
  year={2026}
}