LingBot-Vision

Instalacja

LingBot-Vision nie wymaga opcjonalnych dodatków. Wszystkie importowane przez niego elementy znajdują się w instalacji podstawowej.

pip install libreyolo

Predykcja

Przy pierwszym użyciu wagi są pobierane z Hugging Face i zapisywane w lokalnej pamięci podręcznej.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLingBotVisions-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreLingBotVisions-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask zawiera gęstą mapę klas: .data to tensor (H, W) z identyfikatorami klas w oryginalnym rozmiarze obrazu, a .classes zawiera identyfikatory klas rzeczywiście obecnych na obrazie. result.boxes ma wartość None, ponieważ nie ma detekcji poszczególnych instancji. Parametry conf i iou są przyjmowane dla zgodności API, ale nie zmieniają wyniku, ponieważ model zwraca jedną klasę na piksel, a nie detekcje wymagające filtrowania. Zobacz predykcję, aby poznać źródła, strumieniowanie i obsługę wyników.

Warianty

Opublikowano trzy rozmiary, s, b i l, wydestylowane z modelu nauczyciela ViT-g/16 o 1,1 mld parametrów. Sam nauczyciel w rozmiarze g może być ładowany i dostrajany w LibreYOLO, ale LibreYOLO nie udostępnia własnego punktu kontrolnego g.

Trenowanie

Metoda train() dostraja opublikowany punkt kontrolny. Domyślna konfiguracja odpowiada sondzie liniowej z raportu źródłowego: backbone ViT jest zamrożony, a trenowana jest wyłącznie głowica gęsta 1x1, tak jak podczas tworzenia wag udostępnianych przez LibreYOLO powyżej. Przekaż freeze_backbone=False, aby zamiast tego dostroić całą sieć, i odpowiednio zmniejsz lr0.

from libreyolo import LibreYOLO # Backbone jest domyślnie zamrożony, zgodnie z protokołem oceny# projektu źródłowego: trenowana jest tylko głowica gęsta 1x1.model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(data="my-dataset.yaml", epochs=20, imgsz=512, batch=16)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 imgsz=512 batch=16

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(    data="my-dataset.yaml", epochs=20, imgsz=512, batch=16,    freeze_backbone=False,)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 device=0,1 batch=32

Informacje o zbiorach danych, augmentacji, wielu GPU i loggerach znajdziesz w sekcji trenowanie.

Walidacja

Metoda val() zwraca słownik kluczy metrics/: mIoU i dokładność pikselową, mierzone na dowolnym zbiorze danych w formacie użytym do trenowania.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreLingBotVisions-sem.pt data=my-dataset.yaml

Eksport

Wyeksportowany artefakt jest ponownie ładowany przez LibreYOLO() na podstawie rozszerzenia pliku, więc plik .onnx lub .engine zachowuje się jak punkt kontrolny i zwraca ten sam obiekt Results. Sekcja eksport zawiera argumenty akceptowane przez każdy format.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="coreai", imgsz=512)

libreyolo export model=LibreLingBotVisions-sem.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Fabryka wybiera ścieżkę na podstawie rozszerzenia pliku, dlatego# artefakt ładuje się jak punkt kontrolny i zwraca ten sam obiekt Results.model = LibreYOLO("LibreLingBotVisions-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Punkty kontrolne

Wszystkie opublikowane pliki wag dla tej rodziny.

Licencjonowanie

Cytowanie

@article{lingbot-vision2026,
  title={Vision Pretraining for Dense Spatial Perception},
  author={Fu, Zelin and Tan, Bin and Sun, Changjiang and Liu, Shaohui and Zheng, Kecheng and Xu, Yinghao and Zhu, Xing and Shen, Yujun and Xue, Nan},
  journal={arXiv preprint arXiv:2607.05247},
  year={2026}
}