LingBot-Vision

Installation

LingBot-Vision ne demande aucun extra optionnel. Tout ce qu'il importe fait partie de l'installation de base.

pip install libreyolo

Prédire

Les poids sont téléchargés depuis Hugging Face au premier usage, puis mis en cache localement.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLingBotVisions-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreLingBotVisions-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask porte la carte dense des classes : .data est un tenseur (H, W) d'ids de classe à la taille d'origine de l'image, et .classes liste les ids de classe réellement présents. result.boxes vaut None, puisqu'il n'y a pas de détections par instance. conf et iou sont acceptés par parité d'API mais ne changent rien à la sortie, puisque le modèle renvoie une classe par pixel plutôt que des détections à filtrer. Voir la prédiction pour les sources, le streaming et le traitement des résultats.

Variantes

Trois tailles publiées, s, b et l, distillées depuis un enseignant ViT-g/16 de 1.1 milliard de paramètres. L'enseignant lui-même, taille g, se charge et se prête au fine-tuning dans LibreYOLO, mais LibreYOLO n'héberge pas de checkpoint g propre.

Entraîner

train() fait du fine-tuning sur un checkpoint publié. La recette par défaut est le linear probe du rapport d'amont : le backbone ViT est gelé et seule la tête dense 1x1 s'entraîne, ce qui correspond à la façon dont les poids hébergés par LibreYOLO ci-dessus ont été produits. Passez freeze_backbone=False pour faire du fine-tuning sur tout le réseau à la place, et attendez-vous à baisser lr0 en conséquence.

from libreyolo import LibreYOLO # Backbone gelé par défaut, conformément au protocole d'évaluation# d'amont. Seule la tête dense 1x1 s'entraîne.model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(data="my-dataset.yaml", epochs=20, imgsz=512, batch=16)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 imgsz=512 batch=16

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(    data="my-dataset.yaml", epochs=20, imgsz=512, batch=16,    freeze_backbone=False,)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 device=0,1 batch=32

Voir l'entraînement pour les datasets, l'augmentation de données, le multi-GPU et les loggers.

Valider

val() renvoie un dictionnaire de clés metrics/ : mIoU et exactitude par pixel, mesurées sur n'importe quel dataset au format sur lequel vous avez entraîné.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreLingBotVisions-sem.pt data=my-dataset.yaml

Exporter

Un artefact exporté se recharge via LibreYOLO() selon son extension de fichier, si bien qu'un fichier .onnx ou .engine se comporte comme un checkpoint et renvoie le même Results. L'export liste les arguments que chaque format accepte.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="coreai", imgsz=512)

libreyolo export model=LibreLingBotVisions-sem.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # La factory s'appuie sur l'extension du fichier, donc un artefact# exporté se charge comme un checkpoint et renvoie le même Results.model = LibreYOLO("LibreLingBotVisions-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoints

Tous les fichiers de poids publiés de cette famille.

Licence

Citation

@article{lingbot-vision2026,
  title={Vision Pretraining for Dense Spatial Perception},
  author={Fu, Zelin and Tan, Bin and Sun, Changjiang and Liu, Shaohui and Zheng, Kecheng and Xu, Yinghao and Zhu, Xing and Shen, Yujun and Xue, Nan},
  journal={arXiv preprint arXiv:2607.05247},
  year={2026}
}