LingBot-Vision

Instalasi

LingBot-Vision tidak memerlukan extra opsional. Semua yang diimpornya tersedia dalam instalasi dasar.

pip install libreyolo

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali digunakan dan disimpan dalam cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreLingBotVisions-sem.pt")result = model(SAMPLE_IMAGE, save=True) mask = result.semantic_maskprint(mask.data.shape, mask.classes)

libreyolo predict model=LibreLingBotVisions-sem.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

result.semantic_mask memuat peta kelas padat. .data adalah tensor ID kelas (H, W) pada ukuran gambar asli, sedangkan .classes mencantumkan ID kelas yang benar-benar ada. result.boxes adalah None karena tidak ada deteksi per instance. conf dan iou diterima demi paritas API, tetapi tidak mengubah output karena model mengembalikan satu kelas per piksel, bukan deteksi yang perlu difilter. Lihat prediksi untuk sumber, streaming, dan penanganan hasil.

Varian

Ada tiga ukuran yang dipublikasikan, s, b, dan l, yang didistilasi dari teacher ViT-g/16 dengan 1.1 miliar parameter. Teacher itu sendiri, ukuran g, dapat dimuat dan menjalani fine-tuning di LibreYOLO, tetapi LibreYOLO tidak menghosting checkpoint g miliknya sendiri.

Pelatihan

train() melakukan fine-tuning pada checkpoint yang dipublikasikan. Resep default adalah linear probe dari laporan upstream: backbone ViT dibekukan dan hanya head padat 1x1 yang dilatih, sesuai cara bobot yang dihosting LibreYOLO di atas dibuat. Teruskan freeze_backbone=False untuk melakukan fine-tuning pada seluruh jaringan dan turunkan lr0 sesuai kebutuhan.

from libreyolo import LibreYOLO # Backbone dibekukan secara default agar sesuai dengan protokol evaluasi upstream:# hanya head padat 1x1 yang dilatih.model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(data="my-dataset.yaml", epochs=20, imgsz=512, batch=16)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 imgsz=512 batch=16

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.train(    data="my-dataset.yaml", epochs=20, imgsz=512, batch=16,    freeze_backbone=False,)

libreyolo train model=LibreLingBotVisions-sem.pt data=my-dataset.yaml \  epochs=20 device=0,1 batch=32

Lihat pelatihan untuk dataset, augmentasi, multi-GPU, dan logger.

Validasi

val() mengembalikan dictionary key metrics/, yaitu mIoU dan akurasi piksel yang diukur terhadap dataset apa pun dalam format yang digunakan saat pelatihan.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/mIoU"])print(metrics["metrics/pixel_accuracy"])

libreyolo val model=LibreLingBotVisions-sem.pt data=my-dataset.yaml

Ekspor

Artefak hasil ekspor dapat dimuat kembali melalui LibreYOLO() berdasarkan akhiran berkasnya, sehingga berkas .onnx atau .engine berperilaku seperti checkpoint dan mengembalikan Results yang sama. Ekspor mencantumkan argumen yang diterima oleh setiap format.

from libreyolo import LibreYOLO model = LibreYOLO("LibreLingBotVisions-sem.pt")model.export(format="onnx", imgsz=512)model.export(format="coreai", imgsz=512)

libreyolo export model=LibreLingBotVisions-sem.pt format=onnx imgsz=512

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Factory merutekan berdasarkan akhiran berkas, sehingga artefak hasil ekspor dimuat# seperti checkpoint lain dan mengembalikan objek Results yang sama.model = LibreYOLO("LibreLingBotVisions-sem.onnx")result = model(SAMPLE_IMAGE) print(result.semantic_mask.data.shape)

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini.

Lisensi

Sitasi

@article{lingbot-vision2026,
  title={Vision Pretraining for Dense Spatial Perception},
  author={Fu, Zelin and Tan, Bin and Sun, Changjiang and Liu, Shaohui and Zheng, Kecheng and Xu, Yinghao and Zhu, Xing and Shen, Yujun and Xue, Nan},
  journal={arXiv preprint arXiv:2607.05247},
  year={2026}
}