SmolVLM2

Встановлення

SmolVLM2 належить до рівня VLM-детекторів LibreYOLO, окремої від сімейств на основі контрольних точок частини продукту з власною фабрикою. Для неї потрібен додатковий набір залежностей vlm, який також установлює num2words, залежність власного процесора SmolVLM2.

pip install "libreyolo[vlm]"

Передбачення

Під час першого використання ваги завантажуються з Hugging Face і кешуються локально.

from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("smolvlm2-500m")model.set_classes(["cat", "dog"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("smolvlm2-500m") # Прямий доступ під зручним інтерфейсом виявлення: будь-яке запитання,# а не лише запит обмежувальних рамок.answer = model.chat(SAMPLE_IMAGE, "What is the cat doing?")print(answer)

Це сімейство завантажується через фабрику LibreVLM(), а не LibreYOLO(): сімейства VLM не оголошують завантажувача контрольних точок, тому описана на інших сторінках моделей маршрутизація за суфіксом файлу тут не застосовується. set_classes() задає словник, об'єкти з якого має знайти SmolVLM2. Налаштування зберігається для всіх наступних викликів predict()/track(), доки ви знову його не зміните. SmolVLM2 не потребує перевизначення парсера в LibreYOLO: модель використовує той самий шаблон чату та вихід JSON, що й спільна типова реалізація рівня, тому її запит виявлення та формат рамок не залежать від сімейства. Кожне виявлення має однакову службову оцінку впевненості, тому фільтрація за conf або пропускає всі результати, або відкидає їх усі, а не ранжує. Параметр iou діє: рамка класу, яка з'явилася пізніше, відкидається, якщо вона перекриває вже збережену рамку понад поріг. Інакше генератор із повтореннями може видати майже однакові рамки для одного об'єкта. SmolVLM2 також відповідає на довільні запитання через chat(), інтерфейс прямого доступу, описаний для фабрики LibreVLM. CLI LibreYOLO не охоплює цей рівень: форми libreyolo predict model=... для нього немає. Типи джерел, потокове передбачення та обробку результатів описано в розділі передбачення.

Варіанти

У реєстрі є один розмір: SmolVLM2-500M-Video-Instruct, який завантажується як LibreVLM("smolvlm2-500m"). SmolVLM2 є слабшим детектором, ніж спеціалізовані моделі прив'язування цього рівня. Власна обгортка LibreYOLO описує її як демонстрацію того, що нове сімейство може працювати тут без спеціального парсингу, а не як найпотужніший варіант із відкритим словником.

LibreYOLO не навчає, не валідує та не експортує SmolVLM2: train(), val() і export() спричиняють NotImplementedError для кожного сімейства цього рівня (див. рівень підтримки вище). Якщо потрібен вбудований власний словник, донавчіть SmolVLM2 засобами початкового проєкту й завантажте отримані ваги. Перевіряйте вихід predict() візуально замість валідації у стилі COCO, оскільки кожне виявлення має однакову службову оцінку впевненості.

Ліцензування

Цитування

@article{marafioti2025smolvlm,
  title={SmolVLM: Redefining small and efficient multimodal models}, 
  author={Andrés Marafioti and Orr Zohar and Miquel Farré and Merve Noyan and Elie Bakouch and Pedro Cuenca and Cyril Zakka and Loubna Ben Allal and Anton Lozhkov and Nouamane Tazi and Vaibhav Srivastav and Joshua Lochner and Hugo Larcher and Mathieu Morlon and Lewis Tunstall and Leandro von Werra and Thomas Wolf},
  journal={arXiv preprint arXiv:2504.05299},
  year={2025}
}