SAM 3

Встановлення

SAM 3 потребує додаткового набору залежностей sam, який установлює transformers і timm.

pip install "libreyolo[sam]"

Доступ до ваг обмежено: відвідайте huggingface.co/facebook/sam3, прийміть SAM License від Meta, а потім виконайте hf auth login (або задайте HF_TOKEN) до першого завантаження. Під час першого завантаження цього сімейства LibreYOLO показує повідомлення про ліцензію.

Передбачення

LibreSAM(...) (або фабрика конкретного сімейства LibreSAM3(...)) є окремою точкою входу від LibreYOLO(...): вона повертає сегментатор за запитами, а не детектор, оскільки прямий прохід тут не має сенсу без запиту. Для цього сімейства немає команди CLI libreyolo predict; використовуйте API Python. Підтримується лише інференс зображень; відеомоделі SAM 3 тут не охоплюються.

from libreyolo import LibreSAM, SAMPLE_IMAGE # "sam3" є єдиним розміром ("large"); псевдоніми: "sam3", "sam-3", "sam3-large".model = LibreSAM("sam3") # Запит точкою: [x, y] у піксельних координатах, мітка 1 означає передній план.result = model.predict(SAMPLE_IMAGE, points=[640, 420], labels=[1])print(result.masks.xy)      # Полігон для кожної маскиprint(result.boxes.xyxy)    # Щільна рамка, отримана з маски # Запит рамкою замість точки.result = model.predict(SAMPLE_IMAGE, bboxes=[300, 200, 900, 700])

from libreyolo import LibreSAM3, SAMPLE_IMAGE model = LibreSAM3("large") # Знаходить усі екземпляри, що відповідають фразі, а не один об'єкт.# text= не можна поєднувати з points, bboxes, labels і masks.result = model.predict(SAMPLE_IMAGE, text="a person")print(result.names)         # {0: "a person"}print(result.boxes.conf)    # Оцінка виявлення PCS для кожного екземпляра

from libreyolo import LibreSAM3, SAMPLE_IMAGE model = LibreSAM3("large") # Енкодер зображення є найдорожчою частиною. set_image() запускає його один раз;# кожен наступний виклик predict() повторно використовує кешований ембединг.# Виклик text= повторно кодує всередині, оскільки трекер і енкодер# сегментації за концептом не мають спільного кешу.model.set_image(SAMPLE_IMAGE)a = model.predict(points=[640, 420], labels=[1])b = model.predict(bboxes=[300, 200, 900, 700])model.reset_image()

Шлях точок і рамок відповідає решті сімейства SAM: запит точкою приймає [x, y] для одного об'єкта або [[x, y], ...] для кількох, labels позначає кожну точку як 1 (передній план) або 0 (тло), а запит рамкою приймає [x1, y1, x2, y2] або список рамок. На цьому шляху conf фільтрує за передбаченою якістю маски (IoU), а не за впевненістю виявлення.

Шлях text= є доповненням SAM 3: рядок концепту повертає всі відповідні екземпляри на зображенні через Promptable Concept Segmentation, і його не можна поєднувати з точками, рамками, мітками чи масками. Тут conf є оцінкою виявлення PCS замість IoU маски; типове значення застосовує власний поріг моделі 0.3, а conf=0.0 зберігає всіх кандидатів. Повернений names зіставляє ідентифікатор класу 0 із запитаним рядком концепту, оскільки в іншому разі маска за запитом не має фіксованого набору класів. device= переміщує модель і, якщо активний сеанс set_image(), кешований ембединг. train(), val(), export() і track() спричиняють NotImplementedError для цього сімейства: SAM 3 у LibreYOLO призначена лише для передбачення, а відстеження у відео не охоплюється. Типи джерел описано в розділі передбачення.

Варіанти

Доступний один розмір large із фіксованим входом 1008 px. SAM 3.1 не підтримується: її реалізація має власну ліцензію, яка не дозволяє включити код до цього репозиторію під MIT, а версія Transformers, від якої залежить LibreYOLO, ще не завантажує формат її контрольної точки.

Ліцензування

Цитування

@misc{carion2025sam3segmentconcepts,
      title={SAM 3: Segment Anything with Concepts},
      author={Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman Rädle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Dollár and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
      year={2025},
      eprint={2511.16719},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.16719},
}