SAM

Установка

Для SAM нужен extra sam, который подтягивает transformers и timm.

pip install "libreyolo[sam]"

Предсказание

LibreSAM(...) — отдельная от LibreYOLO(...) точка входа: она возвращает сегментатор по промптам, а не детектор, потому что прямой проход здесь бессмыслен без пространственного промпта. CLI-команды libreyolo predict для этого семейства нет; используйте Python API.

from libreyolo import LibreSAM, SAMPLE_IMAGE # "base" при первом использовании автоматически скачивает facebook/sam-vit-base.# Другие размеры: "large", "huge" (а также "b"/"l"/"h").model = LibreSAM("base") # Промпт точкой: [x, y] в пиксельных координатах, метка 1 = передний план.result = model.predict(SAMPLE_IMAGE, points=[640, 420], labels=[1])print(result.masks.xy)      # полигон на каждую маскуprint(result.boxes.xyxy)    # плотная рамка, полученная из маски # Промпт рамкой вместо точки.result = model.predict(SAMPLE_IMAGE, bboxes=[300, 200, 900, 700]) # Без промпта сегментируется всё изображение (упрощённый автоматический# генератор масок, а не исчерпывающий эталонный).result = model.predict(SAMPLE_IMAGE)

from libreyolo import LibreSAM, SAMPLE_IMAGE model = LibreSAM("base") # Энкодер изображения — самая дорогая часть. set_image() запускает его# один раз; каждый следующий вызов predict() переиспользует# кэшированный эмбеддинг.model.set_image(SAMPLE_IMAGE)a = model.predict(points=[640, 420], labels=[1])b = model.predict(bboxes=[300, 200, 900, 700])model.reset_image()

Промпт точкой принимает [x, y] для одного объекта, [[x, y], ...] для нескольких или массивы numpy; labels помечает каждую точку как 1 (передний план) или 0 (фон), а по умолчанию все точки относятся к переднему плану. Промпт рамкой принимает [x1, y1, x2, y2] или список рамок — по одной маске на рамку. Если не задать ни того ни другого, сегментируется всё изображение: по плотной сетке подаются промпты и остаются уверенные непересекающиеся маски; этот режим «сегментировать всё» упрощён по сравнению с эталонным автоматическим генератором масок и на насыщенных сценах может сегментировать слишком грубо, поэтому настоящий промпт точкой или рамкой — путь к точному результату. conf фильтрует по предсказанному качеству маски (IoU), а не по уверенности детекции: передайте 0.0, чтобы оставить всех кандидатов. multimask=True возвращает на каждый промпт все три маски SAM, разрешающие неоднозначность «объект целиком или его часть», вместо одной лучшей. device= переносит модель и, если активна сессия set_image(), её кэшированный эмбеддинг. У каждой маски идентификатор класса 0 с именем "object", так как у маски по промпту нет фиксированного набора классов. train(), val(), export() и track() для этого семейства выбрасывают NotImplementedError: в LibreYOLO SAM работает только на предсказание, а отслеживание в видео здесь за рамками. Типы источников описаны в разделе предсказание.

Варианты

Три размера ViT-энкодера изображения: base, large и huge, все с фиксированным входом 1024 px. Бенчмарков точности и задержки для этого семейства пока не опубликовано, поэтому выбор размера — прямой размен веса энкодера на качество масок: base кодирует быстрее всех, huge — самый тяжёлый.

Лицензирование

Цитирование

@article{kirillov2023segany,
  title={Segment Anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}