FOMO

Установка

FOMO не требует ничего сверх базового пакета.

pip install libreyolo

Предсказание

В отличие от всех остальных семейств на этом сайте, веса LibreFOMO не скачиваются автоматически: LibreYOLO("LibreFOMOs-point.pt") ищет этот файл на диске и вызывает ValueError с его именем, а не скачивает его с Hugging Face. Сначала скачайте чекпойнт со страницы организации LibreYOLO и загрузите его по локальному пути — или обучите свой (см. «Обучение» ниже).

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Веса LibreFOMO не скачиваются автоматически (см. «Чекпойнты» ниже).# Укажите здесь путь к чекпойнту, который уже скачан локально.model = LibreYOLO("./LibreFOMOs-point.pt")result = model(SAMPLE_IMAGE, save=True) for point in result.points:    print(point.cls, point.conf, point.xy)

libreyolo predict model=./LibreFOMOs-point.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

В результате вместо boxes лежит points: каждая строка — это x, y, class, confidence, доступные как result.points.data или через аксессоры .xy, .xyn, .cls и .conf. Порог iou задавать не нужно, потому что подавлять нечего — рамок здесь нет; predict(..., nms_radius=1) задаёт, на сколько ячеек сетки должны отстоять друг от друга две детекции, чтобы уцелели обе, а в имени файла должен быть суффикс задачи FOMO -point, иначе загрузчик его не распознает. Про источники, стриминг и обработку результатов см. предсказание.

Варианты

Три размера — s, m и l — используют всё более широкие бэкбоны в стиле MobileNetV2 при соответственно больших фиксированных входных разрешениях, и за каждым из них стоит одна классификационная голова 1x1. Таблицы бенчмарков у этого семейства здесь нет; размер файла чекпойнта в таблице ниже — самый внятный из опубликованных на сегодня признаков разницы между размерами.

Обучение

from libreyolo import LibreYOLO model = LibreYOLO("./LibreFOMOs-point.pt")model.train(    data="my-dataset.yaml",    epochs=40, batch=32, lr0=3e-4,)

# imgsz нужно передать явно: в CLI по умолчанию 640, а чекпойнт s# принимает только своё родное значение 96.libreyolo train model=./LibreFOMOs-point.pt data=my-dataset.yaml imgsz=96 epochs=40 batch=32 lr0=3e-4

imgsz выбирается не свободно: по умолчанию берётся родное разрешение загруженного чекпойнта, а передача другого значения вызывает ValueError с указанием ожидаемого размера. Эти размеры — 96 для s, 192 для m и 224 для l. В CLI imgsz по умолчанию равен 640, поэтому в команде libreyolo train его приходится задавать явно, чтобы он совпал с чекпойнтом.

Если больше ничего не менять, обучение идёт 40 эпох с размером батча 32, оптимизатором Adam при lr0=3e-4, без weight decay и с классом переднего плана, взвешенным в 100 раз сильнее фона в поячеечной кросс-энтропийной функции потерь, — потому что в типичной сцене почти каждая ячейка сетки это фон. EMA и смешанная точность по умолчанию выключены, и ни одна из геометрических или цветовых аугментаций, применяемых в LibreYOLO в других местах, здесь не работает: mosaic, mixup, HSV-джиттер, отражение, поворот, сдвиг и наклон — всё по нулям.

Именно этим путём обучались опубликованные чекпойнты LibreFOMO — с нуля на COCO.

Про датасеты и логгеры см. обучение.

Валидация

val() уходит в валидатор уровня сетки, сделанный под это семейство. Помимо ключей metrics/precision, metrics/recall и metrics/mAP@ с сопоставлением по точкам, общих с другими point-задачами, он перебирает пороги уверенности и значения nms_radius и публикует комбинацию с лучшим F1 под ключами metrics/grid_F1, metrics/grid_precision, metrics/grid_recall и metrics/grid_mean_distance, а породившие её порог и радиус — под decode/threshold и decode/nms_radius.

from libreyolo import LibreYOLO model = LibreYOLO("./LibreFOMOs-point.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/grid_F1"])print(metrics["metrics/grid_precision"], metrics["metrics/grid_recall"])

libreyolo val model=./LibreFOMOs-point.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results. Запуск графа в чистой среде выполнения, без установленной LibreYOLO, тоже поддерживается, но тогда препроцессинг и постпроцессинг придётся писать самостоятельно.

from libreyolo import LibreYOLO model = LibreYOLO("./LibreFOMOs-point.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=./LibreFOMOs-point.pt format=onnx

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же объект Results.model = LibreYOLO("./LibreFOMOs-point.onnx")result = model(SAMPLE_IMAGE) print(result.points.xy)

Чекпойнты

Все опубликованные файлы весов этого семейства. Ни один из них не скачивается автоматически: возьмите нужный файл со связанной страницы Hugging Face и передайте его локальный путь в LibreYOLO().

Лицензирование