MiDaS

Установка

Для энкодеров timm в MiDaS требуется дополнение midas.

pip install "libreyolo[midas]"

Предсказание

Чекпойнты s и l скачиваются с зеркал LibreYOLO по лицензии MIT издателя и кэшируются локально.

from libreyolo import LibreYOLO, SAMPLE_IMAGE # При первом использовании скачивает чекпойнт с зеркала.model = LibreYOLO("LibreMiDaSl-depth.pt")result = model(SAMPLE_IMAGE, save=True) depth = result.depth_mapprint(depth.min, depth.max, depth.mean)

libreyolo predict model=LibreMiDaSl-depth.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Энкодер EfficientNet-Lite3, меньше и быстрее, чем размер l на DPT-Large.model = LibreYOLO("LibreMiDaSs-depth.pt")result = model(SAMPLE_IMAGE, save=True)

result.depth_map содержит плотную карту относительной обратной глубины: большие значения означают меньшую дистанцию до камеры, а значения не имеют метрической единицы или общего масштаба между изображениями. save=True записывает на диск цветовую визуализацию карты; Results.plot() визуализирует карту глубины. Источники, стриминг и обработка результатов описаны в разделе предсказания.

Варианты

Два варианта с разными энкодерами, а не просто разные масштабы одного и того же. s — это MiDaS v2.1 Small, энкодер EfficientNet-Lite3. l — это DPT-Large, энкодер ViT-L/16 с декодером DPT, который MiDaS предложил для плотного предсказания. Различается и предобработка: s масштабирует изображение с сохранением пропорций по верхней границе (upper bound) и нормализует по среднему и стандартному отклонению ImageNet, а l использует минимальное масштабирование с сохранением пропорций (minimal), со средним и стандартным отклонением 0.5. Берите s, если нужна более лёгкая CNN, и l — ради точности трансформерного декодера.

Обучение для этого семейства не предусмотрено. LibreMiDaS.train() безусловно вызывает NotImplementedError.

Валидация

val() запускает общий валидатор глубины: он выравнивает каждое предсказание с эталонной разметкой (ground truth), подбирая по методу наименьших квадратов масштаб и сдвиг для каждого изображения, а затем выдаёт стандартные метрики относительной глубины в режиме zero-shot — AbsRel, RMSE и три пороговых значения delta.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")metrics = model.val(data="my-dataset.yaml") print(metrics["metrics/abs_rel"])print(metrics["metrics/rmse"])print(metrics["metrics/delta1"])

libreyolo val model=LibreMiDaSl-depth.pt data=my-dataset.yaml

Экспорт

Экспортированный артефакт загружается обратно через LibreYOLO() по суффиксу файла, поэтому файл .onnx или .engine ведёт себя как чекпойнт и возвращает тот же Results, только с depth_map вместо рамок.

from libreyolo import LibreYOLO model = LibreYOLO("LibreMiDaSl-depth.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreMiDaSl-depth.pt format=onnxlibreyolo export model=LibreMiDaSl-depth.pt format=tensorrt half=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Фабрика выбирает загрузчик по суффиксу файла, поэтому экспортированный# артефакт загружается как любой чекпойнт и возвращает тот же объект Results.model = LibreYOLO("LibreMiDaSl-depth.onnx")result = model(SAMPLE_IMAGE) print(result.depth_map.data.shape)

Лицензирование

Цитирование

@ARTICLE {Ranftl2022,
    author  = "Ren\'{e} Ranftl and Katrin Lasinger and David Hafner and Konrad Schindler and Vladlen Koltun",
    title   = "Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot Cross-Dataset Transfer",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    year    = "2022",
    volume  = "44",
    number  = "3"
}

@article{Ranftl2021,
	author    = {Ren\'{e} Ranftl and Alexey Bochkovskiy and Vladlen Koltun},
	title     = {Vision Transformers for Dense Prediction},
	journal   = {ICCV},
	year      = {2021},
}