Modelos por tarea
Todas las familias que incluye la biblioteca, generadas desde el registro de modelos v1.7.0: 115 familias en 22 tareas.
Detección
47 familiasCajas alrededor de los objetos. La tarea para la que está hecha la mayor parte de la biblioteca.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
yolo9: t, s, m, c at 640 px; yolo9_p2: t, s at 640 px
n, s, m, l, x at 640 px
deim: n, s, m, l, x at 640 px
s, m, l, x at 640 px
rtdetr: r18, r34, r50, r50m, r101, l, x at 640 px; rtdetrv2: r18, r34, r50, r50m, r101 at 640 px; rtdetrv4: s, m, l, x at 640 px
s, m, l at 640 px
s, m, l at 800 px
s, m, l at 320 to 640 px
s, m, l, x at 640 px
t, s, m, l, x at 640 px
b at 640 px
n, t, s, m, l, x at 416 to 640 px
base, large at 768 px
e2b, e4b at 896 px
t, b at 800 px
1b, 2b, 8b at 448 px
224 at 224 px
450m, 3b at 512 px
3b at 2500 px
2, 3 at 384 to 512 px
t at 640 px
s, m, l at 640 px
b16, l14 at 960 to 1008 px
2b, 4b, 8b at 1024 px
7b at 1024 px
500m at 512 px
2b, 4b at 1440 px
resdcn18, dla34 at 512 px
r50ss, r50ssdc5, r50, r50refine, r50twostage at 800 px
r50, r50dc5, r101, r101dc5 at 800 px
r50, r50s5, swinl at 800 px
n, s, m, l at 320 to 800 px
r50 at 800 px
t, s, m, l, x at 640 px
r50 at 800 px
r50, r50v2 at 800 px
300 at 300 px
t, b at 448 px
t, b at 416 to 608 px
t, b, spp at 416 to 608 px
t, b at 416 to 608 px
Segmentación
15 familiasMáscaras por instancia en lugar de cajas.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
n, s, m, l, x at 640 px
s, m, l, x at 640 px
t, s, m, l, x at 640 px
tiny at 1024 px
pico at 96 px
base, large, huge at 1024 px
large at 1008 px
7b at 1024 px
2b, 4b at 1440 px
s, b, l at 512 px
r50 at 800 px
Puntos clave
7 familiasEsqueletos y landmarks sobre cada instancia detectada.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
s, m, l, x at 640 px
s, m, l at 640 px
7b at 1024 px
w32 at 640 px
Clasificación
15 familiasUna etiqueta para toda la imagen, y los backbones detrás de todo lo demás.
t, s, b at 224 px
n, s, m, l at 518 px
b0, b1, b2, b3 at 224 to 300 px
s, m, l at 224 to 256 px
18, 34, 50, 101 at 224 px
l256, h256, g256, g384 at 256 to 384 px
b at 224 px
t, s, b, l at 224 px
16, 19, 16bn, 19bn at 224 px
ti, s, b, l at 224 px
t, s, b at 224 px
Cajas orientadas
4 familiasCajas rotadas, para imágenes aéreas y todo lo que no esté alineado con los ejes.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
rtdetr: r18, r34, r50, r50m, r101, l, x at 640 px; rtdetrv2: r18, r34, r50, r50m, r101 at 640 px; rtdetrv4: s, m, l, x at 640 px
s, m, l at 640 px
Profundidad
8 familiasDistancia por píxel a partir de una sola imagen.
7b at 1024 px
l at 504 px
s, b, l, g at 518 px
b at 1024 px
s, l at 256 to 384 px
b, bnpu at 384 px
Segmentación semántica
10 familiasUna clase para cada píxel, sin separar instancias.
n, s, m, l at 518 px
s, b, l at 512 px
r50, r101 at 520 px
s, m, l at 1024 px
Segmentación panóptica
2 familiasMáscaras semánticas y de instancia en una sola pasada.
7b at 1024 px
s, b, l at 512 px
Puntos y conteo
9 familiasCentroides en lugar de cajas, tan barato que corre en microcontroladores.
base, large at 768 px
3b at 2500 px
4b, 8b at 378 px
2, 3 at 384 to 512 px
2b, 4b, 8b at 1024 px
7b at 1024 px
2b at 1344 px
2b, 4b at 1440 px
Reconocimiento de texto
3 familiasEncontrar y leer texto en una imagen.
7b at 1024 px
2b, 4b at 1440 px
t, l at 960 px
Vectores de embedding
7 familiasVectores para búsqueda, clustering y recuperación.
n, s, m, l at 518 px
l256, h256, g256, g384 at 256 to 384 px
l at 224 px
Mirada
1 familiasHacia dónde mira una persona.
r18, r34, r50, r101, r152 at 448 px
Detección de bordes
3 familiasContornos y límites.
Normales de superficie
3 familiasHacia dónde apunta cada superficie.
b at 1024 px
s, b, l at 518 px
Recorte alfa
5 familiasRecortes con canal alfa, pelo y bordes incluidos.
2b, 4b at 1440 px
b at 1024 px
t, l at 1024 px
l at 1024 px
s at 512 px
Restauración
7 familiasEliminación de ruido, corrección de desenfoque y reescalado.
s, l at 256 px
t at 256 px
m2 at 64 px
x4, x2, x4t at 64 px
s, m, l at 64 px
Robot policies
1 familiasAction chunks from camera observations and robot state.
smolvla: base at 512 px; act_policy: base at 224 px; diffusion_policy: base at 224 px
3D detection
4 familiasCamera-frame cuboids from a single image.
h at 896 px
r101 at 1600 px
l at 1008 px
Image generation
2 familiasAn image from a text prompt, with the seed that makes it again.
4b at 1024 px
3D generation
1 familiasThe whole object as 3D Gaussian splats, from one picture of it.