L2CS-Net

Installation

L2CS-Net benötigt keine zusätzlichen Abhängigkeiten, um ein Modell zu erstellen, Vorhersagen damit auszuführen oder es zu exportieren, wenn du bereits einen Checkpoint besitzt.

pip install libreyolo

Der einzige Checkpoint, den LibreYOLO automatisch abrufen kann, ist ein mit Gaze360 trainiertes ResNet-50. Er wird über gdown statt über einen einfachen HTTP-Spiegel heruntergeladen, weil er auf Google Drive des Autors und nicht in der LibreYOLO-Organisation liegt. Dieser Pfad benötigt das Extra gaze:

pip install "libreyolo[gaze]"

Ohne dieses Extra gibt LibreYOLO Anweisungen für den manuellen Download aus, anstatt ohne Meldung fehlzuschlagen.

Vorhersage

from libreyolo import LibreYOLO, SAMPLE_IMAGE # Kein face_detector angegeben: nutzt den mit OpenCV gebündelten# Detektor (Haar in OpenCV 4, YuNet in OpenCV 5). Außer dem# L2CS-Checkpoint selbst ist daher kein weiterer Download nötig.model = LibreYOLO("LibreL2CSr50.pt")result = model(SAMPLE_IMAGE) print(result.gaze.pitch, result.gaze.yaw)

libreyolo predict model=LibreL2CSr50.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreL2CSr50.pt") # L2CS Boxen eines bereits ausgeführten Detektors übergeben.result = model(SAMPLE_IMAGE, face_boxes=[[34, 12, 90, 80]]) # Oder einen bestimmten gebündelten Gesichtsdetektor angeben.result = model(SAMPLE_IMAGE, face_detector="yunet")

L2CS-Net ist ein zweistufiger Schätzer: Zuerst wird ein Gesichtsdetektor ausgeführt. Anschließend liest der Blick-Head Neigung und horizontale Richtung aus jedem zurückgegebenen Gesichtsausschnitt. Ohne weitere Angaben greift die Vorhersage auf den mit OpenCV gebündelten Detektor zurück. Sobald du den L2CS-Checkpoint besitzt, funktioniert ein einfacher Aufruf daher ohne weiteren Download. face_boxes akzeptiert Boxen eines bereits ausgeführten Detektors. face_detector akzeptiert "auto", "haar", "yunet", ein LibreYOLO-Erkennungsmodell oder ein einfaches Callable. result.gaze enthält Neigung und horizontale Richtung in Radiant. Seine Zeilen sind an result.boxes, also die erkannten Gesichtsboxen, ausgerichtet. Unter Vorhersage findest du Informationen zu Quellen, Streaming und Ergebnisverarbeitung.

Varianten

Fünf Backbone-Tiefen verwenden dieselbe Eingabeauflösung und nehmen dieselben Argumente entgegen. Gaze360, der Datensatz hinter dem einzigen veröffentlichten Checkpoint, wurde mit einem ResNet-50 trainiert. Die anderen vier Tiefen werden von der Architektur unterstützt, besitzen aber keine veröffentlichten Gewichte.

Export

from libreyolo import LibreYOLO model = LibreYOLO("LibreL2CSr50.pt")model.export(format="onnx")model.export(format="tensorrt", half=True)

libreyolo export model=LibreL2CSr50.pt format=onnx

import numpy as npimport onnxruntime as ort # Der exportierte Graph enthält nur den ResNet-Trunk und die beiden# Winkel-Bin-Heads. Er nimmt einen vorverarbeiteten 448x448-# Gesichtsausschnitt entgegen und gibt rohe (yaw_logits, pitch_logits)# statt decodierter Winkel aus. Softmax, Bin-Erwartungswert und# Gradumrechnung verbleiben in Python. Siehe# libreyolo.models.l2cs.utils.bin_logits_to_angles.session = ort.InferenceSession("LibreL2CSr50.onnx")name = session.get_inputs()[0].nameyaw_logits, pitch_logits = session.run(    None, {name: np.zeros((1, 3, 448, 448), dtype=np.float32)})

Lizenzierung