EdgeTAM

Installation

EdgeTAM benötigt das Zusatzpaket sam, das transformers und timm installiert.

pip install "libreyolo[sam]"

Vorhersage

LibreSAM(...) (oder das familienspezifische LibreEdgeTAM(...)) ist ein separater Einstiegspunkt neben LibreYOLO(...). Er gibt einen Prompt-basierten Segmentierer statt eines Detektors zurück, weil ein Vorwärtslauf ohne räumlichen Prompt hier keine Aussagekraft hat. Für diese Familie gibt es keinen CLI-Befehl libreyolo predict. Verwende die Python-API. Es wird nur die Bildsegmentierung unterstützt. Das Video-Tracking von EdgeTAM liegt hier außerhalb des Umfangs.

from libreyolo import LibreSAM, SAMPLE_IMAGE # EdgeTAM hat eine Größe, "edge". Aliasse: "edgetam", "edge-tam",# "edgetam-edge".model = LibreSAM("edgetam") # Ein Punkt-Prompt: [x, y] in Pixelkoordinaten, Label 1 = Vordergrund.result = model.predict(SAMPLE_IMAGE, points=[640, 420], labels=[1])print(result.masks.xy)      # Polygon pro Maskeprint(result.boxes.xyxy)    # aus der Maske abgeleitete enge Box # Ein Box-Prompt anstelle eines Punkts.result = model.predict(SAMPLE_IMAGE, bboxes=[300, 200, 900, 700]) # Ohne Prompt wird das gesamte Bild segmentiert (ein vereinfachter automatischer# Maskengenerator, nicht die vollständige Referenzimplementierung).result = model.predict(SAMPLE_IMAGE)

from libreyolo import LibreEdgeTAM, SAMPLE_IMAGE model = LibreEdgeTAM() # Der Bild-Encoder ist der aufwendige Teil. set_image() führt ihn einmal aus;# jeder folgende predict()-Aufruf nutzt das zwischengespeicherte Embedding.model.set_image(SAMPLE_IMAGE)a = model.predict(points=[640, 420], labels=[1])b = model.predict(bboxes=[300, 200, 900, 700])model.reset_image()

Ein Punkt-Prompt akzeptiert [x, y] für ein Objekt, [[x, y], ...] für mehrere oder NumPy-Arrays. labels kennzeichnet jeden Punkt mit 1 (Vordergrund) oder 0 (Hintergrund) und verwendet standardmäßig für alle den Vordergrund. Ein Box-Prompt akzeptiert [x1, y1, x2, y2] oder eine Liste von Boxen und erzeugt eine Maske pro Box. Wenn du beide Prompt-Arten auslässt, wird das gesamte Bild segmentiert. Dazu wird ein dichtes Raster als Prompt verwendet, und sichere, nicht überlappende Masken werden beibehalten. Dieser Modus „alles segmentieren“ ist gegenüber dem automatischen Maskengenerator der Referenz vereinfacht und kann dicht besetzte Szenen zu grob segmentieren. Ein echter Punkt- oder Box-Prompt ist daher der präzise Pfad. conf filtert anhand der vorhergesagten Maskenqualität (IoU), nicht anhand einer Erkennungs-Confidence. Übergib 0.0, um alle Kandidaten zu behalten. multimask=True gibt alle drei Ganzes-gegen-Teil-Mehrdeutigkeitsmasken von SAM pro Prompt zurück statt nur der besten. device= verschiebt das Modell und bei einer aktiven set_image()-Sitzung auch das zwischengespeicherte Embedding. Jede Maske trägt die Klassen-ID 0 mit dem Namen "object", weil eine Prompt-basierte Maske keine feste Klassenmenge besitzt. train(), val(), export() und track() lösen für diese Familie alle NotImplementedError aus. LibreYOLO unterstützt hier die Bildinferenz. Unter Vorhersage findest du die Quelltypen.

Varianten

Es gibt eine Größe, edge, mit fester Eingabeauflösung. Die Wahl dieser Familie gegenüber dem restlichen SAM-Tier ist daher eine Hardware- und keine Größenentscheidung: EdgeTAM wurde speziell für eingeschränkte Inferenz auf dem Gerät entwickelt.

Checkpoints

Alle veröffentlichten Gewichtsdateien dieser Familie.

Lizenzierung

Zitieren

@article{zhou2025edgetam,
  title={EdgeTAM: On-Device Track Anything Model},
  author={Zhou, Chong and Zhu, Chenchen and Xiong, Yunyang and Suri, Saksham and Xiao, Fanyi and Wu, Lemeng and Krishnamoorthi, Raghuraman and Dai, Bo and Loy, Chen Change and Chandra, Vikas and Soran, Bilge},
  journal={arXiv preprint arXiv:2501.07256},
  year={2025}
}