PicoSAM3

Installer

PicoSAM3 nécessite l'extra sam : le téléchargement de poids propre à LibreYOLO passe toujours par les outils Hugging Face de transformers, même si l'inférence s'exécute sur un CNN natif indépendant de transformers.

pip install "libreyolo[sam]"

Prédire

LibreSAM(...) (ou LibrePicoSAM3(...), propre à la famille) constitue un point d'entrée distinct de LibreYOLO(...) : il renvoie un segmenteur guidable et non un détecteur, car une passe n'a ici aucun sens sans requête. Il n'existe pas de commande CLI libreyolo predict pour cette famille ; utilisez l'API Python.

from libreyolo import LibreSAM, SAMPLE_IMAGE # PicoSAM3 n'a qu'une taille, "pico", aucun autre alias n'est nécessaire.model = LibreSAM("picosam3") # bboxes= est la seule requête prise en charge : [x1, y1, x2, y2] ou une# liste de boîtes, un masque par boîte. Chaque boîte est agrandie de 10 %,# rendue carrée, limitée à l'image et redimensionnée à 96x96 avant le CNN.result = model.predict(SAMPLE_IMAGE, bboxes=[300, 200, 900, 700])print(result.masks.xy)      # un polygone par masqueprint(result.boxes.xyxy)    # boîte ajustée dérivée du masque

from libreyolo import LibrePicoSAM3, SAMPLE_IMAGE model = LibrePicoSAM3() # set_image() met l'image source en cache ; PicoSAM3 exécute une passe CNN# complète par boîte. Cela évite le chargement/décodage de l'image, pas une# passe d'encodeur comme pour les autres familles SAM.model.set_image(SAMPLE_IMAGE)a = model.predict(bboxes=[300, 200, 900, 700])b = model.predict(bboxes=[100, 100, 400, 400])model.reset_image()

PicoSAM3 accepte uniquement bboxes=. Fournir points=, labels=, masks=, text=, multimask=True ou omettre la boîte pour tout segmenter lève dans tous les cas une ValueError explicite, car aucun de ces modes n'existe dans le modèle amont. conf filtre selon la qualité prédite du masque (IoU), et non une confiance de détection, et doit être compris entre 0.0 et 1.0. Chaque masque porte l'identifiant de classe 0, nommé "object". train(), val() et track() lèvent NotImplementedError ; utilisez LibreSAM2 ou LibreSAM3 pour les requêtes par point, texte, masque ou de segmentation complète. Consultez la prédiction pour les types de sources.

Variantes

Une seule taille, pico, avec une entrée ROI fixe de 96 px : PicoSAM3 exécute une passe CNN complète par boîte au lieu d'encoder l'image entière une seule fois.

Exporter

PicoSAM3 est la seule famille de la catégorie SAM qui s'exporte : elle transmet son CNN ROI 96x96 brut à ONNX, roi_image -> mask_logits, sans NMS ni post-traitement de masque intégré. Les autres familles SAM lèvent NotImplementedError avec export(), car leur séparation encodeur/décodeur ne dispose pas encore d'un contrat d'export pour le runtime. Un graphe PicoSAM3 exporté ne se recharge pas par LibreYOLO() ; exécutez-le directement avec un runtime comme onnxruntime, en appliquant le même prétraitement de ROI carrée avec une marge de 10 % présenté ci-dessus.

from libreyolo import LibrePicoSAM3 model = LibrePicoSAM3()model.export(format="onnx", output_path="LibrePicoSAM3pico.onnx") # opset (13 par défaut) et dynamic (True par défaut, axe de batch seul)# sont les seuls arguments d'export acceptés par cette famille.

import numpy as npimport onnxruntime as ort # PicoSAM3 exporte son CNN ROI 96x96 brut : roi_image -> mask_logits.# Aucun pré/post-traitement LibreYOLO n'est réutilisable ici, car export()# ne repasse pas par LibreYOLO() comme pour un checkpoint de détecteur.session = ort.InferenceSession("LibrePicoSAM3pico.onnx")name = session.get_inputs()[0].nameoutputs = session.run(None, {name: np.zeros((1, 3, 96, 96), dtype=np.float32)}) for meta, array in zip(session.get_outputs(), outputs):    print(meta.name, array.shape)

Checkpoints

Tous les fichiers de poids publiés pour cette famille.

Licence

Citation

@article{picosam3_2026,
      title={PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation}, 
      author={Pietro Bonazzi and Nicola Farronato and Stefan Zihlmann and Haotong Qin and Michele Magno},
      journal={IEEE Sensors Journal},
      year={2026}
}