CLIP

Instalasi

CLIP membutuhkan extra tersendiri, yang ikut memasang paket yang dipakai tokenizer BPE bawaannya untuk menghasilkan token id yang persis sama.

pip install "libreyolo[clip]"

Prediksi

Bobot diunduh dari Hugging Face saat pertama kali dipakai dan disimpan di cache lokal.

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreCLIPb32-cls.pt")model.set_classes(["a forklift", "an empty aisle", "a spill"])result = model(SAMPLE_IMAGE, save=True) print(model.names[result.probs.top1], float(result.probs.top1conf))

# Tanpa panggilan set_classes(), predict CLI memakai 1.000 nama# kelas ImageNet yang dimuat model secara default.libreyolo predict model=LibreCLIPb32-cls.pt source=https://raw.githubusercontent.com/LibreYOLO/libreyolo/release/libreyolo/assets/parkour.jpg save=True

from libreyolo import LibreYOLO, SAMPLE_IMAGE model = LibreYOLO("LibreCLIPb32-cls.pt", task="embed")image_embed = model(SAMPLE_IMAGE).embeddings.datatext_embed = model.embed_text("a photo of a forklift") # Keduanya ternormalisasi L2, jadi dot product biasa adalah cosine similarity.similarity = (image_embed @ text_embed.T).item()

set_classes() adalah satu-satunya primitif yang menjadikan ini classifier open-vocabulary: fungsi ini menyisipkan setiap label ke seluruh template prompt, melakukan encoding lalu merata-ratakan hasilnya, dan menyimpan matriks [K, D] yang terbentuk di cache sebagai head classifier, sehingga matriks itu tidak dihitung ulang untuk tiap gambar. Panggil lagi kapan saja untuk mengganti kelas. Tanpa panggilan itu, LibreCLIP dimuat dengan 1.000 nama kelas ImageNet-1k yang sudah tersetel.

Dengan task="embed", prediksi mengembalikan satu vektor gambar ternormalisasi L2 per input, bukan probabilitas kelas, dan embed_text() mengembalikan baris teks ternormalisasi di ruang vektor yang sama, sehingga dot product biasa di antara keduanya adalah cosine similarity. iou tidak berpengaruh pada kedua task itu; tidak ada langkah NMS. Lihat prediksi untuk sumber, streaming dan penanganan hasil.

Validasi

val() membaca nama folder kelas di bawah split train/ sebuah ImageFolder, memanggil set_classes() dengan nama tersebut, lalu mengukur akurasi zero-shot top-1 dan top-5. Akurasi bergantung pada seberapa baik nama kelas terbaca sebagai prompt, bukan pada pembaruan bobot apa pun, karena tidak ada yang perlu dilatih. Validasi hanya mencakup task="classify"; task="embed" tidak punya validator dataset.

from libreyolo import LibreYOLO model = LibreYOLO("LibreCLIPb32-cls.pt") # data adalah root ImageFolder dengan split train/; nama foldernya# menjadi prompt kelas zero-shot untuk proses ini.metrics = model.val(data="imagenette160") print(metrics["metrics/accuracy_top1"])print(metrics["metrics/accuracy_top5"])

libreyolo val model=LibreCLIPb32-cls.pt data=imagenette160

Ekspor

Ekspor menanamkan kondisi model saat ini ke dalam graph yang tetap. Untuk task="classify", label apa pun yang terakhir ditetapkan set_classes(), beserta resolusi pada saat ekspor, ditanamkan ke lapisan linear terakhir, sehingga graph ONNX atau TensorRT hasil ekspor adalah classifier gambar [B, K] biasa tanpa menara teks dan tanpa tokenizer; lakukan ekspor ulang setelah mengubah kelas atau ukurannya. Ekspor dengan task="embed" hanya menelusuri menara gambar. Keduanya membutuhkan ONNX opset 14 atau lebih tinggi, yang memang disetel exporter secara default.

from libreyolo import LibreYOLO model = LibreYOLO("LibreCLIPb32-cls.pt")model.set_classes(["a forklift", "an empty aisle", "a spill"])model.export(format="onnx") # Label set_classes() saat ini dan resolusi input ditanamkan ke# dalam graph. Lakukan ekspor ulang setelah mengubah salah satunya.

# Tidak ada panggilan set_classes() di sini, jadi ini menanamkan# 1.000 kelas ImageNet bawaan yang dimuat model.libreyolo export model=LibreCLIPb32-cls.pt format=onnx

from libreyolo import LibreYOLO # task="embed" hanya menelusuri menara gambar; tidak perlu kelas.model = LibreYOLO("LibreCLIPb32-cls.pt", task="embed")model.export(format="onnx")

Checkpoint

Semua berkas bobot yang dipublikasikan untuk family ini. Keduanya dikonversi dari checkpoint OpenCLIP yang dilatih pada LAION-2B (ViT-B-32 dan ViT-B-16), bukan dari pelatihan COCO mana pun.

Data pelatihan LAION-2B punya riwayat terdokumentasi berisi konten CSAM (Stanford Internet Observatory, Desember 2023). Sejak itu LAION merilis Re-LAION, rilis ulang yang sudah dibersihkan; jika Anda melakukan hosting ulang bobot ini lebih lanjut, pilih checkpoint turunan Re-LAION bila tersedia.

Lisensi

Sitasi

@software{ilharco_gabriel_2021_5143773,
  author       = {Ilharco, Gabriel and
                  Wortsman, Mitchell and
                  Wightman, Ross and
                  Gordon, Cade and
                  Carlini, Nicholas and
                  Taori, Rohan and
                  Dave, Achal and
                  Shankar, Vaishaal and
                  Namkoong, Hongseok and
                  Miller, John and
                  Hajishirzi, Hannaneh and
                  Farhadi, Ali and
                  Schmidt, Ludwig},
  title        = {OpenCLIP},
  month        = jul,
  year         = 2021,
  note         = {If you use this software, please cite it as below.},
  publisher    = {Zenodo},
  version      = {0.1},
  doi          = {10.5281/zenodo.5143773},
  url          = {https://doi.org/10.5281/zenodo.5143773}
}