Kosmos-2

설치

Kosmos-2는 자체 팩토리가 있는 체크포인트 기반 계열과 별도의 제품 영역인 LibreYOLO의 VLM 탐지기 계층에 속합니다. vlm extra가 필요합니다.

pip install "libreyolo[vlm]"

예측

가중치는 처음 사용할 때 Hugging Face에서 내려받아 로컬에 캐시됩니다. LibreYOLO는 Microsoft 자체 microsoft/kosmos-2-patch14-224 저장소를 직접 불러옵니다. Florence-2와 달리 여기서는 커뮤니티 재업로드가 필요하지 않습니다.

from libreyolo import LibreVLM, SAMPLE_IMAGE model = LibreVLM("kosmos-2")model.set_classes(["boat", "person"])result = model.predict(SAMPLE_IMAGE, save=True) for box in result.boxes:    print(box.cls, box.conf, box.xyxy)

from libreyolo import LibreVLM model = LibreVLM("kosmos-2")model.set_classes(["boat", "person"]) # 라이브러리가 허용하는 모든 소스: 파일, 폴더, URL, 웹캠 인덱스,# RTSP 스트림 또는 .streams 목록for result in model.predict("clip.mp4", stream=True, save=True):    print(len(result.boxes))

이 계열은 LibreYOLO()가 아니라 LibreVLM() 팩토리로 불러옵니다. VLM 계열은 체크포인트 로더를 선언하지 않으므로 다른 모델 페이지에서 설명하는 파일 접미사 라우팅이 적용되지 않습니다. set_classes()는 Kosmos-2에 찾도록 요청할 보캐뷸러리를 설정합니다. 이 설정은 유지되므로 다시 설정할 때까지 이후의 모든 predict() 및 track() 호출에 적용됩니다. Kosmos-2는 레이블과 정확히 일치시키는 대신 명사구를 그라운딩하므로 LibreYOLO 래퍼는 부분 일치를 허용합니다. 예를 들어 "boat" 클래스는 생성된 "the boats" 같은 구문과도 일치합니다. 모든 탐지에는 동일한 자리표시자 신뢰도가 지정되므로 conf 필터링은 순위 지정이 아니라 전체 적용 또는 전체 제외로 동작하며 여기서 iou는 효과가 없습니다. 래퍼가 중복 제거 단계 없이 그라운딩된 엔터티에서 직접 탐지 목록을 만들기 때문입니다. Kosmos-2는 채팅 템플릿이 아니라 <grounding> 프롬프트로 구동되므로 chat()은 NotImplementedError를 일으킵니다. LibreYOLO CLI는 이 계층을 지원하지 않습니다. libreyolo predict model=... 형식은 사용할 수 없습니다. 소스, 스트리밍, 결과 처리는 예측을 참조합니다.

변형

크기는 kosmos-2-patch14-224 한 가지이며 224 px입니다. LibreVLM("kosmos-2")로 불러옵니다. 2023년 모델이며 LibreYOLO 자체 래퍼는 이 계층의 최신 탐지기보다 그라운딩이 더 거칠다고 명시합니다.

LibreYOLO는 Kosmos-2를 학습, 검증, 내보내기하지 않습니다. 이 계층의 모든 계열에서 train(), val(), export()는 모두 NotImplementedError를 일으킵니다(위의 지원 계층 참조). 사용자 지정 보캐뷸러리를 가중치에 포함해야 하면 업스트림에서 Kosmos-2를 파인튜닝하고 생성된 가중치를 불러옵니다. 모든 탐지에 동일한 자리표시자 신뢰도가 있으므로 COCO 방식의 검증 과정 대신 predict() 출력을 직접 확인합니다.

라이선스

인용

@article{kosmos-2,
  title={Kosmos-2: Grounding Multimodal Large Language Models to the World},
  author={Zhiliang Peng and Wenhui Wang and Li Dong and Yaru Hao and Shaohan Huang and Shuming Ma and Furu Wei},
  journal={ArXiv},
  year={2023},
  volume={abs/2306}
}