목차5개 섹션
MOBILECLIP2 · IMAGE CLASSIFICATION
对比 S0、S2 与更大的型号，再用自己的标签运行图文匹配。MobileCLIP2 生成适用于分类和检索的向量；需要自然语言回答时可使用 FastVLM。
S0 / S2 本站实测：24 张图片、CPU 耗时与内存 →
选择哪个 MobileCLIP2 型号？
图像编码器最小的 S0 适合起步。S2 的公开 ImageNet 准确率从 71.5% 提升至 77.2%。选择更大型号前，应在自己的图片上验证收益，并测量内存与计算成本。
| 型号 | 图像编码器（百万参数） | 文本编码器（百万参数） | ImageNet top-1（%） |
|---|---|---|---|
| S0 ↗ | 11.4 | 63.4 | 71.5 |
| S2 ↗ | 35.7 | 63.4 | 77.2 |
| B ↗ | 86.3 | 63.4 | 79.4 |
| S3 ↗ | 125.1 | 123.6 | 80.7 |
| L-14 ↗ | 304.3 | 123.6 | 81.9 |
| S4 ↗ | 321.6 | 123.6 | 81.9 |
数值来自 Apple 模型卡，核对于 2026-09-12。ImageNet 零样本 top-1 是该基准上的准确率，不代表你的图片的准确率。 Apple model card
运行自己的图片分类
- 创建 Python 环境并安装下方依赖。
- 下载 mobileclip2.py，与待测图片放在同一目录。
- 执行命令，提供至少两个候选标签。首次运行会下载模型权重。
- 检查 JSON 排名，更换标签验证它是否适合你的任务。
Python · macOS / Linux
python -m venv .venv
source .venv/bin/activate
python -m pip install "open_clip_torch==3.3.0" "timm==1.0.29" torch pillow
curl -fLO https://fastvlm.net/examples/mobileclip2.py
python mobileclip2.py image.png --model S0 --labels "a receipt" "a chart" "a photograph"下载 Python 示例 ↓mobileclip2.py
"""Classify a local image against candidate labels with MobileCLIP2.
Install: python -m pip install "open_clip_torch==3.3.0" "timm==1.0.29" torch pillow
Run: python mobileclip2.py image.png --labels 'a receipt' 'a chart' 'a photograph'
Uses the timm/OpenCLIP adaptation of Apple's weights, downloaded on first run.
Source: https://huggingface.co/timm/MobileCLIP2-S0-OpenCLIP
"""
import argparse
import json
from pathlib import Path
import open_clip
import torch
from PIL import Image
from timm.utils import reparameterize_model
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('image', type=Path)
parser.add_argument('--model', choices=['S0', 'S2', 'B', 'S3', 'L-14', 'S4'], default='S0')
parser.add_argument('--labels', nargs='+', required=True)
args = parser.parse_args()
if not args.image.is_file():
parser.error('The image file does not exist.')
if len(args.labels) < 2:
parser.error('Provide at least two candidate labels.')
name = 'MobileCLIP2-' + args.model
device = 'cuda' if torch.cuda.is_available() else 'cpu'
model, _, preprocess = open_clip.create_model_and_transforms(name, pretrained='dfndr2b')
model = reparameterize_model(model.eval()).to(device)
tokenizer = open_clip.get_tokenizer(name)
image = preprocess(Image.open(args.image).convert('RGB')).unsqueeze(0).to(device)
text = tokenizer(args.labels).to(device)
with torch.inference_mode():
image_features = model.encode_image(image)
text_features = model.encode_text(text)
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)
scores = (100.0 * image_features @ text_features.T).softmax(dim=-1)[0].cpu().tolist()
results = sorted(zip(args.labels, scores), key=lambda item: item[1], reverse=True)
print(json.dumps({'model': name, 'scores': [{'label': label, 'score': score} for label, score in results],
'note': 'Relative scores within the supplied labels, not calibrated probabilities.'}, indent=2))
if __name__ == '__main__':
main()预期输出：包含模型名与按分数排序的标签的 JSON。分数仅相对于当前候选集，不是经过校准的概率。建议同时测试相关与无关标签。
示例使用 timm/OpenCLIP 适配版。Apple 原始 checkpoint 与 OpenCLIP 兼容文件的命名和加载方式不同。
如何选择 MobileCLIP、MobileCLIP2、CLIP 和 FastVLM？
- MobileCLIP → MobileCLIP2：在同样尺寸、预处理和自有标注图片上对比。第二代改进了训练方法，不应把第一代的速度倍数直接套用到所有第二代型号。
- CLIP / SigLIP 替代方案：保持图片、候选标签和设备一致，同时比较准确率、延迟与内存。
- FastVLM：如果任务需要文字解释而不是标签排序，选择生成式图片问答。
常见问题
- 找不到型号：更新 open_clip_torch 和 timm，检查 open_clip.list_models() 是否包含 MobileCLIP2-S0。
- 结果异常：使用 eval 模式，以及模型对应的 preprocess 和 tokenizer。
- 下载失败：检查 Hugging Face 网络连接与磁盘空间。
来源与下载
계속 읽기
같은 주제와 도구에 연결된 글입니다.
관련 도구
이 글의 주제와 가까운 디렉터리 항목을 살펴보세요.
