Marqo Ecommerce Embeddings - 电商专用多模态嵌入模型

这是什么

Marqo 公司发布的电商领域专用多模态嵌入模型，基于 SigLIP 架构微调，专攻商品搜索与检索场景。对比通用基座模型评估指标提升 +67%，全面碾压 Amazon Titan 等商业模型。

两个版本

模型	参数量	嵌入维度	输入分辨率	推理速度(A10G)
marqo-ecommerce-embeddings-B	203M	768	224×224	文本 5.1ms / 图像 5.7ms
marqo-ecommerce-embeddings-L	652M	1024	256×256	文本 10.3ms / 图像 11.0ms

• B 模型：ViT-Base/16 + SigLIP，轻量快速
• L 模型：ViT-Large/16 + SigLIP，精度更高

训练方式

采用 Marqo 提出的 Generalized Contrastive Learning (GCL) 框架。与传统对比学习只用二值标签（相关/不相关）不同，GCL 能学习细粒度排序信息，将 ground-truth 排序分数转化为损失权重。

论文：arXiv:2404.08535

Benchmark（400万产品数据集）

GoogleShopping Text2Image 检索：

模型	mAP	R@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.682	0.878	0.683	0.726
Marqo-Ecommerce-B	0.623	0.832	0.624	0.668
ViT-SO400M-14-SigLIP	0.573	0.763	0.574	0.613
ViT-L-16-SigLIP	0.540	0.722	0.540	0.577
Amazon-Titan-MultiModal	0.475	0.648	0.475	0.509
Jina-V1-CLIP	0.285	0.402	0.285	0.306

关键提升：

• L 模型 vs 最佳开源 SigLIP：MRR +17.6%，nDCG@10 +20.5%
• L 模型 vs Amazon Titan（商业）：MRR +38.9%，nDCG@10 +45.1%
• B 模型 vs 同级 SigLIP：整体 +67%

快速上手

import open_clip
from PIL import Image

model, _, preprocess = open_clip.create_model_and_transforms(
    'hf-hub:Marqo/marqo-ecommerce-embeddings-B'
)
tokenizer = open_clip.get_tokenizer(
    'hf-hub:Marqo/marqo-ecommerce-embeddings-B'
)

image = preprocess(Image.open('product.jpg')).unsqueeze(0)
text = tokenizer(["红色连衣裙", "蓝色衬衫", "黑色皮鞋"])

import torch
with torch.no_grad():
    img_features = model.encode_image(image, normalize=True)
    txt_features = model.encode_text(text, normalize=True)
    probs = (100.0 * img_features @ txt_features.T).softmax(dim=-1)

也支持 transformers 库加载（AutoModel + AutoProcessor）。

适用场景

• 🛒 电商商品搜索 — 文搜图、图搜图
• 🏷️ 商品自动分类 — 类目匹配、标签生成
• 🔄 商品去重/同款识别 — 跨平台比价、供应链去重
• 📦 推荐系统 — 相似商品推荐
• 🔍 多模态检索 — 标题+图片联合检索

适合谁

• 电商平台做站内搜索/推荐
• 做跨平台选品工具（同款识别）
• 需要大规模商品向量检索的团队

项目信息

• License：Apache-2.0（可商用）
• 配套评估数据集：amazon-products-eval（334万）、google-shopping-general-eval（98万）
• GCL 训练框架：github.com/marqo-ai/GCL