# Marqo Ecommerce Embeddings - 电商专用多模态嵌入模型

> 基于SigLIP微调的电商领域专用嵌入模型，vs通用SigLIP提升67%，vs Amazon Titan提升45%，支持文搜图/图搜图/商品去重

## 这是什么

Marqo 公司发布的**电商领域专用多模态嵌入模型**，基于 SigLIP 架构微调，专攻商品搜索与检索场景。对比通用基座模型评估指标提升 **+67%**，全面碾压 Amazon Titan 等商业模型。

## 两个版本

| 模型 | 参数量 | 嵌入维度 | 输入分辨率 | 推理速度(A10G) |
|---|---|---|---|---|
| **marqo-ecommerce-embeddings-B** | 203M | 768 | 224×224 | 文本 5.1ms / 图像 5.7ms |
| **marqo-ecommerce-embeddings-L** | 652M | 1024 | 256×256 | 文本 10.3ms / 图像 11.0ms |

- B 模型：ViT-Base/16 + SigLIP，轻量快速
- L 模型：ViT-Large/16 + SigLIP，精度更高

## 训练方式

采用 Marqo 提出的 **Generalized Contrastive Learning (GCL)** 框架。与传统对比学习只用二值标签（相关/不相关）不同，GCL 能学习**细粒度排序信息**，将 ground-truth 排序分数转化为损失权重。

论文：[arXiv:2404.08535](https://arxiv.org/abs/2404.08535)

## Benchmark（400万产品数据集）

**GoogleShopping Text2Image 检索：**

| 模型 | mAP | R@10 | MRR | nDCG@10 |
|---|---|---|---|---|
| **Marqo-Ecommerce-L** | **0.682** | **0.878** | **0.683** | **0.726** |
| **Marqo-Ecommerce-B** | **0.623** | **0.832** | **0.624** | **0.668** |
| ViT-SO400M-14-SigLIP | 0.573 | 0.763 | 0.574 | 0.613 |
| ViT-L-16-SigLIP | 0.540 | 0.722 | 0.540 | 0.577 |
| Amazon-Titan-MultiModal | 0.475 | 0.648 | 0.475 | 0.509 |
| Jina-V1-CLIP | 0.285 | 0.402 | 0.285 | 0.306 |

**关键提升：**
- L 模型 vs 最佳开源 SigLIP：MRR +17.6%，nDCG@10 +20.5%
- L 模型 vs Amazon Titan（商业）：MRR +38.9%，nDCG@10 +45.1%
- B 模型 vs 同级 SigLIP：整体 +67%

## 快速上手

```python
import open_clip
from PIL import Image

model, _, preprocess = open_clip.create_model_and_transforms(
    'hf-hub:Marqo/marqo-ecommerce-embeddings-B'
)
tokenizer = open_clip.get_tokenizer(
    'hf-hub:Marqo/marqo-ecommerce-embeddings-B'
)

image = preprocess(Image.open('product.jpg')).unsqueeze(0)
text = tokenizer(["红色连衣裙", "蓝色衬衫", "黑色皮鞋"])

import torch
with torch.no_grad():
    img_features = model.encode_image(image, normalize=True)
    txt_features = model.encode_text(text, normalize=True)
    probs = (100.0 * img_features @ txt_features.T).softmax(dim=-1)
```

也支持 `transformers` 库加载（AutoModel + AutoProcessor）。

## 适用场景

- 🛒 **电商商品搜索** — 文搜图、图搜图
- 🏷️ **商品自动分类** — 类目匹配、标签生成
- 🔄 **商品去重/同款识别** — 跨平台比价、供应链去重
- 📦 **推荐系统** — 相似商品推荐
- 🔍 **多模态检索** — 标题+图片联合检索

## 适合谁

- 电商平台做站内搜索/推荐
- 做跨平台选品工具（同款识别）
- 需要大规模商品向量检索的团队

## 项目信息

- License：**Apache-2.0**（可商用）
- 配套评估数据集：amazon-products-eval（334万）、google-shopping-general-eval（98万）
- GCL 训练框架：[github.com/marqo-ai/GCL](https://github.com/marqo-ai/GCL)

---

**分类**：源码
**标签**：电商 · 专用 · 嵌入
**作者**：Xiao.Xi
**链接**：https://octohz.com/p/1776