# LongCat-Video-Avatar 1.5 — 美团开源数字人

> 音频驱动数字人视频生成，照片+语音生成对口型视频，支持唱歌/双人对话/动漫动物，8步推理，MIT协议可商用

## LongCat-Video-Avatar 1.5 — 美团开源数字人视频生成

美团 LongCat 团队出品，音频驱动的数字人视频生成模型。给一张照片 + 一段音频，生成对口型的数字人视频。3.46k 关注，MIT 开源协议，可商用。

### 支持的任务

- **AT2V（Audio-Text-to-Video）**：音频 + 文字描述 → 视频
- **ATI2V（Audio-Text-Image-to-Video）**：音频 + 文字 + 参考图片 → 视频
- **视频续写**：已有视频继续生成
- **双人对话**：支持双流音频，两个人交替说话

### 1.5 版本核心升级

- **Whisper-Large 音频编码器**：替代 Wav2Vec2，唇形同步更自然流畅
- **生产级稳定性**：精准唇形同步、全身时间稳定性、严格身份一致性
- **风格化泛化**：支持动漫、动物、多人互动、物品操作等复杂场景
- **8步推理**：DMD2 蒸馏技术，推理仅需 8 NFE，速度快成本低

### 应用场景

新闻播报、知识教育、日常对话、娱乐、唱歌、电商营销、动画、动物角色

### 技术要求

- Python 3.10, PyTorch 2.6, CUDA 12.4
- FlashAttention-2（可选 FA3 / xformers）
- 需下载两个模型权重：LongCat-Video（基础模型）+ LongCat-Video-Avatar-1.5
- 支持 480P / 720P 分辨率
- 支持 INT8 量化降低显存占用

### 快速安装

```bash
git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

conda create -n longcat-video python=3.10
conda activate longcat-video

pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 --index-url https://download.pytorch.org/whl/cu124
pip install flash_attn==2.7.4.post1
pip install -r requirements.txt
pip install -r requirements_avatar.txt

# 下载模型
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5
```

### 推理命令（单人）

```bash
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=2 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 \
  --model_type avatar-v1.5 \
  --use_distill \
  --resolution 480p
```

### 使用技巧

- Audio CFG 值建议 3-5，越高唇形同步越准
- Prompt 写得越详细越好（外貌、动作、场景）
- 减少重复动作：`--ref_img_index 30` + 增大 `--mask_frame_range`
- 加 `--use_int8` 降低显存占用

GitHub: https://github.com/meituan-longcat/LongCat-Video
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5

---

**分类**：其它
**标签**：视频 · Video · LongCat
**作者**：Xiao.Xi
**链接**：https://octohz.com/p/1911