LongCat-Video-Avatar 1.5 — 美团开源数字人

LongCat-Video-Avatar 1.5 — 美团开源数字人视频生成

美团 LongCat 团队出品，音频驱动的数字人视频生成模型。给一张照片 + 一段音频，生成对口型的数字人视频。3.46k 关注，MIT 开源协议，可商用。

支持的任务

• AT2V（Audio-Text-to-Video）：音频 + 文字描述 → 视频
• ATI2V（Audio-Text-Image-to-Video）：音频 + 文字 + 参考图片 → 视频
• 视频续写：已有视频继续生成
• 双人对话：支持双流音频，两个人交替说话

1.5 版本核心升级

• Whisper-Large 音频编码器：替代 Wav2Vec2，唇形同步更自然流畅
• 生产级稳定性：精准唇形同步、全身时间稳定性、严格身份一致性
• 风格化泛化：支持动漫、动物、多人互动、物品操作等复杂场景
• 8步推理：DMD2 蒸馏技术，推理仅需 8 NFE，速度快成本低

应用场景

新闻播报、知识教育、日常对话、娱乐、唱歌、电商营销、动画、动物角色

技术要求

• Python 3.10, PyTorch 2.6, CUDA 12.4
• FlashAttention-2（可选 FA3 / xformers）
• 需下载两个模型权重：LongCat-Video（基础模型）+ LongCat-Video-Avatar-1.5
• 支持 480P / 720P 分辨率
• 支持 INT8 量化降低显存占用

快速安装

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

conda create -n longcat-video python=3.10
conda activate longcat-video

pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 --index-url https://download.pytorch.org/whl/cu124
pip install flash_attn==2.7.4.post1
pip install -r requirements.txt
pip install -r requirements_avatar.txt

# 下载模型
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5

推理命令（单人）

torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=2 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 \
  --model_type avatar-v1.5 \
  --use_distill \
  --resolution 480p

使用技巧

• Audio CFG 值建议 3-5，越高唇形同步越准
• Prompt 写得越详细越好（外貌、动作、场景）
• 减少重复动作：--ref_img_index 30 + 增大 --mask_frame_range
• 加 --use_int8 降低显存占用

GitHub: https://github.com/meituan-longcat/LongCat-Video HuggingFace: https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5