标签「推理」共 6 条内容
TeaCache - 扩散模型免训练推理加速,视频/图片/音频生成提速神器源码

CVPR 2025 Highlight,通过智能缓存跳过冗余时间步,无需重训模型即可大幅加速扩散模型推理。支持Wan2.1/FLUX/HunyuanVideo等20+主流模型

88000Xiao.XiXiao.Xi2个月前
fal.ai - 开发者首选的生成式AI媒体平台酷站

1000+图像视频音频3D模型一行API调用,自研推理引擎比竞品快10倍,H100低至$1.2/小时,SOC2企业合规

68000Xiao.XiXiao.Xi2个月前
讯飞星辰 MaaS 平台:模型集市酷站

讯飞开放的大模型一站式服务平台,聚合科大讯飞、阿里、深度追求、智谱、Kimi 等62+模型

74000Xiao.XiXiao.Xi2个月前
DwarfStar 4 — DeepSeek V4 Flash 本地推理引擎源码

antirez新作:DeepSeek V4 Flash的Metal/CUDA原生推理引擎,2-bit量化128GB Mac跑百万token上下文

123000Xiao.XiXiao.Xi3个月前
AirLLM - 单卡4GB GPU跑70B大模型推理的内存优化框架源码

无需量化/蒸馏/剪枝,在单张4GB GPU上运行70B大模型推理,支持Llama3.1 405B仅8GB VRAM

95000Xiao.XiXiao.Xi3个月前
VibeVoice 社区版 - PyTorch/CUDA 多 GPU 推理完整代码教程

微软删除官方 TTS 推理代码后,社区 fork 保留的 PyTorch 完整实现。支持单卡/多卡推理、语音克隆、Gradio Demo。

97000Xiao.XiXiao.Xi3个月前