微软删除官方推理代码后，社区补上的完整 MLX 实现。支持 1.5B/7B 语音合成、零样本语音克隆、量化加速。

微软删除官方 TTS 推理代码后，社区 fork 保留的 PyTorch 完整实现。支持单卡/多卡推理、语音克隆、Gradio Demo。

CVPR 2025 Highlight，通过智能缓存跳过冗余时间步，无需重训模型即可大幅加速扩散模型推理。支持Wan2.1/FLUX/HunyuanVideo等20+主流模型

Agent记忆不是存文本块做匹配，而是从对话中提取结论，持续理解用户和Agent。支持MCP集成Claude Code/OpenCode/Hermes等，托管或自托管。

轻量级块扩散模型，专为 LLM Speculative Decoding 设计，支持 vLLM/SGLang/MLX，已适配 20+ 主流大模型

antirez新作：DeepSeek V4 Flash的Metal/CUDA原生推理引擎，2-bit量化128GB Mac跑百万token上下文

从零手搓的C++/CUDA推理引擎，只认RTX 5090一张卡：Qwen3.8-27B八路并发767 tok/s、AIME双96.7%不掉点，240K上下文还能看图看视频，5090党的天花板玩法。

LM Studio跑MLX模型的官方引擎：多轮对话缓存命中秒回、同图追问只算一次视觉编码。99%的人不用装（LM Studio自带），自建MLX服务的值得抄它的缓存设计。

无需量化/蒸馏/剪枝，在单张4GB GPU上运行70B大模型推理，支持Llama3.1 405B仅8GB VRAM

发布3天下载破150万！54GB的Qwen3.8-27B压到5.9GB还留98.2%智力，传统2bit崩掉的数学题它守住95分，低比特本地部署天花板。

检索式变声框架：10分钟语音训练音色模型，训练推理一体WebUI，37k stars

从0.8B到397B全覆盖，编程/视觉/推理/端侧一张表选对模型

一张照片实时驱动表情/姿态,4090 上毫秒级推理,配口型模型可组完整数字人,开源 MIT

评估大语言模型在八字和紫微斗数方面的推理能力，160道全球算命师大赛真题，支持 GPT/Claude/Gemini/DeepSeek 等主流模型

1000+图像视频音频3D模型一行API调用，自研推理引擎比竞品快10倍，H100低至$1.2/小时，SOC2企业合规

在终端中运行的 DeepSeek 编码代理，支持自动模式、流式推理、子代理与 MCP 协议

基于 LLM 的自动化金融研究 Agent，支持多源数据聚合、深度推理与投资决策

音频驱动数字人视频生成，照片+语音生成对口型视频，支持唱歌/双人对话/动漫动物，8步推理，MIT协议可商用

5秒样本零样本TTS，1分钟数据微调即可克隆声音。支持中英日韩粤跨语言推理，集成WebUI工具链，58k Stars

Google 官方出品的 Gemma 模型技能库，让 AI 编码助手自动掌握 Gemma 选型、部署、MTP 加速推理，支持 Vercel/Context7 CLI 一键安装