登录
注册
搜索
Octo
Hz
让我们借助有惊人品味的你,找出世界上最酷的东西!
首页
导航
文档
资源库
论坛
站内搜索
「推理」共 16 条结果
搜索
教程
VibeVoice 社区版 - PyTorch/CUDA 多 GPU 推理完整代码
微软删除官方 TTS 推理代码后,社区 fork 保留的 PyTorch 完整实现。支持单卡/多卡推理、语音克隆、Gradio Demo。
61
0
0
0
Xiao.Xi
•
2个月前
点击获取 ^_^
源码
DwarfStar 4 — DeepSeek V4 Flash 本地推理引擎
antirez新作:DeepSeek V4 Flash的Metal/CUDA原生推理引擎,2-bit量化128GB Mac跑百万token上下文
83
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
源码
AirLLM - 单卡4GB GPU跑70B大模型推理的内存优化框架
无需量化/蒸馏/剪枝,在单张4GB GPU上运行70B大模型推理,支持Llama3.1 405B仅8GB VRAM
72
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
教程
vibevoice-mlx - VibeVoice TTS MLX 推理实现(Mac Studio 部署指南)
微软删除官方推理代码后,社区补上的完整 MLX 实现。支持 1.5B/7B 语音合成、零样本语音克隆、量化加速。
68
0
0
0
Xiao.Xi
•
2个月前
点击获取 ^_^
源码
TeaCache - 扩散模型免训练推理加速,视频/图片/音频生成提速神器
CVPR 2025 Highlight,通过智能缓存跳过冗余时间步,无需重训模型即可大幅加速扩散模型推理。支持Wan2.1/FLUX/HunyuanVideo等20+主流模型
35
0
0
0
Xiao.Xi
•
26天前
点击获取 ^_^
源码
Honcho - AI Agent 推理优先的记忆基础设施
Agent记忆不是存文本块做匹配,而是从对话中提取结论,持续理解用户和Agent。支持MCP集成Claude Code/OpenCode/Hermes等,托管或自托管。
50
0
0
0
Xiao.Xi
•
23天前
点击获取 ^_^
Skills
DFlash - 块扩散加速LLM推理的推测解码方案
轻量级块扩散模型,专为 LLM Speculative Decoding 设计,支持 vLLM/SGLang/MLX,已适配 20+ 主流大模型
62
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
软件
Sakana Fugu - 多模型编排即服务,一个API调度顶级模型军团
Sakana AI 推出的多智能体编排系统,用AI学出来的协作方式协调GPT/Claude/Gemini等顶级模型,一个API搞定复杂编程与推理任务
14
0
0
0
Xiao.Xi
•
5天前
点击获取 ^_^
酷站
fal.ai - 开发者首选的生成式AI媒体平台
1000+图像视频音频3D模型一行API调用,自研推理引擎比竞品快10倍,H100低至$1.2/小时,SOC2企业合规
42
0
0
0
Xiao.Xi
•
28天前
点击获取 ^_^
Skills
MingLi-Bench - 中文命理LLM评测基准(八字+紫微斗数)
评估大语言模型在八字和紫微斗数方面的推理能力,160道全球算命师大赛真题,支持 GPT/Claude/Gemini/DeepSeek 等主流模型
109
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
源码
DeepSeek-TUI - DeepSeek V4 终端编码助手
在终端中运行的 DeepSeek 编码代理,支持自动模式、流式推理、子代理与 MCP 协议
37
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
源码
Dexter - AI Agent 金融分析框架
基于 LLM 的自动化金融研究 Agent,支持多源数据聚合、深度推理与投资决策
49
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
源码
GPT-SoVITS - 1分钟数据训练高质量TTS模型
5秒样本零样本TTS,1分钟数据微调即可克隆声音。支持中英日韩粤跨语言推理,集成WebUI工具链,58k Stars
45
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^
Skills
gemma-skills - Google Gemma 官方 AI 编码技能包
Google 官方出品的 Gemma 模型技能库,让 AI 编码助手自动掌握 Gemma 选型、部署、MTP 加速推理,支持 Vercel/Context7 CLI 一键安装
46
0
0
0
Xiao.Xi
•
27天前
点击获取 ^_^
软件
BrowserAct - AI智能体专用的浏览器自动化CLI
突破反爬封锁、人类无缝接管、多账号并行隔离,专为LLM推理设计的浏览器操控工具
44
0
0
0
Xiao.Xi
•
22天前
点击获取 ^_^
酷站
讯飞星辰 MaaS 平台:模型集市
讯飞开放的大模型一站式服务平台,聚合科大讯飞、阿里、深度追求、智谱、Kimi 等62+模型
43
0
0
0
Xiao.Xi
•
1个月前
点击获取 ^_^