标签「量化」共 4 条内容
Unsloth Dynamic GGUF:新模型发布当天就能跑,510万人下载的量化生态闭环软件

不只量化更是全链路:Dynamic v3.0动态精度+MTP投机解码+Flash Attention加速,llama.cpp/Ollama一键起

53000子龙子龙•5天前
GSQ-RCO:ISTA研究所的非均匀量化,11.8GB跑出BF16满分的Qwen3.8-27B软件

学术派量化天花板:每个张量单独分配精度,同体积比Unsloth高10分,论文代码全公开可自己复刻

61000子龙子龙•5天前
Mac 上跑本地大模型:该选哪个版本、免审模型用哪个(附下载地址与实测速度)模型

同一个模型有 4bit/8bit/免审版,怎么选?一句话:稠密选小、MoE 选大。附下载地址与实测速度;2026-09 补测 oMLX 引擎,修正「换引擎不会变快」的旧结论。

154000子龙子龙•7天前
DwarfStar 4 — DeepSeek V4 Flash 本地推理引擎程序员

antirez新作:DeepSeek V4 Flash的Metal/CUDA原生推理引擎,2-bit量化128GB Mac跑百万token上下文

185000子龙子龙•4个月前