GGUF量化

一、为什么你的8G显卡被严重低估了 很多人的直觉是：35B参数的大模型至少需要20GB以上的显存，8G显卡只能跑7B以下的小模型。这种认知在2024年之前是正确的，但在llama.cpp的异构推理（Heterogeneous Inference）方案成熟后，这个结论已经被彻底推翻。 我在一台配置RTX 4060（8GB显存）+ 32GB DDR5内存的笔记本上，成功运行了Qwen3.6-35B-A3B（MoE架构，总参数35B，每次激活约3B）的Q4_K_M量化版本，日常对话...

别再忍受慢吞吞的本地AI了 很多人兴冲冲下载了LM Studio，跑起来却发现回复一个字要等好几秒，体验远不如云端API。问题不在你的电脑配置，而在于你根本没调过参数。我折腾了大半年本地部署，从最初的龟速到现在的流畅体验，踩过的坑够写一本书。这篇就把我验证有效的加速技巧全部分享出来，不讲理论，只讲实操。 选对模型格式：GGUF量化的门道比你想的深 LM Studio支持多种量化格式，但90%的人只会选Q4_K_M就完事了。实际上，不同量化等级的推理速度差异可以高达3倍。我的...