大模型推理

为什么选择本地部署DeepSeek V4 DeepSeek V4系列模型在2026年一经发布就引爆了AI社区，其最大的亮点在于支持100万Token上下文窗口——这意味着你可以把整本书、整套文档甚至整个代码仓库喂给模型，让它真正理解全局语境。对于Agent开发而言，这点尤为关键：只有足够长的上下文，Agent才能在复杂任务中保持连贯性。 但问题来了：官方API调用虽然方便，长期使用的成本却不低。对于想深度探索Agent能力的开发者，本地部署才是真正的自由之路。本文分享我用...

写在前面：为什么我折腾了大模型量化部署 三个月前，我尝试在一台只有RTX 3060（12GB显存）的电脑上跑Qwen2.5-72B，结果直接OOM（显存溢出）。后来我花了两周系统研究大模型量化技术，最终成功用INT4量化把这个72B模型塞进了12GB显存，推理速度还能维持在每秒15个token左右。今天这篇文章，就是把我踩过的坑和总结的经验一次性分享给你。 很多人对"量化"这个词有误解，以为就是把模型变糊了。恰恰相反，量化是大模型落地的必经之路，没有量化，绝大多数个人和企业...

为什么DeepSeek V4 Flash值得本地部署 DeepSeek V4发布后，我第一时间在实验室测试了V4-Flash。激活参数仅13B，推理FLOPs只有V4-Pro的10%左右，KV Cache缩减到Pro版的10%——这意味着什么？意味着用一张消费级显卡就能跑起一个接近前沿水平的MoE大模型，而且速度飞快。 本文不讲概念，直接上实操。我会从硬件评估、环境搭建、模型量化到vLLM推理服务配置，把整个流程走一遍，中间穿插我踩过的坑和实测数据。 先算账：你的显卡够不够...