量化优化

为什么DeepSeek V4 Flash值得本地部署 DeepSeek V4发布后，我第一时间在实验室测试了V4-Flash。激活参数仅13B，推理FLOPs只有V4-Pro的10%左右，KV Cache缩减到Pro版的10%——这意味着什么？意味着用一张消费级显卡就能跑起一个接近前沿水平的MoE大模型，而且速度飞快。 本文不讲概念，直接上实操。我会从硬件评估、环境搭建、模型量化到vLLM推理服务配置，把整个流程走一遍，中间穿插我踩过的坑和实测数据。 先算账：你的显卡够不够...