登陆
首页
AI自动化
AI教程
服务器
留言本
登录
搜索
GGUF
AI教程
0
大模型INT4量化本地部署实战教程:让消费级显卡跑起百亿参数模型
2026.06.05 |
youres
| 443次围观
写在前面:为什么我折腾了大模型量化部署 三个月前,我尝试在一台只有RTX 3060(12GB显存)的电脑上跑Qwen2.5-72B,结果直接OOM(显存溢出)。后来我花了两周系统研究大模型量化技术,最终成功用INT4量化把这个72B模型塞进了12GB显存,推理速度还能维持在每秒15个token左右。今天这篇文章,就是把我踩过的坑和总结的经验一次性分享给你。 很多人对"量化"这个词有误解,以为就是把模型变糊了。恰恰相反,量化是大模型落地的必经之路,没有量化,绝大多数个人和企业...
AI教程
0
不用魔法的DeepSeek R1本地部署攻略:三步搞定纯中文环境AI大模型
2026.05.25 |
youres
| 359次围观
写在前面:为什么"不用魔法"突然成了刚需?2025年到2026年,DeepSeek R1几乎成了每个想入门大模型的人必聊的话题。但很多人卡在第一步:下载和运行它需要访问HuggingFace和Ollama官网,而在内地网络环境下,这些站点的下载速度经常只有几KB/s,甚至直接超时。本文的核心目标只有一个:让你在国内网络环境下,不借助任何魔法(VPN/代理),完整跑通DeepSeek R1。整个方案依赖三个在国内可以正常访问的工具:Microsoft Store、阿里云魔搭社区...
1
随机文章
AI配音工具免费推荐:6款一键文字转语音的神器横向对比与实操指南
AI设备巡检工具免费推荐:6款扫码点检与自动生成维修工单的设备管理神器横向对比与实操指南
Shell脚本curl重定向告警钉钉配置:5个实战方案让网站问题无处遁形
curl排查短链参数丢失方法:5个实战步骤
bash jobs命令管理后台任务生命周期:3个实战技巧让你的任务稳如泰山
AI字体生成工具免费推荐:6款一键打造专属艺术字的神器横向对比与实操指南
AI长尾关键词挖掘方法实战教程
社区团购团长用AI智能体后,每天多赚800块——一个宝妈的真实转型故事
Cursor AI编辑器深度使用指南:从安装到企业级开发实战
最近发表
AI扩图工具免费推荐:6款一键把小图放大补全背景的智能神器横向对比与实操指南
AI视频字幕生成工具免费推荐:6款一键自动生成精准字幕的智能神器横向对比与实操指南
AI PPT大纲生成工具免费推荐:6款一键生成专业演示框架的智能神器横向对比与实操指南
AI开题报告生成工具免费推荐:6款一键搞定选题框架与研究计划的开题神器横向对比与实操指南
AI开题报告生成工具免费推荐:6款一键搞定选题框架与研究计划的开题神器横向对比与实操指南
AI流程图生成工具免费推荐:6款一键把文字变成流程图的专业神器横向对比与实操指南
AI物体消除工具免费推荐:6款一键清除画面多余物体的智能神器横向对比与实操指南
AI播客生成工具免费推荐:6款一键把文字变成播客音频的智能神器横向对比与实操指南
AI语音转文字工具免费推荐:6款精准高效的智能录音转写神器横向对比与实操指南
AI语音转文字工具免费推荐:6款精准高效的智能录音转写神器横向对比与实操指南
网站分类
AI自动化
AI教程
服务器
文章归档
2026年8月 (373)
2026年7月 (365)
2026年6月 (923)
2026年5月 (939)