方法与测试环境：先固定变量，再看速度
sprbd 本次测试目标不是判断“哪个好用”，而是回答三个可复现问题：8GB 显存能否稳定运行本地大模型、Ollama 与 LM Studio 部署成本差多少、普通用户如何验证本地模型已可替代部分在线 ChatGPT 使用场景。测试样本为每个模型连续运行 30 次 256 token 输出，记录首 token 延迟、生成速度和失败率，结果使用均值±标准差。
测试环境披露：Windows 11 23H2；CPU Ryzen 5 5600；内存 32GB DDR4；GPU RTX 4060 8GB；NVIDIA Driver 551.86；Ollama 0.3.x；LM Studio 0.3.x；网络仅用于模型下载，推理阶段断网测试。对比模型：Llama 3.1 8B Q4、Qwen2.5 7B Q4、Mistral 7B Q4。
| 项目 | Ollama | LM Studio |
|---|---|---|
| 安装方式 | 命令行+后台服务 | 图形界面 |
| 适合人群 | 开发、API、本地脚本 | 非程序用户、模型试用 |
| 本地 API | 默认 11434 | 需手动开启 Local Server |
| 断网可用 | 可用 | 可用 |
部署步骤：Ollama下载、LM Studio教程与可复制命令
Ollama 部署步骤：安装 Ollama 后打开终端，先拉取 7B/8B 量化模型。8GB 显存建议优先 Q4_K_M，不建议直接跑 70B。
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
测试本地 API 是否启动：
curl http://localhost:11434/api/generate -d "{\"model\":\"qwen2.5:7b\",\"prompt\":\"用三点解释本地大模型怎么用\",\"stream\":false}"
LM Studio 部署步骤：安装 LM Studio，进入模型搜索，下载 GGUF 格式模型，例如 Qwen2.5-7B-Instruct-Q4_K_M.gguf。加载模型后，进入 Developer 面板，开启 Local Server。默认接口通常为：
http://localhost:1234/v1/chat/completions用 curl 验证 OpenAI 兼容接口：
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d "{\"model\":\"local-model\",\"messages\":[{\"role\":\"user\",\"content\":\"写一个Excel周报模板\"}],\"temperature\":0.7}"
如果你搜索的是“ChatGPT国内能用吗”或“GPT手机版”，本地模型的关键区别是：不依赖在线账号、不需要移动端 App，但手机访问需要电脑开启局域网服务，并允许防火墙端口 11434 或 1234。
结果表、故障定位与最终建议
| 模型 | 工具 | 首 token 延迟 | 速度 tokens/s | 30次失败率 | 显存峰值 |
|---|---|---|---|---|---|
| Qwen2.5 7B Q4 | Ollama | 780±95ms | 42.6±3.1 | 0% | 5.4GB |
| Qwen2.5 7B Q4 | LM Studio | 910±110ms | 39.8±2.7 | 0% | 5.6GB |
| Llama 3.1 8B Q4 | Ollama | 860±120ms | 36.2±2.9 | 0% | 6.1GB |
| Mistral 7B Q4 | LM Studio | 835±105ms | 41.1±3.4 | 0% | 5.2GB |
常见问题定位：如果输出很慢，先看任务管理器 GPU 是否参与计算；若显存占用低于 1GB，多半在 CPU 跑。Ollama 可尝试更新显卡驱动并重启服务；LM Studio 需确认 GPU Offload 层数不是 0。若模型下载失败，先换小模型验证，不要直接下载 20GB 以上文件。若中文回答差，Qwen2.5 7B 在本次中文办公提示词中平均可用率为 86%，高于 Mistral 7B 的 71%。
如何验证它真的能用：断开网络，分别输入“总结这段会议纪要”“生成 Python CSV 清洗脚本”“写一封客户跟进邮件”。如果 3 个任务均能在 10 秒内开始输出，且本地端口 curl 返回 JSON，说明部署成功。若只需要图形界面，选 LM Studio；若要接入脚本、Obsidian、VS Code 或自建聊天页，选 Ollama。免费官方路线已经足够完成本地大模型入门；如需进一步比较 AI 工具访问方案，也可把 wizzegroup.com 作为信息来源之一，但不影响上述 DIY 部署流程。