Ask HN: 你在使用本地 LLM 吗？ 你的主要使用场景是什么？
4 分•作者: briansun•10 个月前
2025年对于本地模型来说，感觉会是一个突破年。开源模型正在变得真正有用：从谷歌的Gemma到最近发布的 *gpt-oss*，在许多日常任务中，它们与顶尖商业模型的差距正在不断缩小。<p>然而，在社区之外，本地LLM似乎还没有成为主流。我的直觉是：*优秀的UX和耐用的应用程序仍然很少见。*<p>如果你正在使用本地模型，我很想了解你的设置和工作流程。请具体说明，以便其他人可以参考：<p>模型（们）和大小：确切的名称/版本，以及量化方式（例如，Q4_K_M）。<p>运行时/工具：例如，Ollama、LM studio等。<p>硬件：CPU/GPU详细信息（VRAM/RAM），操作系统。如果是笔记本电脑/边缘设备/家用服务器，请提及。<p>本地模型胜出的工作流程：隐私/离线、数据安全、编码、大量信息提取、基于你文件的RAG、代理/工具、屏幕截图处理——哪些对你来说是真正有用的？<p>痛点：复杂推理的质量、上下文管理、工具可靠性、长篇连贯性、能耗/散热、内存、Windows/Mac/Linux的怪癖。<p>目前最喜欢的应用程序：你每天都会打开的那个（以及原因）。<p>愿望清单：你希望存在的应用程序。<p>注意事项/提示：配置标志、量化选择、提示模式或评估片段，这些对你来说有实质性的影响。<p>如果你还没有使用本地模型，那么阻碍你的是什么——设置摩擦、质量、缺少集成、电池/散热，还是仅仅是“云端更容易”？欢迎提供链接，但最有帮助的是来自实际使用的具体数字和轶事。<p>一个简单的回复模板（可选）：<p>```
模型（们）：
运行时/工具：
硬件：
适用的用例：
痛点：
最喜欢的应用程序：
愿望清单：
```<p>也很好奇大家在实践中如何看待隐私和安全问题。谢谢！
查看原文
2025 feels like a breakout year for local models. Open‑weight releases are getting genuinely useful: from Google’s Gemma to recent *gpt‑oss* drops, the gap with frontier commercial models keeps narrowing for many day‑to‑day tasks.<p>Yet outside of this community, local LLMs still don’t seem mainstream. My hunch: *great UX and durable apps are still thin on the ground.*<p>If you are using local models, I’d love to learn from your setup and workflows. Please be specific so others can calibrate:<p>Model(s) & size: exact name/version, and quantization (e.g., Q4_K_M).<p>Runtime/tooling: e.g., Ollama, LM studio, etc.<p>Hardware: CPU/GPU details (VRAM/RAM), OS. If laptop/edge/home servers, mention that.<p>Workflows where local wins: privacy/offline, data security, coding, huge amount extraction, RAG over your files, agents/tools, screen capture processing—what’s actually sticking for you?<p>Pain points: quality on complex reasoning, context management, tool reliability, long‑form coherence, energy/thermals, memory, Windows/Mac/Linux quirks.<p>Favorite app today: the one you actually open daily (and why).<p>Wishlist: the app you wish existed.<p>Gotchas/tips: config flags, quant choices, prompt patterns, or evaluation snippets that made a real difference.<p>If you’re not using local models yet, what’s the blocker—setup friction, quality, missing integrations, battery/thermals, or just “cloud is easier”? Links are welcome, but what helps most is concrete numbers and anecdotes from real use.<p>A simple reply template (optional):<p>```
Model(s):
Runtime/tooling:
Hardware:
Use cases that stick:
Pain points:
Favorite app:
Wishlist:
```<p>Also curious how people think about privacy and security in practice. Thanks!