Ask HN：你常用的本地 LLM 工具栈是什么？
2 分•作者: Olshansky•10 个月前
我在问 HN：
你们真正有用的本地 LLM 栈是什么样的？
我正在寻找能提供真正价值的东西——不仅仅是一个炫酷的演示。
---
最近一次互联网中断后，我意识到我需要一个本地 LLM 设置作为备用方案——不仅仅是为了实验和娱乐。
我日常（远程）的 LLM 栈：
```
- Claude Max（每月 100 美元）：我进行结对编程的首选。大量使用 Claude 的 Web 和桌面客户端。
- Windsurf Pro（每月 15 美元）：喜欢它的多行自动补全功能以及它如何使用剪贴板/上下文感知。
- ChatGPT Plus（每月 20 美元）：我的橡皮鸭，编辑器和创意伙伴。我用它做除了代码之外的所有事情。
```
这是我目前为我的本地栈拼凑的东西：
工具
```
- Ollama：用于在本地运行模型
- Aider：Claude-code 风格的 CLI 界面
- VSCode 搭配 continue.dev 扩展：本地聊天和自动补全
```
模型
```
- 聊天：llama3.1:latest
- 自动补全：Qwen2.5 Coder 1.5B
- 编码/编辑：deepseek-coder-v2:16b
```
我不担心的事情：
```
- CPU/内存（在 M1 MacBook 上运行）
- 成本（在合理范围内）
- 数据隐私/被训练（这里不想引发哲学辩论）
```
我担心的事情：
```
- 实际的实用性（即“感觉”）
- 易用性（符合我的肌肉记忆的工具）
- 正确性（不是基准测试）
- 延迟和速度
```
目前：我已经让它工作了。我可以做一个很棒的演示。但它还没有真正有用。
---
我是谁
```
- 一家小型初创公司的 CTO（5 位优秀的工程师）
- 20 年的编码经验（从 13 岁开始）
- 前大厂员工
```
查看原文
What I’m asking HN:<p>What does your actually useful local LLM stack look like?<p>I’m looking for something that provides you with real value — not just a sexy demo.<p>---<p>After a recent internet outage, I realized I need a local LLM setup as a backup — not just for experimentation and fun.<p>My daily (remote) LLM stack:<p><pre><code> - Claude Max ($100/mo): My go-to for pair programming. Heavy user of both the Claude web and desktop clients.
- Windsurf Pro ($15/mo): Love the multi-line autocomplete and how it uses clipboard/context awareness.
- ChatGPT Plus ($20/mo): My rubber duck, editor, and ideation partner. I use it for everything except code.
</code></pre>
Here’s what I’ve cobbled together for my local stack so far:<p>Tools<p><pre><code> - Ollama: for running models locally
- Aider: Claude-code-style CLI interface
- VSCode w/ continue.dev extension: local chat & autocomplete
</code></pre>
Models<p><pre><code> - Chat: llama3.1:latest
- Autocomplete: Qwen2.5 Coder 1.5B
- Coding/Editing: deepseek-coder-v2:16b
</code></pre>
Things I’m not worried about:<p><pre><code> - CPU/Memory (running on an M1 MacBook)
- Cost (within reason)
- Data privacy / being trained on (not trying to start a philosophical debate here)
</code></pre>
I am worried about:<p><pre><code> - Actual usefulness (i.e. “vibes”)
- Ease of use (tools that fit with my muscle memory)
- Correctness (not benchmarks)
- Latency & speed
</code></pre>
Right now: I’ve got it working. I could make a slick demo. But it’s not actually useful yet.<p>---<p>Who I am<p><pre><code> - CTO of a small startup (5 amazing engineers)
- 20 years of coding (since I was 13)
- Ex-big tech</code></pre>