伊芙琳——本地优先 AI 语音助手的早期原型
1 分•作者: Plasticity_AI•9 个月前
大家好，我是 Ted。在 2022 年到 2024 年期间，我从一场大手术中康复，决定终于尝试自己动手做点东西，而不是光消费。我对 AI 助手很着迷，但对它们依赖云基础设施以及随之而来的成本感到沮丧。
我开始思考：我能不能构建一个完全在我的机器上运行的东西？
我不是专业程序员——这是我第一个真正的项目——但经过 5 个月的学习和不懈的迭代，我拼凑出了一个粗略的原型，Evelyn。
目前，Evelyn 可以：
– 完全在 macOS 上运行（我正在 Mac Mini M4 Pro/Macbook Pro M1 上测试）。
– 使用 Whisper 进行转录。
– 通过 LM Studio 连接到开源 LLM。
– 使用备用层生成实时语音（XTTS → ElevenLabs → macOS TTS）。
– 在会话之间保持简单的记忆（基于 JSON，带有去重 + 回忆功能）。
– 使用基本的编排器在本地和外部模型之间路由查询。
演示视频：https://www.youtube.com/watch?v=OtJpAgLSmfI&t=10s
这*不是一个产品*——只是在超大规模发展的世界中探索本地优先 AI 的早期尝试。我每天都用它来学习，看看什么有效，什么会崩溃。
我非常感谢大家对以下方面的反馈：
– 技术方法（您会改变或简化什么？）
– 像这样的本地优先助手与纯云端相比，是否有潜力。
– 关于如何让其他人更容易尝试类似项目的建议。
我还没有准备好源代码，但我可以在评论中分享更多关于架构和权衡的信息。
查看原文
Hi HN, I’m Ted. While recovering from a major surgery from 2022-24, I decided to finally try building something instead of just consuming. I became fascinated with AI assistants but frustrated by their reliance on cloud infrastructure and the costs that come with it.<p>I started wondering: could I build something that runs entirely on my own machine?<p>I’m not a professional programmer — this is my first real project — but over 5 months of learning and relentless iteration I put together a rough prototype, Evelyn.<p>Right now Evelyn can:<p>– Run fully on macOS (I’m testing on a Mac Mini M4 Pro/Macbook Pro M1).
– Use Whisper for transcription.
– Connect to open-source LLMs via LM Studio
– Generate real-time speech with fallback layers (XTTS → ElevenLabs → macOS TTS).
– Keep a simple memory across sessions (JSON-based, with dedupe + recall).
– Route queries between local and external models with a basic orchestrator.<p>Demo video: https://www.youtube.com/watch?v=OtJpAgLSmfI&t=10s<p>This is *not a product* — just an early attempt at exploring local-first AI in a world that's hyperscaling. I use it daily to learn and to see what works and what breaks.<p>I’d really appreciate feedback on:
– The technical approach (what would you change or simplify?)
– Whether local-first assistants like this have potential vs. cloud-only.
– Advice on making a project like this easier for others to try.<p>I don’t have source ready yet, but I can share more about the architecture and trade-offs in the comments.