Hermit-AI – 一款离线、注重隐私的 RAG 聊天机器人，适用于 ZIM 文件
1 分•作者: ImDelivered•6 个月前
与整个维基百科资料库（以及您自己的文档）聊天，而无需任何数据离开您的机器。
它有什么不同？ 标准的 RAG（检索增强生成）模型经常选择错误的文本块，或者被相似的文章搞混。 Hermit 使用多关节架构：
实体提取：在搜索之前，它会理解您正在询问谁或什么。
JIT 索引：它为每个查询动态地将仅相关的文章索引到临时的 FAISS 索引中。
验证门：一个最终的关节将前提与源文本进行验证，以消除幻觉。
它通过 llama-cpp-python 在 GGUF 模型上运行，并支持任何 ZIM 文件 (Kiwix)。
了解更多：[https://github.com/0nspaceshipearth/Hermit-AI] 我很乐意听取您对多关节管道方法的看法！
查看原文
chat with the entire Wikipedia library (and your own docs) without a single bit of data leaving my machine.<p>What makes it different? Standard RAG often picks the wrong chunks or gets confused by similar articles. Hermit uses a Multi-Joint Architecture:<p>Entity Extraction: It understands who or what you're asking about before searching.
JIT Indexing: It dynamically indexes only the relevant articles into an ephemeral FAISS index for every query.
Verification Gate: A final joint verifies the premise against the source text to kill hallucinations.
It runs on GGUF models via llama-cpp-python and supports any ZIM file (Kiwix).<p>Check it out: [https://github.com/0nspaceshipearth/Hermit-AI] I'd love to hear your thoughts on the multi-joint pipeline approach!