最新

目前，我搭建了一个基础的管道，用于使用多 GPU 进行 LoRA 微调。 使用 Alpaca 数据集的样本运行良好。 数据管道正在开发中。

我观察到 RAG（检索增强生成）浪潮冲击生产环境已经一年多了。<p>但总有些事情让我困扰： 大多数设置仍然感觉像是用希望和向量搜索拼凑起来的、被美化的笔记本。<p>是的，它“能用”——直到你真正需要它的时候。 突然间：不相关的片段、幻觉、浅显的查询改写、没有记忆循环，以及一碰就坏的检索堆栈。<p>我们面临的问题有： • 管道与用户实际想问的问题不符， • 检索更像搜索引擎，而不是推理辅助， • 评估脆弱（因为“正确的上下文”≠“正确的答案”）， • 并且没有人确定哪里是事实依据的终点，哪里是幻觉的起点。<p>当然，你“可以”让它工作——如果你愿意用胶带粘合每个组件，并 24/7 全天候地照看系统。<p>所以我不得不问： RAG 仅仅是停留在假装进入生产环境的原型阶段吗？ 还是有人真的构建了一个能够经受住用户混乱和边缘情况考验的设置？<p>很想听听哪些有效，哪些无效，以及你不得不放弃了什么。<p>我没有推销任何东西，只是深陷其中，想和真正交付过产品的人一起进行理智的核查。