最新

嘿，HN， 我一直在研究如何加速检索管道，最终构建了一个我称之为 PyNIFE（近乎免推理的嵌入）的东西。 这个想法很简单：训练一个静态嵌入模型，使其与更大的“教师”模型完全对齐，这样你就可以几乎完全跳过昂贵的推理。在实践中，这意味着在 CPU 上生成嵌入的速度提高了 400-900 倍，同时仍然使用相同的向量索引，并与你现有的设置保持兼容。 你甚至可以混合使用：在需要准确性时使用原始模型，而 PyNIFE 用于超快速查找或代理循环。 目前还处于早期阶段，我非常希望收到反馈，特别是关于它可能在哪里失效、你会在哪些类型的工作负载上测试它，以及关于更好的评估或可视化的任何想法。 代码库：<a href="https://github.com/stephantul/pynife" rel="nofollow">https://github.com/stephantul/pynife</a>