2 分•作者: ghita_•7 个月前
Hello HN,
我是 Ghita,ZeroEntropy(YC W25)的联合创始人。我们为 RAG 和 AI 智能体构建高精度搜索基础设施。
我们刚刚发布了两个新的、最先进的重排序器 zerank-1 和 zerank-1-small。其中一个完全开源,采用 Apache 2.0 许可证。
我们使用一种新颖的、受 Elo 评分启发的流程训练了这些模型,我们在附带的博客中详细描述了该流程。简而言之,以下是训练步骤的概述:
* 使用一组 LLM 收集文档对之间的软偏好。
* 拟合一个 Elo 风格的评分系统(Bradley-Terry),将成对比较转化为每个文档的绝对评分。
* 使用偏差校正步骤(使用跨查询比较建模并使用 MLE 求解)来规范化跨查询的相关性评分。
您可以通过我们的 API(<https://docs.zeroentropy.dev/models>)或 HuggingFace(<https://huggingface.co/zeroentropy/zerank-1-small>)试用这些模型。
我们非常欢迎社区对这些模型和训练方法的反馈。一份完整的技术报告也即将发布。
谢谢!