1 分•作者: petethomas•2 个月前
返回首页
最新
1 分•作者: dinosor•2 个月前
1 分•作者: meetpateltech•2 个月前
1 分•作者: InputName•2 个月前
1 分•作者: baruch•2 个月前
1 分•作者: chirau•2 个月前
1 分•作者: bel8•2 个月前
1 分•作者: amitbidlan•2 个月前
3 分•作者: standeven•2 个月前
55 分•作者: neilfrndes•2 个月前
1 分•作者: gmays•2 个月前
1 分•作者: jinqueeny•2 个月前
1 分•作者: derek8bai•2 个月前
1 分•作者: Altrudev•2 个月前
1 分•作者: r0h1n•2 个月前
1 分•作者: chasil•2 个月前
1 分•作者: mmajzoobi•2 个月前
我参与这个项目已经有几年了，最终目标是创造一种无处不在且自然的交互体验，让人与机器互动。长远目标是构建一个完全自主的体验，它能为你驱动用户界面（生成式 UI），并在你使用的任何设备上显示出来。虽然离实现这个目标还有很长的路要走，但我正在为此奠定基础。欢迎大家提问。
2 分•作者: GalaxyNova•2 个月前
1 分•作者: zhoykn•2 个月前
efflora_run DAG 回归测试 2026-05-14 11:30:24
6 分•作者: mayerwin•2 个月前
Hi HN，
我构建了一个实时追踪器，用于可视化旗舰 AI 模型的生命周期和性能变化。
我们都有过这样的体验：一款旗舰模型刚推出时感觉棒极了，但几周后，突然感觉有点不对劲。我想看看这仅仅是一种感觉，还是一个可以衡量的现实，所以我构建了一个仪表盘来追踪 Arena AI 的历史 ELO 评分。
该追踪器没有采用庞大的意大利面条图来展示每个模型变体，而是为每个主要的 AI 实验室绘制一条连续的曲线。它动态追踪其最高评级的旗舰模型随时间的变化，这使得突然的代际飞跃和缓慢的性能衰退更容易被观察到。为了让图表在移动设备上看起来也很美观，我花了很多时间进行迭代。还包括可选的深色模式。
然而，我有一个特定的数据盲点，希望社区能提供一些见解。
Arena AI 主要依赖于测试 API 接口。但我们都知道，消费者聊天 UI 经常会叠加大量的系统提示、安全包装，或者在负载过高时悄悄切换到高度量化的模型以节省算力。API 基准测试并不能完全捕捉到日常 Web 用户所体验到的这种“削弱”。
有人知道是否有任何历史 ELO 或评估数据集，专门抓取或测试来自消费者 Web UI 的输出，而不是原始 API 吗？
我很乐意整合这些数据，以更准确地反映消费者的体验。该项目是开源的（存储库链接在页脚），因此我欢迎任何反馈或指向数据集的指针！