在最难的人工智能记忆基准测试（BEAM，1000万 token）上取得 SOTA（State-of-the-Art，当前最佳水平），且模型更小。
2 分•作者: johnnymakes•12 天前
大家好，我是 Exabase 的创始人 Johnny。我们刚刚在 BEAM 上取得了迄今为止最高的报告分数，BEAM 是最难的人工智能记忆基准测试，覆盖了高达 1000 万 token 的所有规模。我们还使用 Gemini 3 Flash 进行了评估，而之前所有领先者都依赖于更大规模的模型（Gemini 3 Pro）。
在 1000 万 token 的规模下，其大小远远超过了任何模型的上下文窗口，因此上下文填充不是一个选项（而且即使是这样，在不降级的情况下，也只能有效利用大约一半的大窗口）。要获得好成绩的唯一方法是拥有真正起作用的检索能力。
我们的系统 (M-1) 在 100K 规模下得分 76.9%，在 1M 规模下得分 75.0%，在 10M 规模下得分 68.0%。之前的领先者是 Hindsight（分别为 73.4%、73.9%、64.1%）和 Honcho（分别为 63.0%、63.1%、40.6%），它们都使用了 Gemini 3 Pro，而我们使用的是 Flash。
我们发现，随着规模的增大，竞争差距也在扩大：在 100K 规模下领先 Hindsight 3.5 个百分点，在 10M 规模下领先 3.9 个百分点。与 Honcho 的差距从 13.9 个百分点扩大到 27.4 个百分点。随着语料库的增大，它更能区分有效的检索能力与蛮力/模型能力。
M-1 在每次查询时消耗的 token 量也比次优系统少约 20%。
关于 BEAM 基准测试：
BEAM 测试了十种记忆能力，包括其他基准测试未涵盖的一些能力：矛盾解决、事件排序和指令遵循。1000 万 token 的规模大致相当于一年内与 LLM 进行的长时间日常对话。
当然，我们的系统离完美还有很长的路要走，在某些类别（偏好遵循、指令遵循、摘要、弃权）方面表现出色，即使在 1000 万 token 的规模下，这些类别也一直保持在 90% 以上。
在其他类别中，我们的系统也显示出弱点：例如，多会话推理：在 100K 规模下为 44.7%，在 10M 规模下下降到 9.6%。尽管这一挑战似乎是这个规模下所有记忆系统的普遍问题，而非 M-1 特有。我们将继续努力解决这个问题。
方法论：
我们分叉了 Hindsight 的开源基准测试脚本，替换了检索层，并使用了 runner 的提示结构，并进行了少量调整以用于生产环境。完整的 metodology、所有三个规模的结果 JSON 以及提示生成器都链接在论文中（论文链接如下）。
结合我们的 LongMemEval 结果（96.4%），M-1 现在是唯一一个在从 11.5 万到 1000 万 token 的所有规模下，在两个主要记忆基准测试中都保持 SOTA 的系统。
研究论文：https://exabase.io/research/exabase-achieves-state-of-the-art-on-beam-benchmark
很乐意讨论架构、基准测试、规模挑战等。
查看原文
Hey HN. I'm Johnny, founder of Exabase. We just hit the highest reported score on BEAM, the hardest AI memory benchmark, at every scale up to 10 million tokens. We also ran our evaluation using Gemini 3 Flash, when all previous leaders depended on a much larger model (Gemini 3 Pro).<p>At 10M tokens, the scale is vastly larger than any model's context window, so context stuffing isn't an option (aside from the fact that only about half of a large window can be effectively utilised without degradation). The only way to score well is recall that fundamentally works.<p>Our system (M-1) scored 76.9% at 100K, 75.0% at 1M, and 68.0% at 10M. Previous leaders were Hindsight (73.4%, 73.9%, 64.1%) and Honcho (63.0%, 63.1%, 40.6%), both using Gemini 3 Pro, while we used Flash.<p>We saw the competitive gap get wider at scale: 3.5 points ahead of Hindsight at 100K, 3.9 at 10M. The gap with Honcho goes from 13.9 to 27.4 points. As the corpus gets bigger, it filters out effective recall vs. brute-forcing / model capability.<p>M-1 also consumed about 20% fewer tokens per query than the next best system.<p>About the BEAM benchmark:
BEAM tests ten memory abilities including some that other benchmarks don't cover: contradiction resolution, event ordering, and instruction following. The 10M token scale is vaguely equivalent to a year of long daily chats with an LLM.<p>Of course our system is still far from perfect, with strength in some categories (preference following, instruction following, summarization, abstention) all consistently above 90%, even at 10M token scale.<p>And our system shows weakness in others: for example, multi-session reasoning: 44.7% at 100K, collapsing to 9.6% at 10M. Although that challenge seems to be a general problem across memory systems at this scale, not M-1 specific. Something we'll continue to work on.<p>Methodology:
We forked Hindsight's open-source benchmarking script, replaced the retrieval layer, and used the runner's prompt structure with minor adjustments for production use. Full methodology, results JSON for all three scales, and the prompt generator are linked in the paper (paper linked below).<p>Combined with our LongMemEval result (96.4%), M-1 is now the only system to hold SOTA across both major memory benchmarks at every scale, from 115K to 10M tokens.<p>Research paper: https://exabase.io/research/exabase-achieves-state-of-the-art-on-beam-benchmark<p>Happy to discuss architecture, the benchmark, scale challenges etc.