HackerNews中文版

为了让自主智能体缓存生效，大语言模型提供商会强制框架将所有工具都添加到缓存提示中。这就是为什么我无法在自己的自主智能体框架中正确使用缓存的主要原因，因为我的框架中的工具集会根据目标而变化。这会混淆大多数基础模型，无论它们怎么说不会，我的观察都与此相悖。你们的观察呢？

查看原文

To make agentic cache work, LLM providers force frameworks to add all tools into the cached prompt. This is the main reason why I cannot properly use cache in my own agentic framework, where the set of tools changes in function of objectives. It confuses most base models, and however many times they say it doesn't my observations contradict this. How about yours?

对一个 agent 的所有工具都强制使用缓存是适得其反的。