1 分•作者: zbikowski•2 个月前
我使用每月 20 美元的 Claude 套餐,主要用于研究、“橡皮鸭调试”以及作为想法的“声音板”(我之前使用 Fable 来做这件事,但现在只能使用 Opus 4.8 或 Sonnet 5),最近我注意到 Opus 4.8 在高上下文情境下的响应质量严重下降。为了尝试解决这个问题,我禁用了记忆系统(现在标记为“遗留”功能,尽管据我所知并没有替代品)。 禁用此设置后,尽管每次都需要输入必要的上下文来继续任务,这有些繁琐,但我注意到响应质量和准确性有了显著的提高——我是那些在 Opus 4.7 发布后抱怨过的人之一,我的理论是,为了增加记忆上下文而进行了一些更改,结果导致实际响应质量下降。总的来说,我怀疑最先进的思考模型的“高上下文”能力是否被夸大了。 作为简短的轶事,我曾进行一项研究任务,输入了 30 多个提示。切换到一个新的聊天,并将讨论的要点浓缩成一个单一的新提示,其结果优于继续在之前的聊天中进行提示,尽管(或者我可以说,正是因为)之前的对话在主题上拥有丰富的上下文。 附注:我希望“项目”和“聊天”的记忆是分开的设置。禁用记忆会增强聊天的能力,但会严重削弱项目的能力,因为它禁用了项目的内部记忆,导致模型每次要求引用文件时都要费力地查找。我想一个临时的解决方案就是为每个任务创建一个项目,但这似乎很繁琐。 这是一个已知现象吗?最近的更改是否加剧了这种情况?任何想法和建议都将不胜感激。谢谢!
35 分•作者: adam_rida•2 个月前
我一直在构建 Echo(<a href="https://echo.tracerml.ai/" rel="nofollow">https://echo.tracerml.ai/</a>),这是一个实验性项目,旨在从一组开源模型中构建一个 AI 系统,而不是选择一个单一模型并将其用于所有任务。 它始于一个简单的实验。我选取了一组模型,包括 GLM-5.2、Kimi K2.7 等,并在相同的评估上运行它们。然后,我测量了如果对于每个问题,你事先知道哪些模型会很有用以及如何组合它们的输出来进行处理,会发生什么情况。 那个假设的系统比池中的任何单个模型都表现得好得多。当然,这并不是一个你可以实际部署的系统,因为它依赖于在看到结果后才知道哪些决策是好的。Echo 是我试图在不事先了解信息的情况下,恢复一部分这种优势的尝试。 对于每个请求,Echo 会决定分配多少计算资源,哪些模型应该参与,以及如何组合它们的工作。有些提示可能只需要相对较少的推理,而有些则受益于多个模型处理问题的不同部分。 在构建它的过程中,令我惊讶的一点是模型之间的互补性。一个整体上明显较弱的模型,在特定问题上或作为组合的一部分仍然可能非常有用。 在我第一次评估混合时,Echo 的表现一直优于其模型池中的最佳单个模型。它还达到了与 Fable 大致相同的聚合结果(我将其用作一个较强的对比系统之一),但推理成本却只有其三分之一左右。 仍然存在一些 Echo 做出错误分配或组合决策的情况。我目前花了很多时间来理解这些失败,以及测试在编码和代理任务上这种方法是否仍然有效,因为在这些任务上衡量每个决策的质量变得更加困难。 我构建了一个聊天界面(echo.tracerml.ai)和一个兼容 OpenAI 的 API(<a href="https://echo.tracerml.ai/docs/api" rel="nofollow">https://echo.tracerml.ai/docs/api</a>),以便系统可以在评估设置之外进行测试。 这是一个关于它如何工作的简短/高层视频:<a href="https://www.youtube.com/watch?v=lJFJSvOdXhg" rel="nofollow">https://www.youtube.com/watch?v=lJFJSvOdXhg</a> 我在这里写下了评估方法、单个模型结果、成本和当前限制:<a href="https://echo.tracerml.ai/eval" rel="nofollow">https://echo.tracerml.ai/eval</a> 我非常希望你能尝试一下!特别是如果你遇到任何奇怪的失败案例或分配看起来不直观的地方。
3 分•作者: mistakevin•2 个月前
大家好,HN。这是我过去六个月来基于开源的 Open Notebook 平台 (<a href="https:&#x2F;&#x2F;github.com&#x2F;lfnovo&#x2F;open-notebook" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;lfnovo&#x2F;open-notebook</a>) 构建的一个个人副项目。 Notebooker 可以保存你那些本会丢失在标签页和书签里的内容——链接、PDF、音频、视频——并让它们在以后变得有用:你可以与笔记本聊天并获得引用了确切来源的答案,将阅读清单变成播客节目(私有 RSS 订阅源,可在任何播放器中播放),或者根据你自己的来源生成学习材料。 我最喜欢的部分是一个用于创建类型的插件引擎——抽认卡、图表、信息图、思维导图、教科书、论文、幻灯片、时间线、维基百科都各自是插件,并且可以在不修改核心代码的情况下添加新插件。我所有在 open-notebook 之上构建的内容,要么已经作为 PR 提交到了上游,要么在 <a href="https:&#x2F;&#x2F;github.com&#x2F;Notebooker-ai" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;Notebooker-ai</a> 上开源了。 这个社区可能会关心的决策: * 自带 AI 密钥(OpenAI、Anthropic、本地/OpenAI 兼容的端点)或使用内置默认值。我喜欢测试 Cloudflare Worker AI 模型。你保存的任何内容都不会用于训练。你可以部署自己的 OpenAI 兼容端点来玩,地址是 <a href="https:&#x2F;&#x2F;open.notebooker.ai" rel="nofollow">https:&#x2F;&#x2F;open.notebooker.ai</a>。 * 如果你希望文件保存在你控制的存储桶中,可以自带 S3 兼容存储(R2、Spaces、AWS)。 * 双向 Webhook——任何可以 POST JSON 的服务都可以触发一个工作流,工作流也可以 POST 到任何地方。Notebook 还可以处理传入的 RSS 订阅源并生成自己的订阅源。 * 导出所有内容或一键删除你的账户。有一个只读的演示笔记本,地址是 <a href="https:&#x2F;&#x2F;app.notebooker.ai&#x2F;demo" rel="nofollow">https:&#x2F;&#x2F;app.notebooker.ai&#x2F;demo</a>。 我很乐意回答任何问题。我预计在发布过程中可能会遇到一些小问题,欢迎报告 bug 或提供反馈。