最新

大家好，我是 Cactus 的 Henry。我们开源了 Needle，一个拥有 2600 万参数的函数调用（工具使用）模型。它在消费级设备上的预填充速度为 6000 tokens/秒，解码速度为 1200 tokens/秒。 我们一直对构建能在预算有限的手机上运行的智能体模型所做的努力甚少感到沮丧，因此我们进行了调查，得出了一个观察结果：智能体体验建立在工具调用的基础上，而大型模型对此来说是过度的。工具调用本质上是检索和组装（将查询与工具名称匹配，提取参数值，输出 JSON），而不是推理。交叉注意力是实现这一目标正确的原始方法，而 FFN（前馈网络）参数在这种规模下是浪费的。 简单注意力网络：整个模型只有注意力和门控机制，没有任何 MLP（多层感知器）。Needle 是一个针对消费级设备（手机、手表、眼镜等）的单次函数调用的实验性尝试。 训练： * 在 16 个 TPU v6e 上预训练了 2000 亿个 tokens（27 小时） * 在 20 亿个合成的函数调用数据 tokens 上进行后训练（45 分钟） * 数据集通过 Gemini 合成，包含 15 个工具类别（计时器、消息、导航、智能家居等） 你现在就可以在你的 Mac/PC 上测试并微调它：[https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle) 关于架构的完整说明在这里：[https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md](https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md) 我们发现“无 FFN”的发现不仅适用于函数调用，也适用于模型可以访问外部结构化知识的任何任务（RAG，工具使用，检索增强生成）。如果事实在输入中提供，模型就不需要在 FFN 权重中记忆事实。实验结果即将发布。 虽然它在单次函数调用方面优于 FunctionGemma-270M、Qwen-0.6B、Granite-350M、LFM2.5-350M，但这些模型具有更大的范围/容量，并且在对话环境中表现出色。我们鼓励您通过 playground 测试您自己的工具并进行相应的微调。 这是我们关于 Cactus 的更广泛工作的一部分（[https://github.com/cactus-compute/cactus](https://github.com/cactus-compute/cactus)），Cactus 是一个为移动设备、可穿戴设备和定制硬件从头开始构建的推理引擎。我们之前在这里写过关于 Cactus 的文章：[https://news.ycombinator.com/item?id=44524544](https://news.ycombinator.com/item?id=44524544) 所有内容均采用 MIT 许可证。权重：[https://huggingface.co/Cactus-Compute/needle](https://huggingface.co/Cactus-Compute/needle) GitHub：[https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle)

嗨 HN，我们开发了开源的 Claude Cowork，它是一个基于 OpenClaw 插件构建的工具。 它能让你创建与数据源（而非数据集）连接的实时“人工制品”（如 Claude）。（例如：自动获取 Stripe 数据） 其他工具（Paperclip、Multica）侧重于任务管理，但我们的愿景是构建一个界面，让你感觉像在使用你已经喜欢的 SaaS 工具。 它是开源的。非常欢迎提供反馈。

大家好，我们是 Sai 和 Aayush，正在构建 Hypercubic (<a href="https://www.hypercubic.ai/">https://www.hypercubic.ai/</a>)，致力于将 AI 工具引入大型机和 COBOL 世界。（我们去年发布了 Launch HN：<a href="https://news.ycombinator.com/item?id=45877517">https://news.ycombinator.com/item?id=45877517</a>。）今天，我们推出了 Hopper，一个用于大型机的智能体开发环境。<p>您可以在这里下载：<a href="https://www.hypercubic.ai/hopper">https://www.hypercubic.ai/hopper</a>，您也可以申请访问权限，并立即获得一个大型机用户帐户来试用。<p>还有一个视频演示，请访问 <a href="https://www.youtube.com/watch?v=q81L5DcfBvE" rel="nofollow">https://www.youtube.com/watch?v=q81L5DcfBvE</a>。<p>令人惊讶的是，大型机仍然运行着大量的关键基础设施：银行业务、支付、保险、航空公司、政府项目、物流以及大型机构的核心运营。许多这些系统已经有几十年历史了，但它们继续处理着大量的交易，因为它们可靠、安全，并且深入嵌入到业务运营中。<p>其中很多软件是用 COBOL 编写的，并在 IBM z/OS 上运行。开发环境与现代云或 Unix 风格的开发环境非常不同。开发人员通常通过 TN3270 终端会话、ISPF 面板、分区数据集、JCL、JES 队列、假脱机输出、返回码、VSAM 文件、CICS 事务和特定于商店的约定来进行工作，而不是使用 GitHub、shell 命令、包管理器和 CI 管道。<p>TN3270 是用于与许多 IBM 大型机系统交互的终端接口。ISPF 是开发人员在终端内部使用的菜单和面板系统，用于浏览数据集、编辑源代码、提交作业和检查输出。它功能强大且可靠，但它是为专家级人类设计的，用于浏览屏幕、功能键和固定宽度的流程，而不是 AI 智能体。<p>一个简单的 COBOL 更改可能需要找到正确的源成员、检查副本、找到编译 JCL、提交作业、读取 JES/SYSPRINT 输出、解释条件码、修补固定宽度的源，然后重新提交。<p>其中很多工作都定义得很好，并且具有重复性，非常适合智能体 AI。然而，为了使其正常工作，终端旁边的聊天机器人是不够的。智能体需要在大型机环境中运行。<p>Hopper 结合了三样东西：（1）一个真实的 TN3270 终端，（2）用于数据集、成员、作业和假脱机输出的、了解大型机的面板，以及（3）一个可以跨这些 z/OS 界面操作的 AI 智能体。<p>例如，以下是 Hopper 可以帮助调试的类似内容的一个小版本：<p><pre><code>COBOL: IDENTIFICATION DIVISION. PROGRAM-ID. PAYCALC. DATA DIVISION. WORKING-STORAGE SECTION. 01 CUSTOMER-BALANCE PIC 9(7)V99. PROCEDURE DIVISION. ADD 100.00 TO CUSTOMER-BALNCE DISPLAY &quot;UPDATED BALANCE: &quot; CUSTOMER-BALANCE STOP RUN. JCL: //PAYCOMP JOB (ACCT),'COMPILE',CLASS=A,MSGCLASS=X //COBOL EXEC IGYWCL [//COBOL.SYSIN](https://cobol.sysin/) DD DSN=USER1.APP.COBOL(PAYCALC),DISP=SHR [//LKED.SYSLMOD](https://lked.syslmod/) DD DSN=USER1.APP.LOAD(PAYCALC),DISP=SHR </code></pre> 一个人类会提交这个作业，检查 JES 输出，打开 `SYSPRINT`，找到未定义的 `CUSTOMER-BALNCE`，将其映射回源代码，修补成员，然后重新提交。Hopper 旨在让智能体通过相同的循环自主运行。<p>Hopper 并没有试图用通用的抽象来隐藏大型机，它也不是一个聊天机器人。设计原则很简单：保留大型机环境的保真度，但使其可供 AI 智能体访问。<p>敏感操作需要批准，并且终端始终可见。<p>一旦智能体可以在大型机环境中运行，新的工作流程就成为可能：更快的作业调试、自动化文档、更安全的代码更改、测试生成、迁移规划、流量重放和现代化验证。<p>我们很想听听您的想法！特别是来自任何使用过大型机、COBOL 或进行过遗留企业现代化的人。