最新

大家好，我是 Cactus 的 Henry。我们开源了 Needle，一个拥有 2600 万参数的函数调用（工具使用）模型。它在消费级设备上的预填充速度为 6000 tokens/秒，解码速度为 1200 tokens/秒。 我们一直对构建能在预算有限的手机上运行的智能体模型所做的努力甚少感到沮丧，因此我们进行了调查，得出了一个观察结果：智能体体验建立在工具调用的基础上，而大型模型对此来说是过度的。工具调用本质上是检索和组装（将查询与工具名称匹配，提取参数值，输出 JSON），而不是推理。交叉注意力是实现这一目标正确的原始方法，而 FFN（前馈网络）参数在这种规模下是浪费的。 简单注意力网络：整个模型只有注意力和门控机制，没有任何 MLP（多层感知器）。Needle 是一个针对消费级设备（手机、手表、眼镜等）的单次函数调用的实验性尝试。 训练： * 在 16 个 TPU v6e 上预训练了 2000 亿个 tokens（27 小时） * 在 20 亿个合成的函数调用数据 tokens 上进行后训练（45 分钟） * 数据集通过 Gemini 合成，包含 15 个工具类别（计时器、消息、导航、智能家居等） 你现在就可以在你的 Mac/PC 上测试并微调它：[https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle) 关于架构的完整说明在这里：[https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md](https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md) 我们发现“无 FFN”的发现不仅适用于函数调用，也适用于模型可以访问外部结构化知识的任何任务（RAG，工具使用，检索增强生成）。如果事实在输入中提供，模型就不需要在 FFN 权重中记忆事实。实验结果即将发布。 虽然它在单次函数调用方面优于 FunctionGemma-270M、Qwen-0.6B、Granite-350M、LFM2.5-350M，但这些模型具有更大的范围/容量，并且在对话环境中表现出色。我们鼓励您通过 playground 测试您自己的工具并进行相应的微调。 这是我们关于 Cactus 的更广泛工作的一部分（[https://github.com/cactus-compute/cactus](https://github.com/cactus-compute/cactus)），Cactus 是一个为移动设备、可穿戴设备和定制硬件从头开始构建的推理引擎。我们之前在这里写过关于 Cactus 的文章：[https://news.ycombinator.com/item?id=44524544](https://news.ycombinator.com/item?id=44524544) 所有内容均采用 MIT 许可证。权重：[https://huggingface.co/Cactus-Compute/needle](https://huggingface.co/Cactus-Compute/needle) GitHub：[https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle)

嗨 HN，我们开发了开源的 Claude Cowork，它是一个基于 OpenClaw 插件构建的工具。 它能让你创建与数据源（而非数据集）连接的实时“人工制品”（如 Claude）。（例如：自动获取 Stripe 数据） 其他工具（Paperclip、Multica）侧重于任务管理，但我们的愿景是构建一个界面，让你感觉像在使用你已经喜欢的 SaaS 工具。 它是开源的。非常欢迎提供反馈。