最新

在代理线程中包含动态上下文时，我发现缓存利用率不高。经过大量实验，我找到了一种有效的模式，它在支持动态上下文的同时，最大限度地减少了长期会话历史的修改频率。该模式提供了灵活的钩子，可以在将消息迁移到长期历史时进行截断或总结工具输出等操作。尽管包含了大量的动态用户上下文，但我发现我的代理缓存命中率超过了 90%。 代理提示策略多种多样，我很想了解这个库在哪些方面表现良好，以及哪些模式不太适合当前 API！

我对于分发 Java 应用的沮丧情绪并非最近才出现。 我记得在 2000 年代就实现了我第一个网络 JAR 下载，因为我需要类似 Applet 的功能支持，同时又要拥有桌面应用的完全控制权。 多年过去了，问题依然如故。Java Web Start 并未真正普及，在我的项目中，我唯一能用的方法就是那些臃肿的 fat JAR，包括（对我而言）更丑陋的 Spring Boot 打包，它改变了应用程序的类加载行为，从而随着时间的推移给我带来了一些意料之外的麻烦。 因此，Nuts 的诞生实际上是 9 年前针对这种沮丧情绪的回应，但现在我认为它已经足够成熟（已在生产环境中使用）可以分享了，而且我非常渴望能得到各位贡献者的建议和帮助。

上周四，Deepmind 发布了 Magenta Realtime 2，一个开源的音乐生成模型。他们表示该模型可以在 Mac 上运行，但不能在 iPhone 上运行。 作为一个“代码狂热者”和曾经“烧毁过 iPhone”的人（链接在文末），我将此视为一项个人挑战，并将其作为我的周末项目。 周六，我成功地在一台 2020 年的 iPhone 12 Pro 上让它连续运行了 10 分钟，既没有烧毁手机，也没有——令人惊讶地——触及 GPU。 怎么做到的？我将模型分割成 5 个部分，并让它们分别在 Apple 片上系统 (SoC) 的不同部分运行。 我过去的经验告诉我，如果能有效利用，iPhone 的 NPU（神经网络处理单元）非常强大且省电。如果你需要在没有风扇的设备上进行长时间的持续实时生成，你必须使用神经网络引擎，否则设备就会过热损坏。 参见：https://accelerateordie.com/p/we-melted-iphones-for-science Apple Neural Engine 有很多限制，最主要的是它只接受固定形状的输入，并且只支持某些架构——这就是我将模型分割成块的原因。 但它奏效了！而且我没有手动编写一行代码。在我经营风险投资支持的公司时，我需要一小队脾气暴躁的老派工程师才能完成这项工作，而且需要 2-6 周的时间。现在我可以满足自己的技术癖好，自己完成这些事情了。 下一步：我正在开发一款 iPhone 应用，该应用将连接你的心率、运动数据、位置等信息，为你的人生实时生成配乐。 真是个令人兴奋的时代！