1作者: honorable_coder10 个月前
Hey HN! 大家好!我们是Adil、Salman和Jose,我们开发了archgw [1]。archgw是一个智能代理服务器,设计为代理的边缘和AI网关——它原生就能够处理提示,而不仅仅是网络流量。我们做了一些重大改变,所以再次分享这个项目。 简单介绍一下我们构建这个项目的背景。构建AI代理演示很容易,但要创建可用于生产环境的东西,需要做很多重复的、低级别的管道工作,而每个人都在做这些工作。你需要应用安全措施,以确保不安全或无关的请求不会通过。你需要澄清模糊的输入,以避免代理犯错误。你需要根据上下文或任务类型将提示路由到正确的专家代理。你需要编写集成代码,以便快速安全地添加对新LLM的支持。而且,每次有新的框架问世或更新时,你都需要验证或重新实现相同的逻辑——一遍又一遍。 将所有低级别的管道代码放在一个框架中会变得难以管理,更难以更新和扩展。低级别的工作不是业务逻辑。这就是我们构建archgw的原因——一个智能代理服务器,它在入口和出口处理提示,并从单个软件服务提供多种相关功能。它位于你的应用程序运行时之外,因此你可以保持业务逻辑的清晰,并专注于重要的事情。可以把它想象成一个服务网格,但用于AI代理。 在构建archgw之前,团队成员曾在Lyft构建Envoy [2],在AWS构建API网关,在微软研究院研究专门的NLP模型,并在Meta从事安全方面的工作。archgw的诞生源于这样的信念:基于规则的、单用途的工具,用于处理弹性、处理和路由提示的工作,应该转移到代理的专用基础设施层,但建立在经过实战检验的Envoy Proxy基础上。 archgw的智能来自于我们快速的特定任务LLM [3],它可以处理代理路由和移交、安全措施和基于偏好的智能LLM调用等。以下是关于这个开源项目的一些额外细节。archgw是用Rust编写的,请求路径主要有三个部分: * 监听器子系统,处理下游(入口)和上游(出口)请求处理。 * 提示处理程序子系统。这是archgw通过其prompt\_guard钩子来决定传入请求的安全性,并通过其prompt\_target原语来识别将对话转发到哪里。 * 模型服务子系统是托管在archgw中构建的所有轻量级LLM的接口,并提供了一个框架,用于检测这些模型的幻觉等。 我们很喜欢构建这个开源项目,并且我们相信这个基础设施原语将帮助开发人员更快、更安全、更个性化地构建代理,而无需进行所有手动提示工程和系统集成工作。我们希望邀请其他开发人员使用和改进Arch。请试一试,并在[这里](https://discord.com/channels/1292630766827737088/12926307682)或我们的Discord频道 [4]留下反馈。 这里有一个关于该项目实际运行的快速演示 [5]。你可以在[这里](https://docs.archgw.com/)查看我们的公共文档 [6]。我们的模型也可以在[这里](https://huggingface.co/katanemo)找到 [7]。 [1] <https://github.com/katanemo/archgw> [2] <https://www.envoyproxy.io/> [3] <https://huggingface.co/collections/katanemo/arch-function-66> [4] <https://discord.com/channels/1292630766827737088/12926307682> [5] <https://www.youtube.com/watch?v=I4Lbhr-NNXk> [6] <https://docs.archgw.com/> [7] <https://huggingface.co/katanemo>
1作者: omarisbuilding10 个月前
您好, 我开发了一款 iOS 应用,让家长可以为孩子创建个人资料,规划他们的膳食,设置饮食偏好、食谱和午餐盒,将计划导出到日历,并与他人分享时间表链接。当然,还有人工智能辅助膳食规划和食谱推荐。目前,这款应用提供免费和付费两种套餐。最初我开发的是一个 Web 应用,但在收到身边朋友的反馈后,我开发了这款 iOS 应用。非常期待您的反馈。
1作者: hedayet10 个月前
我创建了一个基于 Paul Graham 传奇文章《做无规模效应的事情》的模拟。 欢迎提出任何反馈!
1作者: vrianta10 个月前
嗨,HN 大家好, 过去几个月我一直在默默地构建一些东西,主要是为了解决我在个人项目上遇到的一个痛点。 它叫 AGAI——一个用 Go 语言编写的、虽小但不断增长的 Web 框架。 我喜欢 Go 的简洁性,但当涉及到 Web 开发时,我一直在极简的路由库和过于抽象的框架之间徘徊。我只是想要一些能给我带来以下几点的东西: * 结构,无需繁琐的仪式 * 灵活但不冗长的模板 * 可以存储在 JSON 中或同步到数据库中的简单数据组件 * 一种无需一堆中间件就能运行它的方法 所以我构建了这个。 为什么选择 AGAI? AGAI 为您提供: * 模型驱动开发——定义模型,自动同步模式 * 组件系统——想想“JSON 配置作为数据库记录” * 会话支持——在内存或磁盘上运行 * PHP 风格的模板——是的,真的。它将它们解析成 Go 模板 * CLI 友好:--migrate-model, --start-server, --help 等 它专为那些喜欢掌控但不想为每个新项目都重新造轮子的开发者而构建。 并非要取代 Echo、Fiber 或 Gin——只是为我们这些希望减少黑盒的人提供另一种选择。 还处于早期阶段——但可以使用 目前版本为 v0.2.1。我正在用它来构建一些我自己的小工具和网站。 欢迎 HN 社区对设计决策提出反馈,特别是: * 模型/组件系统 * PHP 风格的模板语法(好主意还是糟糕的怀旧?) * 我缺少什么才能使其在现实世界中发挥作用 GitHub:[https://github.com/vrianta/agai](https://github.com/vrianta/agai) 文档在仓库中(干净且已更新) 感谢您的阅读——很乐意回答问题或听取我哪里完全走偏了的意见。