5 分•作者: jarodrh•3 个月前
今年我开始大力投入人工智能,因为我想更自主地完成更多工作,但随后我的 token 使用量急剧增加,以至于我的每周配额在周内就会用完,有时甚至在周初的几天内就用完了。 我意识到我必须采取措施,否则就得将花费翻倍。于是我决定开始跟踪我每种任务类型的成本。这显示出我的大部分花费都用在了搜索/扫描或像侦察任务这样简单的事情上。 然后我决定将其开发成一个简单的命令行工具,可以在本地读取你的 OpenAI 风格日志,分析成本并与其他模型进行比较,然后告诉你通过切换到更便宜的模型可以节省多少钱。 当你运行 `analyze` 时,你会得到一个基于 LiteLLM 定价的离线估算,并受 LMArena 层级限制。大致的节省范围来自 RouteLLM 发表的研究;但你可以通过两个命令自行确认——`--measure`(并排显示提示-响应输出)和 `--judge`(一个被选定的模型进行比较)。这些命令会将日志中的一部分提示发送给候选模型——无论是默认选择还是你指定的模型。这次调用直接面向模型提供商(绝不会经过我),就像任何正常的 LLM 调用一样,响应会被显示并判断为更好、更差或持平。 它故意做得小巧,因为我有时倾向于过度复杂化/思考问题:`analyze` + `capture` + 几个命令,完成三项工作。成本、质量可见性、路由推荐。 没有任何内容被托管。`capture` 是你本地机器上一个可选的本地代理,你的数据路径中没有任何端点。你可以通过检查源代码来确认这一点。 我包含了一个演示,你可以查看输出。它有一个合成的 56k 调用日志(相当于一个月的使用量),显示了成本如何从每月 549.46 美元降至 343.91 美元。节省了 37.4%。 试试看: ``` uvx frugon analyze --demo ``` 或者 ``` uv tool install frugon ``` 然后将其指向你自己的日志。 所有反馈都欢迎,尤其是关于路由/质量逻辑的,或者其他任何方面,无论好坏。
1 分•作者: Haldt•3 个月前
在过去的几个月里,我一直在实现一个我长久以来的想法。当时,大型语言模型(LLM)并不流行,也并不普及,因此要构建我现在能够构建的东西——一个拥有不同形式智能的鲜活世界——是相当不现实的。在这个世界里,这些智能体将通过它们的基本需求、个性以及它们一生中所经历的事件来找到自己的道路和意义。
1 分•作者: animator2024•3 个月前
您好,我正在攻读硕士学位,拥有两年数据分析师经验,熟练使用Excel、Tableau、Looker Studio、机器学习等工具。我正在寻找兼职项目,请发送邮件至:adhilbinmujeeb@gmail.com