4 分•作者: franze•3 个月前
返回首页
最新
5 分•作者: jarodrh•3 个月前
今年我开始大力投入人工智能,因为我想更自主地完成更多工作,但随后我的 token 使用量急剧增加,以至于我的每周配额在周内就会用完,有时甚至在周初的几天内就用完了。
我意识到我必须采取措施,否则就得将花费翻倍。于是我决定开始跟踪我每种任务类型的成本。这显示出我的大部分花费都用在了搜索/扫描或像侦察任务这样简单的事情上。
然后我决定将其开发成一个简单的命令行工具,可以在本地读取你的 OpenAI 风格日志,分析成本并与其他模型进行比较,然后告诉你通过切换到更便宜的模型可以节省多少钱。
当你运行 `analyze` 时,你会得到一个基于 LiteLLM 定价的离线估算,并受 LMArena 层级限制。大致的节省范围来自 RouteLLM 发表的研究;但你可以通过两个命令自行确认——`--measure`(并排显示提示-响应输出)和 `--judge`(一个被选定的模型进行比较)。这些命令会将日志中的一部分提示发送给候选模型——无论是默认选择还是你指定的模型。这次调用直接面向模型提供商(绝不会经过我),就像任何正常的 LLM 调用一样,响应会被显示并判断为更好、更差或持平。
它故意做得小巧,因为我有时倾向于过度复杂化/思考问题:`analyze` + `capture` + 几个命令,完成三项工作。成本、质量可见性、路由推荐。
没有任何内容被托管。`capture` 是你本地机器上一个可选的本地代理,你的数据路径中没有任何端点。你可以通过检查源代码来确认这一点。
我包含了一个演示,你可以查看输出。它有一个合成的 56k 调用日志(相当于一个月的使用量),显示了成本如何从每月 549.46 美元降至 343.91 美元。节省了 37.4%。
试试看:
```
uvx frugon analyze --demo
```
或者
```
uv tool install frugon
```
然后将其指向你自己的日志。
所有反馈都欢迎,尤其是关于路由/质量逻辑的,或者其他任何方面,无论好坏。
2 分•作者: PozitivnaMirta•3 个月前
作为一名同性恋者,我发现现有的视频网站的搜索引擎非常糟糕,主要依赖用户对视频的标签和标题。这些标签和标题往往是虚假或
49 分•作者: adulion•3 个月前
1 分•作者: ukd1•3 个月前
1 分•作者: hrasity•3 个月前
最近已从 Cortex-M4 (NXP K64F @ 120MHz) 移植到 Cortex-M7 (STM32H753ZI @ 480MHz)。仍在调试互斥锁 + FPU 交互(LDREX/STREX 与延迟堆叠)。
1 分•作者: HelloUsername•3 个月前
1 分•作者: Haldt•3 个月前
在过去的几个月里,我一直在实现一个我长久以来的想法。当时,大型语言模型(LLM)并不流行,也并不普及,因此要构建我现在能够构建的东西——一个拥有不同形式智能的鲜活世界——是相当不现实的。在这个世界里,这些智能体将通过它们的基本需求、个性以及它们一生中所经历的事件来找到自己的道路和意义。
1 分•作者: korotinm•3 个月前
1 分•作者: odilelof•3 个月前
1 分•作者: Applied_AI•3 个月前
1 分•作者: signa11•3 个月前
1 分•作者: kleiba2•3 个月前
1 分•作者: lovegrenoble•3 个月前
1 分•作者: animator2024•3 个月前
您好,我正在攻读硕士学位,拥有两年数据分析师经验,熟练使用Excel、Tableau、Looker Studio、机器学习等工具。我正在寻找兼职项目,请发送邮件至:adhilbinmujeeb@gmail.com
5 分•作者: pv1337•3 个月前
1 分•作者: geordee•3 个月前
1 分•作者: dexmac221•3 个月前
1 分•作者: Alien1Being•3 个月前
1 分•作者: scionhat•3 个月前