面向AI开发者和AI初创企业
1 分•作者: CostsentryAI•5 个月前
我目前同时运行着几个项目，这些项目在 OpenAI、Anthropic 和 AWS Bedrock 上的 API 费用总计每月超过 2000 美元。我最初每月进行一次审计，后来发现我超支了大约 60%。到目前为止，最大的成果包括：
* **模型路由：** 在最终输出质量没有损失的情况下，成本降低了 55%。
* **Prompt 压缩：** 在调用次数最多的端点上节省了 70% 的费用。
* **请求去重：** 在重试时消除了 15% 的无效调用。
* **缓存语义相似的查询：** 额外节省了 20-30% 的费用。
但我感觉我仍然遗漏了一些东西，尤其是在基础设施方面（GPU 实例大小调整、Spot 实例与按需实例等）。所以，其他人都在使用什么工具或方法？有人在系统地做这件事吗，还是大家都只是凭感觉看仪表盘？请告诉我！
查看原文
Running several projects that collectively hit $2k+/mo in API costs across OpenAI, Anthropic,& AWS Bedrock. Started doing monthly audits then found I was overspending by about 60%. Biggest wins so far: Model routing cut costs 55% with no quality loss on final output Prompt compression saved 70% on my most called endpoint Request deduplication on retries eliminated 15% of wasted calls Caching semantically similar queries knocked out another 20-30%
But I feel like I'm still missing things, especially on the infrastructure side (GPU instance sizing, spot vs. on-demand, etc). So what tools or approaches are others using? Is anyone doing this systematically or is everyone just eyeballing their dashboards? Let me know!