最新

我目前同时运行着几个项目，这些项目在 OpenAI、Anthropic 和 AWS Bedrock 上的 API 费用总计每月超过 2000 美元。我最初每月进行一次审计，后来发现我超支了大约 60%。到目前为止，最大的成果包括： * **模型路由：** 在最终输出质量没有损失的情况下，成本降低了 55%。 * **Prompt 压缩：** 在调用次数最多的端点上节省了 70% 的费用。 * **请求去重：** 在重试时消除了 15% 的无效调用。 * **缓存语义相似的查询：** 额外节省了 20-30% 的费用。 但我感觉我仍然遗漏了一些东西，尤其是在基础设施方面（GPU 实例大小调整、Spot 实例与按需实例等）。所以，其他人都在使用什么工具或方法？有人在系统地做这件事吗，还是大家都只是凭感觉看仪表盘？请告诉我！

随着几乎每隔一周就有新的人工智能模型发布，业界对此议论纷纷，企业内部是如何进行人工智能评估，以确定哪个模型最适合他们的应用场景的呢？