2 分•作者: helain•18 天前
你正在生产环境中运行 RAG。然后，AWS 账单就来了。每月 2400 美元，每天 50 次查询。每次查询 48 美元。
我们为企业客户构建了一个 RAG 系统，并意识到大多数生产 RAG 都是优化灾难。文献痴迷于准确性，却完全忽略了单位经济效益。
三大成本构成
向量数据库（占账单的 40-50%）
标准的 RAG 管道对每个问题进行 3-5 次不必要的数据库查询。我们做了 5 次往返，而实际上只需要 1.5 次。
LLM API（占账单的 30-40%）
标准的 RAG 将 8-15k 个 token 泵入 LLM。这比必要的多了 5-10 倍。我们发现：超过 3,000 个 token 的上下文，准确性就会停滞不前。超出这个范围的都是噪音和成本。
基础设施（占账单的 15-25%）
向量数据库闲置、监控开销、不必要的负载均衡。
真正起作用的是什么
Token 感知上下文（节省 35%）
基于预算的组装，在您使用了足够的 token 后停止。之前：12k token/查询。之后：3.2k token。准确性相同。
python
def _build_context(self, results, settings):
max_tokens = settings.get("max_context_tokens", 2000)
current_tokens = 0
for result in results:
tokens = self.llm.count_tokens(result)
if current_tokens + tokens <= max_tokens:
current_tokens += tokens
else:
break
混合重排序（节省 25%）
70% 语义 + 30% 关键词评分。更好的排名意味着需要的块更少。前 20 → 前 8 检索，同时保持质量。
嵌入缓存（节省 20%）
工作区隔离的缓存，7 天 TTL。我们看到日内命中率为 45-60%。
python
async def set_embedding(self, text, embedding, workspace_id=None):
key = f"embedding:ws_{workspace_id}:{hash(text)}"
await redis.setex(key, 604800, json.dumps(embedding))
批量嵌入（节省 15%）
批量 API 定价每 token 便宜 30-40%。同时处理 50 个文本，而不是单独处理