返回首页

24小时热榜

2作者: xinghaohuang大约 7 小时前
Hi HN, 在构建 RAG 代理时,我注意到很多 token 预算都浪费在了格式化开销上(HTML 标签、JSON 结构、空格)。现有的解决方案感觉太笨重了(通常需要 torch/transformers),所以我编写了这个轻量级、零依赖的库来解决这个问题。 它包括上下文打包、PII(个人身份信息)编辑和工具输出压缩等策略。基准测试表明,它可以节省约 15% 的 token,并且延迟开销可以忽略不计(<0.5ms)。 欢迎提问!