2 分•作者: todsacerdoti•大约 2 小时前
返回首页
24小时热榜
2 分•作者: febed•大约 2 小时前
2 分•作者: brendanashworth•大约 2 小时前
2 分•作者: pseudolus•大约 3 小时前
2 分•作者: wslh•大约 4 小时前
2 分•作者: zdw•大约 5 小时前
2 分•作者: mitchbob•大约 5 小时前
2 分•作者: fjfaase•大约 6 小时前
2 分•作者: moneil971•大约 7 小时前
2 分•作者: xinghaohuang•大约 7 小时前
Hi HN,
在构建 RAG 代理时,我注意到很多 token 预算都浪费在了格式化开销上(HTML 标签、JSON 结构、空格)。现有的解决方案感觉太笨重了(通常需要 torch/transformers),所以我编写了这个轻量级、零依赖的库来解决这个问题。
它包括上下文打包、PII(个人身份信息)编辑和工具输出压缩等策略。基准测试表明,它可以节省约 15% 的 token,并且延迟开销可以忽略不计(<0.5ms)。
欢迎提问!
2 分•作者: doener•大约 8 小时前
2 分•作者: austinallegro•大约 8 小时前
2 分•作者: doener•大约 8 小时前
2 分•作者: rolph•大约 8 小时前
2 分•作者: gmays•大约 8 小时前
2 分•作者: c420•大约 9 小时前
2 分•作者: cosenal•大约 9 小时前
2 分•作者: iaroo•大约 10 小时前
2 分•作者: petethomas•大约 10 小时前
2 分•作者: flxb2•大约 10 小时前