HN 提问:在切换大型语言模型以节省 token 时,你们是如何管理上下文丢失的?

1作者: nehadangwal4 天前
在使用模型上下文管理时,我遇到了一些困难。在免费或较低级别的 API 套餐中,当你在来回传递对话历史时,那些令牌限制会非常快地消失。
查看原文
I'm hitting a wall with model context management. On free or lower-tier API plans, those token limits vanish incredibly fast when you're passing back-and-forth conversation history.