2 分•作者: kaushikbokka•8 个月前
RL 生态系统正在走向成熟——验证者正在标准化我们构建和共享环境的方式。然而，随着它的发展，我们需要真正理解 RL 原语的可观测性工具。
在无法了解 rollout 质量、奖励分布或失败模式的情况下运行 RL 实验是在浪费时间。
Monitor 提供实时跟踪、逐个示例检查和编程访问——查看运行期间发生的事情，并在之后调试出错的地方。
RL 可观测性的未来可能看起来像这样：
你正在与你的模型一起工作，通过在不同点调整组件来生成环境的多个版本，就像使用 git worktree 进行 RL 实验一样。