最新

一时兴起做的，因为我觉得在这个大家都说打字/写代码要过时的时代，做一个打字/写代码游戏应该会很有趣。希望大家玩得开心 :p

大家好，我们是 Alex 和 Tyler，Voker.ai（<a href="https://voker.ai/">https://voker.ai/</a>）的联合创始人，Voker.ai 是一个面向 AI 产品团队的智能体分析平台。Voker 能够让你全面了解用户对你的智能体提出了什么要求，以及你的智能体是否满足了这些要求，而无需深入研究日志。我们的主要产品是一个轻量级的 SDK，它与 LLM 栈无关，专为智能体产品而设计。（<a href="https://app.voker.ai/docs">https://app.voker.ai/docs</a>） 智能体工程师和 AI 产品团队无法充分了解生产环境中智能体的性能，这会导致糟糕的用户体验、用户流失，并浪费数百小时的时间进行抽查，以查找和调试智能体配置问题。 演示：<a href="https://www.tella.tv/video/vid_cmoukcsk1000i07jgb4j65u67/view" rel="nofollow">https://www.tella.tv/video/vid_cmoukcsk1000i07jgb4j65u67/vie...</a> 我们最近对 YC 创始人进行了一项调查，超过 90% 的受访者表示，他们知道智能体在生产环境中未能满足用户需求的方式，就是收到客户的投诉。他们会推送一个提示更改，希望它能解决问题，并且不会破坏其他地方的功能，然后这个循环就会重复。 我们看到大量可观测性和评估产品涌现出来，试图解决这些问题，但我们仍然觉得智能体监控堆栈缺少一些东西。可观测性对于单个追踪调试很有用，但只有工程师才能访问。评估对于测试已知问题很有用，但无法提供团队意想不到的趋势见解，因此工程师们总是处于追赶状态。传统的的产品分析工具可以很好地跟踪产品界面的点击量和页面浏览量，但它们并不是为智能体产品从头开始构建的。了解用户希望智能体实现什么，以及智能体是否交付了结果，需要特定的对话智能/非结构化数据处理技术。 我们提出了智能体分析的基本要素，即意图、纠正和解决，来描述几乎所有对话智能体的共同点：用户总是带着一个意图来找智能体，用户可能需要在获得意图解决的过程中纠正智能体，并且希望用户的每个意图最终都能被智能体解决。 Voker 通过自动注释单个对话并提取用户意图和纠正来处理 LLM 调用。Voker 采用这些数据，并使用 LLM 和分层文本分类来创建动态类别，从而提供更高级别的见解，这样你就不必阅读单个对话，就能知道用户的主要使用模式是什么。 我们看到的最常见的替代解决方案是将可观测性日志上传到 Claude 或 ChatGPT，并要求提供摘要见解。这存在一些问题——主要是 LLM 不擅长数学或数据科学，因此你无法获得准确或一致的统计数据。LLM 很有可能过度拟合某些见解，而对其他见解拟合不足。LLM 无法以编程方式读取和分类每个单独的会话或交互。这就是我们没有将 LLM 用于任何核心数据工程（处理事件、计算统计数据）的原因，因此我们生成的分析结果是一致、可重现且准确的。 我们有一个公开可用的、轻量级的 SDK，它用 Python 和 Typescript 封装了对 OpenAI、Anthropic 和 Gemini 的 LLM 调用。Voker 负责数据工程，将原始数据转化为可用的分析基本要素和更高级别的见解。 免费套餐：每月 2,000 个事件，需要注册邮箱。付费套餐起价为每月 80 美元，提供 30 天免费试用。 我们很想听听你目前是如何检测趋势的，如果你尝试了 Voker，请告诉我们你认为我们的分析中哪些部分有价值，以及哪些部分仍然感觉缺失。感谢你的阅读，我们期待你在评论中提出你的想法！