1 分•作者: diwank•7 个月前
嘿,Hacker News!在花费了无数个夜晚调试不稳定的 AI 测试后,我开发了 SteadyText。这是一个简单的 Python 库,用于确定性 LLM 生成和嵌入。<p>我们将其用于生产环境,包括:<p><pre><code> - 测试我们的 AI 功能(3 个月内零错误)
- 需要一致输出的 CLI 工具
- 可复现的文档示例
</code></pre>
它不适用于创意任务——这专门用于需要 AI 变得无聊且可预测的场景。可以把它想象成 ChatGPT 的反面。最酷的部分是什么?它包含一个 Postgres 扩展。现在你可以这样做:<p><pre><code> SELECT steadytext_generate('explain this query: ...');
</code></pre>
它将始终返回相同的解释。:)<p>它是如何工作的:<p><pre><code> 1. 贪婪解码 - 始终选择概率最高的 token(无随机性)
2. 8 位量化 - 跨所有平台使用相同的数值
</code></pre>