1 分•作者: jruohonen•7 个月前
返回首页
最新
1 分•作者: FireXCore•7 个月前
1 分•作者: oshadha89•7 个月前
嗨,HN!我构建了 Tokuin,一个 Rust CLI 工具,它实现了我在 LLM 项目中反复使用的两个功能:
1. 估算 OpenAI/Gemini/Anthropic 风格模型的提示词 token 数量/成本
2. 针对真实的 LLM 端点运行负载测试,带有进度条、重试和(可选)dry run 功能
它最初只是一个“这个要花多少 token?”的脚本。在最近的版本中,我添加了供应商选择(--provider {openai|openrouter|anthropic|generic}),以及真正的 Anthropic 和“自带端点”客户端,这样我就可以在将真实流量发送到网关之前对其进行压力测试。
试用一下
# 安装
curl -fsSL <a href="https://raw.githubusercontent.com/nooscraft/tokuin/main/install.sh" rel="nofollow">https://raw.githubusercontent.com/nooscraft/tokuin/main/inst...</a> | bash
# dry-run Anthropic
echo "Hello!" | tokuin load-test \
--model claude-3-sonnet \
--provider anthropic \
--runs 5 \
--concurrency 2 \
--dry-run --estimate-cost
# 通用端点冒烟测试
echo "Ping" | tokuin load-test \
--model lambda-1 \
--provider generic \
--endpoint <a href="https://example.com/infer" rel="nofollow">https://example.com/infer</a> \
--runs 10 --concurrency 2
仓库 (MIT/Apache-2.0): <a href="https://github.com/nooscraft/tokuin" rel="nofollow">https://github.com/nooscraft/tokuin</a>
有什么不同之处
1. 供应商感知型 CLI:从模型名称自动检测,但您可以在需要时强制指定。
2. 内置 Anthropic 客户端和一个通用 REST 适配器(只需指向一个端点即可)。
3. 可选的 --dry-run 产生相同的指标,而不会消耗 API 积分。
4. 身份验证保留在环境变量/标志中——没有配置文件或仪表板。
实现说明
1. Rust 2021 + tokio, reqwest, indicatif。
2. 负载模拟器调度请求,跟踪延迟、直方图和成本。
3. Token 估算使用 tiktoken-rs 和一个简单的定价注册表。
我正在寻找的反馈
1. CLI 默认值(超时、重试曲线)对于真实流量是否合理?
2. 通用模式是否应该接受响应提取钩子,以便它适用于更多 JSON 结构?
3. 在 CI 中信任此工具之前,您希望看到哪些负载测试指标?
感谢您的试用——很乐意回答问题或接受功能请求。
2 分•作者: sharpshadow•7 个月前
1 分•作者: zeristor•7 个月前
1 分•作者: transpute•7 个月前
1 分•作者: binning•7 个月前
1 分•作者: jruohonen•7 个月前
1 分•作者: crsn•7 个月前
2 分•作者: zeristor•7 个月前
1 分•作者: makosst•7 个月前
1 分•作者: rockbruno•7 个月前
1 分•作者: walterbell•7 个月前
1 分•作者: rfbabeheer•7 个月前
我刚刚推出了 AppConnectr 的软启动,这是一个非官方的 Apple App Store Connect 的安卓客户端。<p>我开发它的初衷是出于无奈,我现在已经没有 iPhone 或 iPad 了,而且 App Store Connect 网站在移动设备上的体验几乎无法使用。我只是想找一个快速的方法,通过我的安卓手机查看我已发布的 iOS 应用程序的统计数据、构建版本和评论。<p>使用 AppConnectr,您可以:
- 查看应用程序详细信息和审核状态
- 跟踪 TestFlight 构建版本和版本
- 监控销售额和安装量
- 阅读并回复用户评论<p>以下是我正在为未来更新开发的功能:
- 新评论和销售额的推送通知
- 报告请求和下载量
- 访问 Beta 测试人员的反馈<p>如果您是使用安卓的苹果开发者,我很乐意听取您的想法和反馈!
1 分•作者: dsego•7 个月前
2 分•作者: innovalabs•7 个月前
大家好,
在运营一家软件代理公司大约十年后,我决定开发自己的产品——Arahi。
它是一个无需代码的平台,任何人都可以创建和部署代理,这些代理可以在各种工具中处理实际工作——例如研究、内容生成、SEO、潜在客户管理和报告。这些代理可以通过内置的集成与超过2800个不同的应用程序连接并采取行动。
我开发这个平台是为了让自动化更容易被没有时间或技术设置的小团队和独立创始人使用,他们无法手动将所有东西连接起来。
我很乐意听取您对以下方面的反馈:
* 什么样的代理或工作流程会真正有用
* 如何改进界面和构建器体验
* 这是否可以融入您现有的工作流程
您可以在这里试用:https://arahi.ai
欢迎在评论区提出任何技术或产品问题。
1 分•作者: NavinF•7 个月前
1 分•作者: RA2lover•7 个月前
1 分•作者: pretext•7 个月前
2 分•作者: pretext•7 个月前