2 分•作者: v_kyba•10 个月前
嗨 HN,
我们是 Volodymyr 和 Volodymyr——两位来自乌克兰的开发者,正在构建 WhiteLightning。它是一个将大型 LLM(Claude 4、Grok 4、通过 OpenRouter 的 GPT-4o)转化为可在任何地方运行的*微型 ONNX 文本分类器*的工具,甚至可以在边缘的无人机上运行。
我们构建这个工具是因为许多开发者需要自定义模型:垃圾邮件过滤器、情感分析、PII 检测或审核工具——但不想处理持续的 API 调用或在生产环境中部署庞大的模型。
WhiteLightning 使用 LLM 生成训练数据,并训练*KB 级学生模型*,这些模型可以在任何语言的边缘设备上运行。您只需用一行描述任务,获取 ONNX 模型,然后在 Python、JS、Rust、Java、Swift、C++ 等本地运行它。
主要特点:
* 一行训练提示
* 导出 ONNX 以用于各种运行时环境
* 模型以 KB 为单位衡量
* 无需 TensorFlow 或 PyTorch
* 支持多语言分类
通过 Docker 试用(Linux/macOS):
```bash
docker run --rm \
-v "$(pwd)":/app/models \
-e OPEN_ROUTER_API_KEY="YOUR_OPEN_ROUTER_KEY" \
ghcr.io/inoxoft/whitelightning:latest \
python -m text_classifier.agent \
-p "将客户评论分类为正面、中性或负面"
```
我们还通过 PowerShell 支持 Windows(此处未显示),行为相同——只需相应地更改命令样式即可。
在您的浏览器中立即试用:<a href="https://whitelightning.ai/playground.html" rel="nofollow">https://whitelightning.ai/playground.html</a>
用例:
* PII 检测(“包含个人信息吗?”)
* 垃圾邮件分类
* 有毒内容与安全内容审核
* 支持工单紧急程度:高/中/低
* 意图识别:预订/支持/信息
与众不同之处:它结合了 LLM 驱动的训练和边缘设备性能,无需部署大型模型或使用昂贵的 API。
* 代码和文档:<a href="https://github.com/whitelightning-ai/whitelightning">https://github.com/whitelightning-ai/whitelightning</a>
* 社区模型库:<a href="https://github.com/your-username/whitelightning-model-library">https://github.com/your-username/whitelightning-model-librar...</a>
我们希望得到您的反馈——哪些有效,哪些无效,以及如何改进。谢谢!