5 分•作者: leschak•4 个月前
大家好，我是Stefan。autofit2 是我在前公司使用过的一个项目，现在已经开源。它被广泛应用于自动化文本审核，但也可用于任何文本/文档分类任务。我们在 20 多种语言的冒犯性文本建模方面取得了成功（所有数据集请参见 github.com/neospe/dataload）。
它是一个轻量级多语言文本分类的集成流水线，涵盖了预处理、训练和评估。它实现了 SetFit，一种适用于低数据场景（几十个样本即可）的少样本学习技术，并且由于基于 Sentence Transformers，在 CPU 上具有高吞吐量。依赖项保持精简，当然 PyTorch 本身并不算小。
autofit2 以基础模型和 JSON 配置作为输入，并输出 TorchServe 模型归档以及模型卡片。模型卡片包括您任务的任何基准测试、自洽性测试、微调估计的 CO2 排放量以及基于熵的偏差分析。对于偏差评估，包含了 50 种语言的小型测试语料库。它与我修改的 Sentence Transformers 的 EAR（基于熵的注意力正则化）版本配合效果最佳。
欢迎反馈。