6 分•作者: snyy•3 个月前
大家好,我是 Feyn 的创始人 Shreyash。我们构建了 Pulpie,这是一系列用于清理网页的帕累托最优模型。Pulpie 可以从原始 HTML 中去除样板内容(广告、页脚、侧边栏),并仅返回主内容,输出格式为 HTML 或 Markdown。
我们的提取质量与最先进的模型相当,但成本却低 20 倍。使用 Pulpie 清理 10 亿个网页的成本为 7,900 美元,而使用当前领先的提取器 Dripper 则需要 159,000 美元。
这种优势来自于我们的架构。当今领先的提取器是解码器,它们一次生成一个 token。每一步都需要从内存中读取整个模型来生成单个 token。相反,Pulpie 模型是编码器。它们对整个输入 HTML 进行一次前向传播,并将每个块标记为样板内容或主要内容。因此,Pulpie 是计算密集型的,而解码器是内存密集型的。更便宜的 GPU 拥有相对更多的计算能力而不是内存带宽。这使得 Pulpie 易于高效