Show HN: Unsiloed AI – 在 olmOCR-Bench 上排名第一
4 分•作者: adnan9999•大约 1 个月前
大多数文档解析器在处理现实世界的挑战时都会失败，例如复杂的表格、手写文档、历史文档扫描件、公式、多列布局、复杂的阅读顺序等。我们构建了Unsiloed Parser，专门用于处理这些情况。
我们最新的解析器 v3.1 在 olmOCR-Bench 上取得了第一名的成绩，严格通过率为 88.0。我们使用未经修改的上游 Allen AI 评分器 (olmocr==0.4.27) 对 1,403 个 PDF 和 8,413 个单元测试进行了评估，发现 Unsiloed 击败了包括 GPT-5.5、Claude Opus 4.7、LlamaParse、Reducto、Azure Document Intelligence、AWS Textract 和 Unstructured 在内的其他 18 个 OCR 服务。
当我们深入研究失败案例时，我们发现许多错误并非 OCR 错误，而是诸如 \frac 与 \dfrac、空白差异或等效的 LaTeX 渲染等问题。我们运行了第二次 LLM-as-Judge 评估，以对真正的未命中与语义等价物进行分类，这使得校正后的分数提升至 94.8（在博文中进行了深入解释）。
包含完整方法和示例的博文：<a href="https://www.unsiloed.ai/blog/unsiloed-ai-achieves-1-rank-on-olmocr-bench-2">https://www.unsiloed.ai/blog/unsiloed-ai-achieves-1-rank-on-...</a>
用于重现的评估代码：
<a href="https://github.com/Unsiloed-AI/unsiloed-olmocr-benchmark" rel="nofollow">https://github.com/Unsiloed-AI/unsiloed-olmocr-benchmark</a>
欢迎在评论中发布您最复杂的 PDF，我们将通过 Unsiloed 解析器运行它，并在其中分享输出结果。
查看原文
Most of the document parsers fail on real world challenges like complex tables, handwritten documents, historical document scans, equations, multi-column layouts, complex reading order, etc. We built Unsiloed Parser to handle exactly these cases.<p>Our latest parser v3.1 achieved #1 rank and scored 88.0 strict pass-rate on olmOCR-Bench. We ran the evaluation across 1,403 PDFs and 8,413 unit tests using the unmodified upstream Allen AI scorer (olmocr==0.4.27) and found Unsiloed beats 18 other OCR services, including GPT-5.5, Claude Opus 4.7, LlamaParse, Reducto, Azure Document Intelligence, AWS Textract, and Unstructured.<p>When we dug deeper into the failure cases, we found many errors were not OCR errors but things like \frac vs \dfrac, whitespace differences, or equivalent LaTeX renderings. We ran a secondary LLM-as-Judge evaluation to classify real misses vs semantic equivalents, which lifts the corrected score to 94.8 (explained deeply in the blog post).<p>Blog with full methodology and examples: <a href="https://www.unsiloed.ai/blog/unsiloed-ai-achieves-1-rank-on-olmocr-bench-2">https://www.unsiloed.ai/blog/unsiloed-ai-achieves-1-rank-on-...</a><p>Evaluation Code for reproducibility:
<a href="https://github.com/Unsiloed-AI/unsiloed-olmocr-benchmark" rel="nofollow">https://github.com/Unsiloed-AI/unsiloed-olmocr-benchmark</a><p>Feel free to post your messiest PDFs in the comment and we'll run it through Unsiloed parser and share the output here.