Granite-Docling-258M – IBM推出的轻量级视觉语言模型

Granite-Docling-258M：IBM 推出的一款轻量级视觉语言模型，专为高效文档转换而生，能以机器可读格式完美复刻文档布局、表格与公式。

Granite-Docling-258M：文档转换的革新者

IBM 隆重推出 Granite-Docling-258M，一款开创性的轻量级视觉语言模型，旨在彻底改变文档转换的效率与精度。这款模型能够将各类文档，无论是扫描件还是电子版，转换成机器易于理解的格式，并且在转换过程中，对原始文档的布局、表格、公式等关键元素进行一丝不苟的保留。仅拥有 25800 万（258M）参数的 Granite-Docling-258M，在保持卓越性能的同时，提供了出色的成本效益。它还具备强大的多语言处理能力，能够轻松驾驭语、中文、日语等多种语言的文档。通过使用 DocTags 格式，模型能够以极高的准确性描述文档结构，有效避免信息丢失。此外，Granite-Docling-258M 与 Docling 库的无缝集成，赋予了用户强大的定制化能力和出色的错误处理机制，使其成为企业级文档处理的理想选择，为文档处理领域注入了新的活力。

Granite-Docling-258M 的核心能力

精准的文档解析能力：模型能够精确识别并解析文档中的文字、表格、数学公式、图表等多种元素，为后续的深度处理奠定坚实、准确的数据基础。
忠实的结构化转换：在将文档转换为电子格式的过程中，模型能够完整地保留原始文档的布局和整体结构，确保转换后的文档与原文高度一致，极大地方便了阅读和进一步的编辑工作。
全方位的多模态输入支持：模型能够同时处理图像和文本输入，这意味着它能够应对扫描文档、手写笔记以及各类电子文档等多种形式的文档，极大地拓展了其应用的可能性。
跨越语言的文档处理：具备强大的多语言处理能力，能够轻松应对不同语言的文档，为跨国企业和多语言工作环境下的文档处理提供了极大的便利。
高效的数据提取效率：支持快速从文档中提取关键信息和结构化数据，显著提升工作效率，并大幅减少人工处理所需的时间。
灵活多样的输出格式：支持将文档转换为多种主流格式，例如 Markdown、HTML、JSON 等，用户可以根据自身需求选择最适合的格式进行后续的应用和处理。
深度定制化的灵活性：通过与 Docling 库的深度集成，用户能够根据特定的业务需求定制文档处理流程，实现个性化的文档转换和分析功能。
企业级应用稳定性：经过精心优化，模型在处理文档时表现出更高的稳定性，能够有效减少错误和异常情况的发生，非常适合在企业级环境中进行大规模部署和应用。

Granite-Docling-258M 的技术支撑

先进的模型架构：
- 强大的视觉编码器：采用 siglip2-base-patch16-512 作为视觉编码器，能够高效地处理图像输入，从中提取关键的视觉特征。
- 智能的视觉语言连接器：基于像素洗牌投影器（pixel shuffle projector）技术，能够将提取到的视觉特征与语言模型进行无缝连接，实现视觉与语言信息的深度融合。
- 稳健的语言模型基础：基于 Granite 165M 的语言模型，能够准确地处理和生成自然语言文本，确保文档内容的准确转换。
DocTags：文档的通用语言：DocTags 是一种通用的标记语言，能够精准地描述文档中的各种元素，如图表、表格、公式等，并能够清晰地表达它们之间的上下文关系和具置。DocTags 格式优化了 LLM 的可读性，使得模型输出的文档能够直接转换为 Markdown、HTML 或 JSON 等格式，极大地便利了后续的处理和应用。
精心打造的训练数据：训练数据涵盖了公开数据集以及内部合成数据集，例如 SynthCodeNet（用于代码片段）、SynthFormulaNet（用于数学公式）、SynthChartNet（用于图表）以及 DoclingMatix（用于真实文档页面）。通过高质量、标注精确的数据，模型能够更深入地学习文档的结构与内容，从而显著提升转换的准确性和稳定性。