Конвертация PDF в XML: от неструктурированного файла к данным

Конвертация PDF в XML необходима для превращения визуально оформленных документов (счетов, отчетов, форм) в машиночитаемые данные для баз данных, ERP-систем или аналитики. Поскольку PDF фиксирует верстку, а не структуру, прямой конвертации часто недостаточно: требуется извлечение текста, распознавание таблиц (OCR) и маппинг данных в теги XML согласно заданной схеме (XSD).

Для простых задач подходят онлайн-конвертеры и Adobe Acrobat Pro. Для автоматизации больших объемов и сложных макетов используют Python-библиотеки (pdfminer.six, Camelot, PyMuPDF) в связке с OCR-движками (Tesseract, ABBYY).

Зачем переводить PDF в XML

Перевод в XML оправдан, когда данные из документа должны участвовать в автоматизированных процессах. Основные сценарии использования:

• Интеграция с учетными системами. Загрузка счетов-фактур, накладных или актов в 1С, SAP или другие ERP-системы, которые принимают только структурированные форматы.
• ETL-процессы и аналитика. Извлечение данных из ежемесячных PDF-отчетов для загрузки в Data Warehouse (хранилища данных) и последующего анализа в BI-инструментах.
• Архивация и поиск. Создание семантического архива, где можно искать не по полному тексту (как в PDF), а по конкретным полям (например, «найти все договоры, где сумма > 1 млн руб.»).
• Веб-публикация. Трансформация технических документации из PDF в XML для публикации на сайте с возможностью динамической фильтрации содержимого через XSLT.

Методы конвертации

Выбор метода зависит от качества исходного PDF и объема документов.

1. Текстовые PDF (Born-digital)

Если PDF создан экспортом из Word или Excel, текст в нем выделенный.

• Подход: Прямое извлечение текстового потока и координат элементов.
• Сложность: Низкая.
• Инструменты: PyPDF2, pdfminer.six, Adobe Acrobat.

2. Сканированные документы (Image-based)

Документ представляет собой набор картинок.

• Подход: Оптическое распознавание символов (OCR) → определение структуры → сборка XML.
• Сложность: Высокая. Требует очистки от «шума» и проверки орфографии.
• Инструменты: Tesseract, ABBYY FineReader, Google Cloud Vision API.

3. Гибридный подход (Smart Parsing)

Используется для сложных форм с таблицами, колонками и графиками.

• Подход: Комбинация извлечения метаданных, OCR для отдельных блоков и эвристических алгоритмов для определения заголовков и строк таблиц.
• Сложность: Средняя/Высокая. Требует настройки правил парсинга.

Обзор инструментов

Для разовой обработки (No-Code / Low-Code)

Для разработчиков и автоматизации (Code)

• Python + pdfminer.six: Стандарт де-факто для извлечения текста с сохранением позиций. Позволяет точно определить, где находится заголовок, а где основной текст.
• Python + Camelot / Tabula-py: Специализированные библиотеки для извлечения таблиц из PDF. Camelot лучше работает с четкими границами ячеек, Tabula — с более свободной версткой.
• Python + PyMuPDF (fitz): Очень быстрая библиотека для извлечения текста, изображений и метаданных. Хорошо подходит для предварительной обработки.
• Java + Apache PDFBox: Мощное решение для enterprise-сред, если ваш стек на Java.

Практика: автоматизация на Python

Рассмотрим пример создания простого пайплайна, который извлекает текст и таблицы из PDF и упаковывает их в валидный XML.

Необходимые библиотеки

pip install pdfminer.six camelot-py[cv] lxml

Примечание: camelot требует установки Ghostscript и Poppler.

Алгоритм работы

1. Извлечь текстовые блоки с координатами.
2. Найти таблицы и преобразовать их в DataFrame.
3. Сформировать дерево XML.
4. Сохранить результат.

Пример кода

import xml.etree.ElementTree as ET
from xml.dom import minidom
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer, LTFigure
import camelot
import os

def create_xml_element(tag, text=None):
    """Создает элемент XML с текстом."""
    element = ET.Element(tag)
    if text:
        element.text = str(text)
    return element

def convert_pdf_to_xml(pdf_path, output_xml_path):
    # 1. Инициализация корневого элемента
    root = ET.Element("Document")
    root.set("source", os.path.basename(pdf_path))
    
    # 2. Извлечение таблиц (Camelot)
    try:
        tables = camelot.read_pdf(pdf_path, flavor='stream') # 'lattice' для четких границ
        tables_section = ET.SubElement(root, "Tables")
        
        for i, table in enumerate(tables):
            table_elem = ET.SubElement(tables_section, "Table", id=str(i))
            df = table.df
            for row_index, row in df.iterrows():
                row_elem = ET.SubElement(table_elem, "Row")
                for col_index, cell_value in enumerate(row):
                    cell_elem = ET.SubElement(row_elem, "Cell", col=str(col_index))
                    cell_elem.text = cell_value
    except Exception as e:
        print(f"Ошибка при извлечении таблиц: {e}")

    # 3. Извлечение текста (PDFMiner)
    text_section = ET.SubElement(root, "TextContent")
    for page_layout in extract_pages(pdf_path):
        page_elem = ET.SubElement(text_section, "Page", number=str(page_layout.pageid))
        
        for element in page_layout:
            if isinstance(element, LTTextContainer):
                # Фильтрация мелких фрагментов, чтобы избежать мусора
                if len(element.get_text().strip()) > 2:
                    p_elem = ET.SubElement(page_elem, "Paragraph")
                    p_elem.text = element.get_text().strip()

    # 4. Сохранение в красивом формате
    xml_str = minidom.parseString(ET.tostring(root)).toprettyxml(indent="   ")
    with open(output_xml_path, "w", encoding="utf-8") as f:
        f.write(xml_str)
        
    print(f"Конвертация завершена. Файл сохранен: {output_xml_path}")

# Использование
# convert_pdf_to_xml("invoice.pdf", "invoice.xml")

Проблемы с таблицами и версткой

Самая частая проблема при конвертации — разрушение структуры таблиц.

1. Отсутствие видимых границ. Если таблица в PDF держится только на выравнивании пробелами, обычные парсеры могут считать её обычным текстом.
   • Решение: Используйте Camelot с режимом flavor='stream', который анализирует промежутки между словами, или применяйте OCR с распознаванием структуры (ABBYY).
2. Объединенные ячейки. XML плохо поддерживает сложные объединенные ячейки без специальной разметки (colspan).
   • Решение: При парсинге заполняйте пустые ячейки значениями из объединенных блоков или используйте атрибуты в XML для указания_span_.
3. Многострочные заголовки. Заголовок таблицы может быть разбит на несколько текстовых блоков.
   • Решение: Анализируйте координаты Y. Если блоки находятся на одной высоте с небольшим смещением, объединяйте их перед записью в XML.

Частые ошибки

• Попытка сохранить визуальный стиль в XML. XML не предназначен для хранения информации о шрифтах, цветах или отступах. Эти данные теряются при конвертации или засоряют файл лишними атрибутами. Стиль нужно восстанавливать отдельно через CSS/XSLT при отображении.
• Игнорирование кодировки. PDF может содержать спецсимволы или кириллицу в нестандартных кодировках. Всегда указывайте encoding="utf-8" при сохранении XML и проверяйте результат на «кракозябры».
• Отсутствие валидации. Сгенерированный XML может быть синтаксически верным, но семантически бесполезным (не те теги, не та вложенность). Всегда проверяйте результат against XSD-схему, если она есть.
• Надежда на 100% точность OCR. Даже лучшие движки допускают ошибки (путают 0 и O, 1 и l). Для финансовых документов обязательна пост-валидация данных (например, проверка суммы прописью и цифрами).

FAQ

Нужно ли сохранять изображения из PDF в XML? XML может содержать ссылки на изображения (base64 или внешние пути), но обычно изображения выносят в отдельную папку, а в XML оставляют только ссылки на них. Встраивать картинки прямо в XML не рекомендуется из-за огромного размера файла.

Чем XML отличается от JSON для хранения данных из PDF? JSON компактнее и проще для веб-приложений. XML предпочтительнее, если требуется строгая валидация схемы (XSD), поддержка пространств имен (Namespaces) или работа с legacy-системами (SOAP, старые ERP). Если жестких требований нет, JSON часто удобнее.

Как обработать PDF, который защищен паролем? Библиотеки вроде PyPDF2 и pdfminer поддерживают передачу пароля. Однако если документ защищен от копирования (permissions password), его сначала нужно расшифровать легальным способом (зная пароль владельца), иначе извлечение текста будет невозможным.

Можно ли конвертировать PDF в XML бесплатно и качественно? Для единичных документов — да (онлайн-сервисы). Для регулярной работы бесплатные решения (Python + Tesseract) требуют времени на настройку и поддержку кода. Платные решения (ABBYY) экономят время разработчиков за счет готовых качественных алгоритмов.