LLM превосходят Transkribus в транскрипции рукописей по точности, скорости и цене

Исследователи и архивы всё активнее применяют большие языковые модели (LLM) для автоматической расшифровки рукописных документов — в пилотных испытаниях LLM оказались точнее, быстрее и дешевле, чем специализированный инструмент Transkribus, что делает ранее «видимые, но недоступные» фонды поисково пригодными. Это ускоряет оцифровку и делает тексты доступными для исследований и генеалогических запросов, сокращая время и затраты на подготовку корпусов к анализу. Практические примеры уже появились в полевых условиях: исследователь фотографировал журналы писательницы bell hooks в архиве Berea College и использовал ChatGPT для чтения плотного курсива — результат оказался пригодным для поиска за считанные секунды. Аналогичным образом личные дневники, ведомости и письма, ранее трудночитаемые вручную, получают машинные транскрипции, которые позволяют исследователям быстрее находить нужные фрагменты и сопоставлять источники.

Крупная проверка подходов описана Марком Хамфризом из Wilfrid Laurier University: он оцифровал около 10 миллионов страниц дел по военным пенсиям и в течение двух лет систематически тестировал LLM на рукописях. В статье в майском номере 2025 года журнала Historical Methods команда проанализировала корпус из 50 англоязычных писем, правовых записей и дневников XVIII — XIX веков; лучшие LLM‑методы показали уровень ошибок ниже 2% по символам, тогда как Transkribus продемонстрировал около 8% ошибок. По скорости LLM были примерно в 50 раз быстрее и обходились примерно в 1/50 стоимости традиционного инструмента.

Истоки прогресса уходят в ранние исследования распознавания рукописей: в 1980‑е годы Янн ЛеКун демонстрировал возможности распознавания цифр в узких задачах, но реальные архивные корпуса оставались сложной областью. Несмотря на это, Transkribus долгое время был основным инструментом — его используют более чем в 150 крупных университетах и архивах — и только сейчас масштабные LLM меняют практики обработки массовых коллекций.

Соавторы отмечают возможное объяснение успеха: общие языковые модели обучены на огромных и разнообразных данных и, по — видимому, усвоили соответствия между рукописными формами и их трансрипциями без необходимости настраиваться на каждую почерковую школу. Хамфриз констатировал: «Мечта состояла в том, чтобы получить то, что у нас есть сейчас». При этом LLM не универсальны для всех страниц и форм, и поставщики — включая разработчиков Transkribus — уже анонсировали интеграцию LLM в свои платформы, что указывает на переход к гибридным решениям. Практическое значение видно на примере работы соавторки Лианне Ледди: она использует такие инструменты для прослеживания историй коренных женщин через журналы торговых пунктов, записи о крещениях и брачные акты, которые ранее было трудно сопоставить вручную.