Исследователи из Stanford, University of California и Nanjing University представили SEFD - переработанную версию EDGAR filings для обучения LLM на финансовых документах.

Главная проблема старого подхода в том, что SEC-отчёты часто превращались в плоский текст. Модель видела слова и цифры, но теряла структуру: вложенные таблицы, объединённые заголовки, отступы, знаки, иерархию строк и связь между показателями.

SEFD решает это через layout-faithful MultiMarkdown. Он сохраняет логику документа и финансовых таблиц, но убирает лишний HTML-шум, который раздувает токены и мешает обучению.

Публичный снапшот содержит 152 млрд токенов. Полный архив, по оценке авторов, может дать около 550 млрд токенов длинных финансовых документов. При этом пересечение с Common Crawl-корпусами меньше 0,1%, то есть это почти незаезженный источник данных для финансовых LLM.

Модели получают структуру отчётности. Для финансового анализа это критично, потому что в таких документах значение часто лежит не в отдельной цифре, а в том, где она стоит, к какому заголовку относится и как связана с соседними строками.

arxiv.org/abs/2606.18192v1