Чтобы не кормить LLM сырим PDF и не тратить лишние токены.
MarkItDown — open-source конвертер от Microsoft. Он превращает PDF, Word, Excel, PowerPoint, HTML, изображения и другие файлы в Markdown.
Зачем это нужно
- текст становится чище
- структура сохраняется лучше
- модели проще читать такой формат
- токенов обычно уходит меньше
GitHub
https://github.com/microsoft/markitdown
Факт
Проект публичный, бесплатный, с лицензией MIT.