Вышла новая Python-библиотека для агентного data-processing и ETL с использованием ИИ.

Представляем DocETL.

Что важно знать:

1. Что такое DocETL?

Это инструмент для создания и выполнения дата-пайплайнов, особенно хорошо подходит для сложной обработки документов.

Он включает:

- интерактивный UI-плейграунд
- Python-пакет для запуска пайплайнов в проде

2. DocWrangler

DocWrangler помогает постепенно собирать пайплайн:

- пробовать разные промпты и смотреть результат в реальном времени
- строить пайплайн шаг за шагом
- экспортировать финальную конфигурацию для продакшена

3. Python-пакет DocETL

Используется для запуска пайплайнов в продакшене. В примере создаётся пайплайн, который анализирует медицинские транскрипты, находит названия лекарств, нормализует похожие названия и генерирует сводку побочных эффектов и областей применения.

Подробнее: https://github.com/ucbepic/docetl

👉 @PythonPortal