Flink CDC встроил ИИ-преобразования прямо в поток изменений 🍴

Сегодня 10 октября выкатили Apache Flink CDC 3.7. Теперь CDC-конвейер может обращаться к моделям через совместимый с OpenAI API и выполнять классификацию, извлечение данных, маскирование, перевод, создание эмбеддингов и другие преобразования прямо из YAML.

Для медленных внешних вызовов появился упорядоченный асинхронный режим: запросы выполняются параллельно, но порядок данных и событий изменения схемы сохраняется. Также Python UDF теперь можно объявлять непосредственно в конфигурации конвейера.

Для инженеров это возможность обогащать CDC-поток без отдельного сервиса между источником и приёмником. Нюанс: упорядоченное асинхронное выполнение пока экспериментальное, поэтому влияние недоступности модели на задержку и восстановление конвейера нужно проверять нагрузочными тестами.

#apacheflink #flinkcdc #cdc #streamprocessing #etl #dataengineering

@data_engi