Где ИИ на самом деле теряет деньги

Дефицит памяти и рост цен на жёсткие диски — заметный, но верхнеуровневый симптом. Реальная инженерная проблема глубже: стоимость обработки запроса у языковых моделей растёт не линейно с объёмом текста, а квадратично. Это конкретный механизм, а не абстракция. Современные языковые модели при обработке текста сопоставляют каждое слово со всеми остальными словами во входном фрагменте — так модель учитывает контекст. Вдвое длиннее текст — вчетверо больше таких сопоставлений, а значит и вычислений.

Для инженерных данных это проявляется не там, где кажется на первый взгляд. Извлечь с чертежа материал, допуски, посадки и шероховатость через OCR и распознавание сущностей — задача умеренного объёма, она не растёт квадратично сама по себе. Проблема начинается на следующем шаге: когда эти данные анализируются в контексте — сверяются с нормативной базой, с похожими деталями, с производственными картами, — объём текста в одном запросе к модели резко увеличивается. Компания, которая прогоняет через такой анализ не один чертёж, а сотню в месяц, увеличив объём контекста в десять раз, получает рост стоимости расчёта примерно в сто раз, а не в десять.

Здесь и находится развилка, которую разработчики ИИ-решений пока обходят стороной. Есть архитектуры, где основной расчёт не квадратичный: детерминированные алгоритмы и графовые модели дают ответ на основе фиксированной структуры данных, а не полного пересчёта моделью для каждого нового запроса. Показательный пример — «tiny recursive model» Алексии Жоликёр-Мартино из Microsoft: модель на порядки меньше типичной языковой модели победила на конкурсе логических задач ARC Prize за счёт другой вычислительной схемы, а не за счёт размера.

Отсюда практический ориентир при выборе ИИ-инструмента для производства. Стоит спросить у разработчика: растёт ли цена анализа линейно с объёмом данных или быстрее; пересчитывает ли система ответ заново моделью на каждый запрос, или ядро решения детерминированное; и что произойдёт со стоимостью, если объём задач вырастет в десять раз — пропорционально или кратно быстрее.

Источник: Alex Reisner, The Atlantic

😎 { Синтезиум. Подписка }