Про использование LLM в ваших продуктах

В этому году, кажется, продакты и топ-менеджмент любой компании 80% своего ресурса тратят на то, чтобы понять, где конкретно их бизнесу могут помочь LLM. В посте – довольно неплохая подборка эвристик, которые могут вам помочь в такого рода рассуждениях.

👉LLM предсказывают наиболее резонные ответы на любые промпты.
👉Вы не сможете оценить, насколько точно был дан каждый конкретный ответ.
👉Вы можете в среднем оценивать точность модели и какого-то определенного набора промптов.
👉Точность ответов можно увеличить, используя модели большего размера, но они буду дороже и медленнее.
👉Даже самые быстрые LLM недостаточно быстры для многих задач.
👉Даже самые дорогие LLM не слишком дороги для большинства В2В задач. Даже самые дешевые LLM недостаточно дешевы для большинства консьюмерских задач.
👉Перфоманс моделей продолжит улучшаться в будущем, но скорость его улучшения будет довольно быстро падать.
👉Учитывая приведенные выше ограничения, вам надо либо смириться с неточностью ответов модели, либо комбинировать их с ручными человеческими проверками.