Вернулся на океан 👆


Практическому курсу по LLM быть, но перед этим стоит прояснить несколько важных моментов. На этой неделе завершил один проект по LLM для компании, которую, думаю, их знаешь — они раньше выпускали телефоны, а сейчас больше занимаются оборудованием (больше, к сожалению, рассказать не могу). В их случае задача заключалась в создании решения, которое помогало бы находить ответы, когда что-то не работает. Интересно то, что у них в компании есть специализированные команды по Data Science, которые пошли по популярному, но неверному пути, используя модные библиотеки. Конечно, так можно сделать — ведь это упрощает работу и позволяет быстро создать прототип, но на продуктив это решение не подходит, так как оно слишком непредсказуемое и не поддается улучшению (когда информация делится на маленькие кусочки — chunks, и потом ищется похожие кусочки). Я же помогал их команде, больше со стороны IT (не DS/ML), но по факту у них получилось наибольшее приближение к production-ready решению. Кстати, моя помощь — это секрет, поэтому тихо 🤫, так как между командами идет негласное соревнование за лидерство.

Что же они сделали? С одной стороны — простые вещи, логичные и основанные на здравом смысле. С точки зрения бизнеса, инструменты — это всегда лишь инструменты, и важно сосредоточиться на том, что действительно нужно бизнесу, на процессе. Сначала постараться сделать всё вручную, чтобы понять суть происходящего, а затем частично передавать ответственность на LLM, но хитрым образом — не ожидать от LLM слишком многого. Нужно продумать за нее возможные пути и сценарии. Да-да, думать всё ещё нужно — так называемый ИИ плохо умеет это делать. Но если правильно спланировать систему, LLM, как поезд, будет четко двигаться по рельсам и станет более предсказуемым. Чтобы это реализовать, есть много нюансов, но саму идею я постарался описать простым языком. Звучит просто и разумно, правда? Вопрос в том, как это сделать.

В принципе, когда "увидишь" как, все станет понятно. Конечно, сейчас большая часть информации ведет не в ту сторону, так как практиков мало, и каждый копирует за другим. Поэтому столько шума.

Напишу еще... раз так хорошо идет 🙂

#llm #course #usecase