В последний, примерно, год часто чувствую в себе потребность по возможности успевать разбираться в современном машинном обучении чуть больше, чем на уровне «ну, LLM просто предсказывает наиболее вероятное слово» (хоть это и не так далеко от истины). Хотя бы для того, чтобы не быть совсем уж диванным аналитиком, когда высказываюсь скептически по поводу замены нас AI (мне иногда за такое предъявляют)😄
Признаюсь, во время учёбы я не очень любила ML и даже NLP, несмотря на мой некоторый интерес к лингвистике в целом. Закрывала базу на лабах, но не прочувствовала, что ли? Сейчас это кажется некоторым упущением, но так бывает, теперь читаю объяснения на стыке с научпопом и годные приношу вам🌟
И вот мне скинули прикольную статью на Хабре — точнее, перевод заметки из блога Андрея Карпаты (ориг на английском).
➡️ Проект
microgpt — это буквально алгоритмические основы GPT без библиотек, на чистом Python. Всё остальное — уже вопрос эффективности и работы с большими наборами данных.Плохая новость для кого-то может быть разве что в том, что без градиентов (высшей математики) там всё равно не обошлось. А так получился весь базовый цикл обучения:
выбор документа и токенизация -> проход модели по токенам -> вычисление функции потерь -> обратное распространение (через градиенты) -> обновление параметров 📈«Настоящая» LLM вроде ChatGPT отличается, собственно, тем, что она Large. Вместо 32 тысяч коротких имён она обучается на триллионах токенов текста из интернета — всевозможных веб-страниц, книг, кода и всего такого. Также используются более оптимальные алгоритмы на последующих шагах, а количество параметров модели больше на порядки. Ну, и сервера...
А вот понимает ли даже самая большая модель что-нибудь на самом деле — пожалуй, останется вопросом философским🤨
➡️ Кстати, вы какую точку зрения выбрали для себя?
#хардов_пост #аналитика_и_жизнь
@analytess 👩