ИИ для самых маленьких: как работает LLM и ИИ-агент

00:00:00 Поднимем уровень понимания темы ИИ!
00:01:10 LLM — просто очень длинная математическая функция
00:03:23 Промпт, токенизация, словарь модели
00:05:52 Почему токен ≠ слово
00:06:19 Вектора эмбедингов
00:08:15 Контекстное окно модели
00:10:01 Задача LLM-функции — предсказать следующий токен
00:11:28 Почему LLM всегда отдаёт вероятностный результат
00:13:35 Функция возвращает распределение вероятностей следующего токена
00:14:37 Английский язык эффективнее русского по токенам
00:15:22 500 токенов ответа LLM — это 500 вызовов функции
00:16:02 Reasoning, режим рассуждений
00:16:33 Веса LLM
00:17:04 Базовая и instruct-модель
00:17:54 Веса LLM
00:18:55 Что такое инференс
00:19:07 ИИ-агенты
00:22:40 Мой ИИ-агент бухгалтерских документов
00:27:44 Агент умеет доставать реквизиты даже с фотографий
00:29:55 «Да реквизиты можно достать регулярками без LLM»
00:32:03 Валидация полученных реквизитов детерминированным кодом
00:32:31 Агент = детерминированный код + LLM
00:33:03 Что важнее — качество LLM или качество агента?
00:35:03 Что такое качественный ИИ-агент?
00:36:53 Запускаем LLM на телефоне
00:39:47 ИИ-агент отзывов о книгах с LLM на телефоне
00:43:23 Локальные модели — просто игрушки?
00:47:24 Локальные модели не хранят контекст?
00:48:49 У локальных моделей слишком узкое контекстное окно?
00:51:35 Локальные модели бесполезны, тк плохо пишут код?
00:54:55 Платные LLM недорогие, зачем пытаться в локальные?
00:58:55 У локальных LLM нет Structured Output?
00:59:56 Квантованные модельки — ужасны?
01:00:24 32GB RAM на компьютере это недостижимо дорого?
01:01:24 LLM генерит ответ дольше пары секунд — мусор?
01:03:17 Локальная LLM должна влезать в VRAM?
01:04:01 LLM заменят программистов?

YouTube | VK | RuTube | Дзен