На этой неделе OpenAI помимо новой версии своего чата (GPT-5) выпустила в открытый доступ модели gpt-oss-120b (аналог o4-mini) и gpt-oss-20b (аналог o3-mini), которые свободно можно скачать и использовать в домашних условиях (или на защищенных корпоративных серверах).

В добавок у Ollama с последним обновлением появился графический интерфейс - причем, по-умолчанию она предлагает делать запросы не на уже установленные на моем компьютере дистиллированные модели DeepSeek и Qwen, а к новой gpt-oss-20b.

Ок, буду пробовать!
==================

Сразу отмечу, что теперь в Ollama установка моделей происходит не через командную строку (как раньше), а автоматически при первом обращении к модели через графический чат - нам показывают индикатор загрузки (для gpt-oss-20b заняло всего 5 минут) и по ее завершению модель сразу начинает давать ответы.

Я попробовал простые вопросы на арифметику и логику - отвечает удовлетворительно. Дал запрос на использование "веб-поиска" (встроенный инструмент в Ollama) по теме вероятных тем будущих переговоров Трампа и Путина - новая модель поискала по BBC, CNN и прочим новостным ресурсам и дала мне раскладку известных слухов, инсинуаций и прочих спекуляций.

==================

Но если не анализировать вопрос-ответ, а просто сидеть за компьютером, то вся затея с локальными моделями (особенно такими большими) выглядит очень сомнительной. Даже простые вопросы как "2+2=?" заставляли на 5-10 секунд бешено крутить вентиляторы на материнке, вопрос со степенями (на скрине) занял уже минуту, а вопрос с веб-поиском заставил трудится комп в бешенном ритме более 15 минут.

С учетом того, что у нас в Киеве стоимость 1 кВт/часа равна $0.10, то использование локальных моделей экономически не выгодно.

Для "поговорить" и даже выполнить сложные "поиск" и "размышление" проще воспользоваться десятком бесплатных веб-чатах. А для ИИ-автоматизации дешевле заплатить за использование API - для o3-mini на серверах OpenAI сейчас за входящие (описание и контекст задачи) миллион токенов просят $1.10, а за исходящий миллион (рассуждение и сам ответ) - $4.40 - т.е. для моих простых задач с короткими вопросами/ответами будет практически бесплатно, и вероятно можно найти еще дешевле у других провайдеров (например, в пакете Cursor AI).

И еще важен фактор времени! Когда ответы от облачных моделей приходят практически мгновенно, а локальная модель их вымучивает долгие минуты, то это может быть ключевым для решения по использованию в долгих процессах обработки со множеством итераций (пара минут против пары дней).

==================

В этой воскресной заметке не буду рекомендовать использовать или нет локальные ИИ-модели - каждый сам должен взвесить риски.

Но дам совет: не игнорируйте саму концепцию тесной работы с ИИ - это "черный лебедь", который уже сейчас переписывает правила игры и изменяет целые отрасли 🦢

P.S. Последние месяцы изучил текущие наработки в сфере ИИ и подписался на ряд тематических пабликов, чтобы отслеживать тренды. Для себя уже сформировал более-менее цельную картинку грядущего будущего - в этом будущем не будет армии безработных, о которых говорят "эксперты" в своих интервью, но многое изменится. И об этом расскажу в следующих воскресных заметках. Не переключайтесь 😉