Как я НЕ зарабатываю на AI. Часть 2

В прошлом посте как я и говорил, я вас немного попугал цифрами и фактами, а теперь расскажу свой прогноз по рождению AGI из AI, по вычислительным мощностям доступных нам (простым смертным) и поговорим про кастомный персональный AI.

———

Тема №1. Мы создаём тело для AI

Очень грубо говоря уже сейчас весь AI начинает делиться на два типа:
• ANI (Artificial Narrow Intelligence) - ИИ, который решает узконаправленные задачи как Midjourney или NotebookLM по генерации картинок или работе с текстом.
• AGI (Artificial General Intelligence) - общий ИИ с такими же функциями, но дополнительно способный создавать для себя новые задачи и самопроизвольно обучать себя (уже ближе похоже на реального человека).

Знаете, весь этот AGI - такая красивая, но абсолютно недостижимая для нас реальность, а просто потому что на GPU кластере запуск GPT-4 стоит около $1.3 в час на одного пользователя, а для AGI это значение может быть в 10 раз выше и из этого понятно, что никто не даст нам "бесплатно" играться с AGI. Даже с подпиской.

Я недавно прочитал S.N.U.F.F. Пелевина, где были такие персонажи как "суры" — по сути, те самые AGI в человеческом теле, которые, почему-то, использовались исключительно как живые сексуальные роботы. Хотя, понятно, что такая технология создаётся не для того, чтобы у нас с вами появились свои секс-рабы. Пелевин тонко иронизирует над тем, как человек умудряется использовать продвинутые технологии для самых примитивных целей. Хотя на самом деле в романе суры играют важную роль — они нужны, чтобы отразить наши внутренние пороки и несовершенство по сравнению к бездушному созданию (AGI в теле).

Лично я ожидаю, что технология AGI внедрится уже к концу 2026 года в роботов для складских помещений, лёгких производств, где есть некреативный и топорный труд.

———

Тема №2. Что по мощностям?

Модель GPT-4 весит около 1.8 трлн параметров. Чтобы просто ЗАПУСТИТЬ на CPU без сжатия — нужно:

• 3.5–5 ТБ RAM
• сотни терафлопов и просто дохрена всего другого

Очевидно, что для массюзера данный тип не подходит. Давайте рассмотрим самые базовые LLM модельки, которые каждый из вас сможет не только запустить на своём ноутбуке, но и обучить их на своём датасете. Я выделил для вас три модели от 1.5 до 8 B параметров:

• MTSAIR/Cotype-Nano-1.5b - лучший лёгкий вариант русскоязычной модельки
• Qwen/Qwen2.5-1.5B-Instruct - на ней была дообучена первая моделька, считайте эту её англоязычным отцом.
• IlyaGusev/saiga_yandexgpt_8b - более мощная ру-язычная дообученная модель

Вот минимальные данные вашего железа для этого:

• GPU - 6–8 GB VRAM (RTX 3060 или лучше) — для 4-bit моделей
• RAM (оперативка) - 16 GB
• CPU - любой современный i5/i7, Ryzen 5+

А если хотите выбрать для себя другую модель под свои критерии, то вот ССЫЛКА, на этом сайте я провожу уже больше времени чем на гитхабе.

———

Тема №3. Что можно делать с кастомным ИИ?

Про то как дообучать модель под себя мы поговорим с вами в следующих постах, а пока поймём конечную цель всего этого.

• ИИ ассистент, который копирует стиль какого-то человека и не выдаёт себя за ИИ, используется для корыстных целей (их придумайте сами).

• Личный сортировщик данных (дата-анализатор). Подключаешь .csv, .json, pdf → задаёшь вопросы → получаешь отчёты и это идеально, если такие данные нельзя доверить сети, например тому же гпт.

• Создатель реплаев для твиттера и других соцсеток. И кстати, модель с тонкой настройкой и хорошим датасетом, даже с 8 B параметров может справиться ГОРАЗДО лучше чем ChatGPT, у которого их уже больше триллиона.

• Анализ ончейна в крипте. Подрубаешь onchain API → обучаешь ИИ распознавать подозрительные аномалии или паттерны и за счёт тонкой настройки, это будет лучший вариант по эффективности.

Вариантов я вам накинул, а дальше сами. Всех обнял!
Если было полезно, кинь реакцию!

⚪️ Beus Research
🔢 [ мейн ] • [ дейлик ] • [ чатик ]