Ресёрчу рынок AI, делюсь альфой и билжу свои проекты - шаг за шагом
Чат - @dennyfun_chat
Связь - @denny_beus
Post #284
648
Как я НЕ зарабатываю на AI. Часть 2
В прошлом посте как я и говорил, я вас немного попугал цифрами и фактами, а теперь расскажу свой прогноз по рождению AGI из AI, по вычислительным мощностям доступных нам (простым смертным) и поговорим про кастомный персональный AI.
———
Тема №1. Мы создаём тело для AI
Очень грубо говоря уже сейчас весь AI начинает делиться на два типа:
• ANI (Artificial Narrow Intelligence) - ИИ, который решает узконаправленные задачи как Midjourney или NotebookLM по генерации картинок или работе с текстом.
• AGI (Artificial General Intelligence) - общий ИИ с такими же функциями, но дополнительно способный создавать для себя новые задачи и самопроизвольно обучать себя (уже ближе похоже на реального человека).
Знаете, весь этот AGI - такая красивая, но абсолютно недостижимая для нас реальность, а просто потому что на GPU кластере запуск GPT-4 стоит около $1.3 в час на одного пользователя, а для AGI это значение может быть в 10 раз выше и из этого понятно, что никто не даст нам "бесплатно" играться с AGI. Даже с подпиской.
Я недавно прочитал S.N.U.F.F. Пелевина, где были такие персонажи как "суры" — по сути, те самые AGI в человеческом теле, которые, почему-то, использовались исключительно как живые сексуальные роботы. Хотя, понятно, что такая технология создаётся не для того, чтобы у нас с вами появились свои секс-рабы. Пелевин тонко иронизирует над тем, как человек умудряется использовать продвинутые технологии для самых примитивных целей. Хотя на самом деле в романе суры играют важную роль — они нужны, чтобы отразить наши внутренние пороки и несовершенство по сравнению к бездушному созданию (AGI в теле).
Лично я ожидаю, что технология AGI внедрится уже к концу 2026 года в роботов для складских помещений, лёгких производств, где есть некреативный и топорный труд.
———
Тема №2. Что по мощностям?
Модель GPT-4 весит около 1.8 трлн параметров. Чтобы просто ЗАПУСТИТЬ на CPU без сжатия — нужно:
• 3.5–5 ТБ RAM
• сотни терафлопов и просто дохрена всего другого
Очевидно, что для массюзера данный тип не подходит. Давайте рассмотрим самые базовые LLM модельки, которые каждый из вас сможет не только запустить на своём ноутбуке, но и обучить их на своём датасете. Я выделил для вас три модели от 1.5 до 8 B параметров:
• MTSAIR/Cotype-Nano-1.5b - лучший лёгкий вариант русскоязычной модельки
• Qwen/Qwen2.5-1.5B-Instruct - на ней была дообучена первая моделька, считайте эту её англоязычным отцом.
• IlyaGusev/saiga_yandexgpt_8b - более мощная ру-язычная дообученная модель
Вот минимальные данные вашего железа для этого:
• GPU - 6–8 GB VRAM (RTX 3060 или лучше) — для 4-bit моделей
• RAM (оперативка) - 16 GB
• CPU - любой современный i5/i7, Ryzen 5+
А если хотите выбрать для себя другую модель под свои критерии, то вот ССЫЛКА, на этом сайте я провожу уже больше времени чем на гитхабе.
———
Тема №3. Что можно делать с кастомным ИИ?
Про то как дообучать модель под себя мы поговорим с вами в следующих постах, а пока поймём конечную цель всего этого.
• ИИ ассистент, который копирует стиль какого-то человека и не выдаёт себя за ИИ, используется для корыстных целей (их придумайте сами).
• Личный сортировщик данных (дата-анализатор). Подключаешь .csv, .json, pdf → задаёшь вопросы → получаешь отчёты и это идеально, если такие данные нельзя доверить сети, например тому же гпт.
• Создатель реплаев для твиттера и других соцсеток. И кстати, модель с тонкой настройкой и хорошим датасетом, даже с 8 B параметров может справиться ГОРАЗДО лучше чем ChatGPT, у которого их уже больше триллиона.
• Анализ ончейна в крипте. Подрубаешь onchain API → обучаешь ИИ распознавать подозрительные аномалии или паттерны и за счёт тонкой настройки, это будет лучший вариант по эффективности.
Вариантов я вам накинул, а дальше сами. Всех обнял!
Если было полезно, кинь реакцию!
⚪️ Beus Research
🔢 [ мейн ] • [ дейлик ] • [ чатик ]
В прошлом посте как я и говорил, я вас немного попугал цифрами и фактами, а теперь расскажу свой прогноз по рождению AGI из AI, по вычислительным мощностям доступных нам (простым смертным) и поговорим про кастомный персональный AI.
———
Тема №1. Мы создаём тело для AI
Очень грубо говоря уже сейчас весь AI начинает делиться на два типа:
• ANI (Artificial Narrow Intelligence) - ИИ, который решает узконаправленные задачи как Midjourney или NotebookLM по генерации картинок или работе с текстом.
• AGI (Artificial General Intelligence) - общий ИИ с такими же функциями, но дополнительно способный создавать для себя новые задачи и самопроизвольно обучать себя (уже ближе похоже на реального человека).
Знаете, весь этот AGI - такая красивая, но абсолютно недостижимая для нас реальность, а просто потому что на GPU кластере запуск GPT-4 стоит около $1.3 в час на одного пользователя, а для AGI это значение может быть в 10 раз выше и из этого понятно, что никто не даст нам "бесплатно" играться с AGI. Даже с подпиской.
Я недавно прочитал S.N.U.F.F. Пелевина, где были такие персонажи как "суры" — по сути, те самые AGI в человеческом теле, которые, почему-то, использовались исключительно как живые сексуальные роботы. Хотя, понятно, что такая технология создаётся не для того, чтобы у нас с вами появились свои секс-рабы. Пелевин тонко иронизирует над тем, как человек умудряется использовать продвинутые технологии для самых примитивных целей. Хотя на самом деле в романе суры играют важную роль — они нужны, чтобы отразить наши внутренние пороки и несовершенство по сравнению к бездушному созданию (AGI в теле).
Лично я ожидаю, что технология AGI внедрится уже к концу 2026 года в роботов для складских помещений, лёгких производств, где есть некреативный и топорный труд.
———
Тема №2. Что по мощностям?
Модель GPT-4 весит около 1.8 трлн параметров. Чтобы просто ЗАПУСТИТЬ на CPU без сжатия — нужно:
• 3.5–5 ТБ RAM
• сотни терафлопов и просто дохрена всего другого
Очевидно, что для массюзера данный тип не подходит. Давайте рассмотрим самые базовые LLM модельки, которые каждый из вас сможет не только запустить на своём ноутбуке, но и обучить их на своём датасете. Я выделил для вас три модели от 1.5 до 8 B параметров:
• MTSAIR/Cotype-Nano-1.5b - лучший лёгкий вариант русскоязычной модельки
• Qwen/Qwen2.5-1.5B-Instruct - на ней была дообучена первая моделька, считайте эту её англоязычным отцом.
• IlyaGusev/saiga_yandexgpt_8b - более мощная ру-язычная дообученная модель
Вот минимальные данные вашего железа для этого:
• GPU - 6–8 GB VRAM (RTX 3060 или лучше) — для 4-bit моделей
• RAM (оперативка) - 16 GB
• CPU - любой современный i5/i7, Ryzen 5+
А если хотите выбрать для себя другую модель под свои критерии, то вот ССЫЛКА, на этом сайте я провожу уже больше времени чем на гитхабе.
———
Тема №3. Что можно делать с кастомным ИИ?
Про то как дообучать модель под себя мы поговорим с вами в следующих постах, а пока поймём конечную цель всего этого.
• ИИ ассистент, который копирует стиль какого-то человека и не выдаёт себя за ИИ, используется для корыстных целей (их придумайте сами).
• Личный сортировщик данных (дата-анализатор). Подключаешь .csv, .json, pdf → задаёшь вопросы → получаешь отчёты и это идеально, если такие данные нельзя доверить сети, например тому же гпт.
• Создатель реплаев для твиттера и других соцсеток. И кстати, модель с тонкой настройкой и хорошим датасетом, даже с 8 B параметров может справиться ГОРАЗДО лучше чем ChatGPT, у которого их уже больше триллиона.
• Анализ ончейна в крипте. Подрубаешь onchain API → обучаешь ИИ распознавать подозрительные аномалии или паттерны и за счёт тонкой настройки, это будет лучший вариант по эффективности.
Вариантов я вам накинул, а дальше сами. Всех обнял!
Если было полезно, кинь реакцию!
⚪️ Beus Research
🔢 [ мейн ] • [ дейлик ] • [ чатик ]
- 🔥 10
- ❤ 9
- 👍 1


