#Новости #История #Задумка
Друзья, добрый день!
1. Я часто пишу про методику, которая появилась в ходе проекта, но решил применить подход, с которого начинает большинство, чтобы вспомнить его недостатки. Захотел разработать проект в основном на локальной модели. Для начала я придумал, что хочу.
А хочу я себе жизнь облегчить.
Когда используешь локальные модели, обычно начинаешь с простых запускалок. Например, LM Studio или Ollama. Они удобны для запуска на той машинке, на которой работаешь (как правило, ноутбук или ПК с одной видеокартой). Скорость дают слабую, ресурсы используют побольше, чем более продвинутые инструменты. Но у них есть удобное скачивание, запуск, API и прочие плюсы.
Как вы помните, я собрал себе отдельный ПК с двумя видеокартами, чтобы запускать инсталляции посерьезнее. Мой ПК я называю базовой AI-станцией, а в простонародье это бомж-сборка: потратил на нее 350К, тогда как стоимость серьезных сборок начинается от 3-5КК.
Моя задача состоит в том, чтобы запускать модели на двух видеокартах. Здесь уже нужны более серьезные инструменты: llama.cpp, vLLM и прочие. Я выбрал llama.cpp.
Все бы хорошо, но:
• очень часто выходят новые модели;
• llama.cpp постоянно обновляется;
• есть модели, которые используют форки llama.cpp.
• хочу иметь возможность запуска не только llama.cpp.
Приходится держать кучу настроек с параметрами запуска или плодить bat-ники. Плюс через RDP лазить и запускать все это надоедает. Хочется включать и выключать модели по щелчку: захотел пописать код - нажал «включить» и поехали, захотел погенерировать контент - остановил кодовую модель и запустил нужную.
Так появилась идея GoAl - легкий однофайловый менеджер для локальных AI-рантаймов и моделей. Выбор пал на язык Go.
Сначала я изложил идею ChatGPT, и мы с ним проработали дорожную карту. Дальше я отдал выполнение Qwen3.6, при этом нарочно говорил: «Делай до первой версии, а потом будем проверять и чинить». Первая версия даже не запустилась.
Потом появился доступ к Kimi3, и я сказал чинить. Почти неделю Kimi3 под руководством ChatGPT чинил творение рук Qwen3.6. Даже стало запускаться, но было очень уродливо. Халявный доступ к Kimi3 и недельный лимит Codex тоже сгорел дотла, но вышла Qwen3.8.
Дальше начался процесс «вылизывания». Я шел по функционалу: требовал исправить логику, дизайн, что-то убрать, что-то добавить. И вот в эту субботу я увидел минимально необходимый мне полностью рабочий функционал.
Затем попросил Grok провести ревью - он выдал не только ревью, но и интересные идеи. Я взял его идеи, добавил свои и отдал их ChatGPT со словами, что переносим в проект методику EGG.
В итоге методику с тремя кнопками перенес в GoAl:
«Продолжай проект» → «Разрешаю коммит» → «Разрешаю публиковать».
Забавно, но теперь я запускаю модель и на ней же допиливаю функционал того инструмента, через который ее запустил.
Проект лежит на GitHub: https://github.com/dsdred/goal-starter
Если есть возможность - прошу попробовать.
По запуску GoAl записал видео:
VK Видео
YouTube
2. Позвали меня выступить онлайн в середине сентября на конференцию по шинам данных. В конце недели расскажу подробнее.
3. У нас на «Часе развития» выступил известный всем гость. По-моему, было здорово. В эту пятницу будет второй гость, и я прямо вижу интерес коллег.
Было бы здорово создать площадку, на которой каждую пятницу выступает кто-то с докладом или практикой, и можно задать вопросы. Тогда «Час развития» станет проще прививать и масштабировать.
Кстати, как вам идея?
4. Вы уже играли в игру от Котова Димы?
«Жёлтый путь» — текстовая RPG симулятор 1Сника. Прямо в телеге, ничего ставить не надо, бери и играй @YellowPathBot
Пару раз в игре выгорел и пару раз переходил на другой стек.
5. В субботу получил письмо с интересным предложением поучаствовать в конкурсе: нужно разработать B2C-проект за три месяца с использованием ИИ (но есть несколько но).
Сижу и думаю - ввязываться в эту ИИ мясорубку или нет....
На этом пока все, всем хорошей недели!
Post #440
377

- 🔥 7
- 👍 4
- ❤ 1