Я сейчас много занимаюсь созданием более автономных агентов — старый ноутбук превратил в личный компьютер агента — и вспомнил, что так и не прислал ссылку на штуку из воскресной Точки. (Кто не смотрел — посмотрите! Там мы целую передачу говорим про ИИ с прекрасным Иваном Ямщиковым!). Там я говорил и про стоимость моделей, и про случай войны — в общем, про то, что мы будем делать, если доступа к передовым моделям за смешные деньги у нас не станет. Вот одно из решений. Можно, конечно, собрать и своё, но это удобно тем, что кто-то уже сделал.

Называется Project NOMAD. Сделал его Крис Шервуд, сетевой инженер с ютуб-каналом про роутеры, делал больше года. Это одна команда в терминале на любой линукс-ящик, после которой у вас локально, без интернета, живут: вся Википедия с картинками (около 100 ГБ), карты OpenStreetMap по регионам, Khan Academy, библиотека Гутенберга, медицинские справочники и инструкции по ремонту — и рядом с ними локальная модель через Ollama, которой можно скормить свои документы и задавать по ним вопросы. Интернет нужен один раз, на скачивание. Минимальные требования смешные: два ядра и 4 ГБ памяти. Чтобы модель отвечала с нормальной скоростью, хотят 32 ГБ оперативки и видеокарту — тогда 7–10 миллиардов параметров бегают примерно как ChatGPT, а влезает и до 70. Всё открытое, бесплатное, в марте проект был первым в трендах GitHub, сейчас 37 тысяч звёзд.

Автор собирал это на случай, если интернет исчезнет: «как вы будете учить детей?». Мой сценарий проще и, по-моему, вероятнее. Сейчас за 200 долларов подписки вам раздают токенов на порядок больше, чем вы платите. Если те, кто кричит «пузырь», окажутся правы хотя бы наполовину, однажды вы проснётесь в мире, где модели по таким ценам больше никто не раздаёт. И тогда чемоданчик под кроватью с последним хорошим чекпоинтом — это ваш личный оракул. Отвечать будет медленно: та скорость, с которой токены летят в чат, — это очень много чужих видеокарт. Но будет отвечать.

Ну и честно: модель на 7 миллиардов и Astra — это разные вселенные. Чемоданчик не заменит подписку, пока подписка есть. Он на тот день, когда её не станет.

Потыкать: projectnomad.us, код на GitHub.