Сосун

Недавно Telegram прдеставили cocoon - децентрализованную сеть для инференса моделей LLM. Почти одновременно с ними (но не так громко) запустились еще 2 подобные сети - gonka.ai от Либерманов и Loyal который собрал сумашедшие 75 млн долларов на IDO месяц назад. Все эти системы должны работать так:
- У меня есть ГПУ, я закачиваю на нее модель, начинаю инференс. Люди смогут посылать запросы в сеть и они будут распределяться между такими же людьми как я. Деньги которые платят за токены люди будут распределены между владельцами ГПУ

А что насчет приватности? Как я могу быть уверен что владелец ГПУ не будет читать/сохранять мои запросы?
- С этим все гладко; Современные NVIDIA GPU оснащены Trusted Execution Environment который позволяют передавать данные на гпу в зашифрованом виде, и расшифровывать их уже в VRAM, используя ключ зашитый в TPM внутри карточки. Бай дизайн прочитать ваши запросы будет невозможно. Эта штука не должна добавлять значимый оверхед к скорости инференса

Как я могу гарантировать что провайдер реально инференсит ту модель что указано? Почему он не может запустить 8b вместо 70b или вообще отвечать случайными текстами
- С этим поможет модуль Hardware Root of Trust в nvidia карточках. Оно позволяет сделать Zero Knowledge Proof того что гпу выполняет именно ту модель и с теми параметрами что заявлено. Работает это очень не тривиальным образом (и по моему мнению это все довольно жидко), но есть что есть. Так же можно использовать стандартный для крипты подход - ты замораживаешь большое число денег как залог. Очень маленькое количество генераций верефицируется другими участниками, если другие пруфят что ты обманывал сеть твой залог забирают.

Подробнее про это можно почитать тут или спросить в коментах

Неужели все настолько хорошо?
- Пока не очень понятен конкурентное преемущество этой штуки над например опенроутером. По цене токены продают очень близко к себестоимости ГПУ часа, так что оно не выйдет сильно дешевле. Демпинга засчет дешевых косьюмерских карт тоже не будет, все эти новомодные чипы есть только в H100+ карточках. Разве уж вопрос прайваси остается, но кажется что текущее законодательство пока не очень готово к подобным системам.

Если вы видите какой то классный юзкейс у этого всего буду рад прочитать в комментах