Сейчас занимаюсь написанием внутренней архитектуры ИИ-сервисов для одного из клиентов и вот о чём задумался.
Пожалуй, этот год ну, может быть, максимум следующий последний, когда в корпоративную архитектуру ещё можно относительно беспрепятственно закладывать использование сервисов OpenAI и Anthropic.
Уже сейчас доступ к этим сервисам возможен только через прокси или VPN, но всё же возможен. При этом уже была волна блокировок аккаунтов российских пользователей со стороны Anthropic.
А теперь посмотрите на ряд новостей.
1️⃣
Anthropic опубликовала открытый документ «2028: два сценария глобального лидерства в ИИ».
Один из первых случаев, когда frontier-лаборатория прямо встаёт в позицию: «Мы стратегический актив США в гонке с Китаем».
Внутри документа Anthropic открыто лоббирует закрытый фронтир для своих и продвижение «доверенного американского ИИ» на зарубежных рынках.
До этого frontier-игроки хотя бы старались выглядеть нейтральными провайдерами. Anthropic снимает маску, а OpenAI и Google уже там - через контракты с Пентагоном. ИИ-стек буквально становится оружием сверхдержавы.
2️⃣
В Claude Code обнаружили скрытый механизм идентификации пользователей, нацеленный в том числе на выявление пользователей, связанных с Китаем.
Он собирал информацию о часовом поясе, прокси и возможной связи с ИИ-лабораториями, а затем незаметно встраивал соответствующие маркеры в системные промпты, отправляемые на серверы Anthropic. Пользователи не могли этого заметить.
3️⃣
Alibaba разослала внутренний запрет на использование продуктов Anthropic, включая Sonnet, Opus, Fable и Claude Code.
4️⃣
Китай может ограничить зарубежный доступ к своим ведущим моделям искусственного интеллекта, включая ещё не выпущенные разработки, сообщает Reuters.
По данным агентства, власти в течение последнего месяца обсуждали этот вопрос с руководством крупнейших технологических компаний. Ограничения могут повысить расходы иностранных компаний, которые используют китайские ИИ-модели из-за их низкой стоимости и растущих возможностей.
И при желании таких новостей можно найти множество.
Да, вы скажете, что здесь идёт борьба США🇺🇸 с Китаем🇨🇳. Но «новый дивный мир вайбкодинга», в котором каждый мог писать код с помощью самых лучших моделей, стремительно исчезает на наших глазах.😕
ИИ превращается в инструмент доминирования и контроля👨🏫. Как только игрушки гиков🤓 становятся мощным инструментом, серьёзные дяди берут его под контроль.🎩 Это неизбежная сущность человеческой природы.
Что это означает для частного пользователя из РФ?
Всё просто: в один прекрасный момент ваша учётная запись со всеми наработками и балансом может быть удалена независимо от того, будут это модели из США или Китая. Может быть, не в этом году, но это произойдёт.
И то, что ваш VPN-сервер находится в Нидерландах или Нью-Йорке, не спасёт.👮
Если же говорить о корпоративных решениях, то здесь такой риск просто недопустим.
Уже сейчас пройти ИБ-аудит с использованием внешних американских моделей крайне сложно, но возможно. Скоро это может стать невозможным.
Какой же выход?
Пока можно закладывать использование топовых моделей для сложных задач, после предварительной очистки данных в соответствии с требованиями ИБ. Но при этом необходимо быть готовыми к переходу на внутренние решения.
Что это может быть?
Собственный сервер
Самый дорогой вариант, конечно же покупка собственного сервера.🤑
Здесь всё очевидно: если есть лишние миллионы на развёртывание собственной ИИ-инфраструктуры, это лучший вариант.
Open-source модели не сильно уступают топовым моделям, и на их основе можно строить вполне рабочие решения. Стоимость входа в целом может начинаться от миллиона рублей, а дальше уже нужно смотреть на конкретные потребности и возможности.
Отечественные ИИ-сервисы: YandexGPT, GigaChat, решения Т-Банка и МТС
Многие воротят нос от отечественных моделей, но перечитайте написанное выше и поймите: рано или поздно с ними придётся иметь дело.
Да, технологическое отставание было, есть и будет, но его будут стараться компенсировать архитектурой, а не только вычислительной мощностью.
Поэтому рекомендую тестировать решения отечественных ИТ-гигантов уже сейчас.
Роутеры и агрегаторы для доступа к разным моделям
Пока это до конца непонятный вариант.
Как они будут работать в условиях ужесточающейся технологической, да и вполне обычной войны, которая будет охватывать всё новые и новые регионы мира, непонятно.🤯
API-доступ к моделям, развёрнутым внутри РФ
Вроде бы отличный вариант — API-подключение к уже развёрнутым моделям на специализированных серверных мощностях с необходимой системой защиты внутри РФ, а то и с аттестацией, что снимает значительную часть вопросов со стороны служб ИБ.
То есть тот же Qwen развёрнут в дата-центре на территории РФ: просто подключаешься по API и платишь копейки за токены.
Казалось бы, отличный вариант, но на практике у меня возникла сложность.
Модель с одинаковыми параметрами и квантизацией выдавала гораздо худший результат, чем та же модель на наших собственных мощностях.
Связано ли это с настройками инференса в дата-центре или с нашими кривыми ручками и насколько это распространено пока непонятно. Выясняем.
Но такой вариант, на мой взгляд, очень перспективен.
Аренда мощностей в дата-центре с собственной настройкой
Такой вариант тоже возможен, но, на мой взгляд, только как временное решение. Он достаточно сложен с точки зрения настройки и последующей поддержки.
Как итог
Если вы думаете, что ситуация с блокировкой интернета😍 и сервисов это сугубо российская дурость, то спешу вас обрадовать: скоро это будет происходить повсеместно, а блокировка доступа к ИИ по флагу окажется одной из первых мер.
Это требует особых подходов к проектированию не только корпоративной ИИ-инфраструктуры, но и вашей личной. Особенно если ИИ уже стал вашим рабочим инструментом.
P. S. За политическую агитацию, срач, софистику, оскорбления отечественных разработчиков, да и просто по настроению моей левой пятки буду безжалостно банить в комментариях к этому посту. 👀
Учтите это, прежде чем высказывать своё очень ценное мнение😬