UPDATE OpenAI deactivating (пост тут)

Нашел причину бана своих акков!

Оказалось проблема была не в IP и не в RU тексте

LiteLLM сливал все внутренние метаданные прокси напрямую в OpenAI

Что утекало

Если клиент передавал хоть какую то metadata (например sessionId в теле реквеста то LiteLLM добавлял к ней ВСЮ внутреннюю инфу прокси хотя должен был писать во внутренний лог

{
  "metadata": {
    "sessionId": "abc-123",              // от клиента
    "headers": {                          // ВСЁ ЭТО УТЕКАЛО
      "x-real-ip": "1.2.3.4",
      "x-forwarded-for": "5.6.7.8, ...",
      "user-agent": "RestSharp/112.1.0"
    },
    "user_api_key_spend": 287.83,
    "endpoint": "https://my-proxy.com/..."
  }
}

OpenAI видел (лайт ллм душка прям все собирал)
Все IP адреса через x-forwarded-for
Что вы используете прокси
Информацию о расходах и ключах
User-Agent = автоматизация
Внутреннюю структуру сервиса

→ Бан 3 аккаунтов (одному было 2 года обидно)

Как это произошло

У меня появилось приложение клиент которого использует RestSharp для подключения к прокси (популярная C# библиотека 9.8k звезд) просто передавал sessionId для трекинга (честно не знаю то ли это клиент делает то ли разработчик)

metadata = new { sessionId = "abc-123" }

Прям внутрь реквеста к ллм

        "role": "user",
        "content": "Привет! Как дела?"
      }
    ],
    "temperature": 1,
    "metadata": {
      "sessionId": "a5b3e26b-18c7-4017-9bcd-c2db6e450f78"
    },
    "stream_options": {
      "include_usage": true
    }
  }'

И всё LiteLLM начинал сливать всю инфу в OpenAI

Код проблемы, пока нашел с курсором но передал так же людям проверить!

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/litellm_pre_call_utils.py#L892

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/proxy_server.py#L7855

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/route_llm_request.py#L122

https://github.com/BerriAI/litellm/blob/main/litellm/llms/openai/chat/gpt_transformation.py#L436


Вы в зоне риска если
Используете LiteLLM Proxy
Клиенты передают metadata
Используете nginx перед LiteLLM
В РФ + VPS за рубежом

Большинство клиентов не передают metadata вообще и юзают обычные клиенты на питоне типа AsyncOpenAI
Но если хоть один клиент начинает использовать metadata утечка уже началась....


Кто на LiteLLM и ходит к openai напрямую проверьте это по списку

1 Проверьте логи что реально уходит к провайдеру (сделайте тест с передачей метадаты)
2 Временно запретите клиентам передавать metadata


Далее буду осторожнее
Со мной такое в первый раз (за один акк прям обидно 2 года ему было)