GPT-4, бегущий по лезвию

Придумал интересный эксперимент. Сможет ли бот определить, с кем он говорит - с человеком или с другим ботом?

Для этого я столкнул лбами 2 совершенно разные сетки - GPT-4 в качестве инспектора и сберовский Гигачат в качестве бота, который должен выдавать себя за человека.

Получилось просто захватывающе, каждый второй диалог - готовый сюжет для сериала Netflix во вселенной Blade Runner. В истории на скриншоте Gpt загоняет оппонента в элегантную ловушку, которая показывает недостаточную глубину картины мира. В других примерах такой же трюк не срабатывает.

Почитать диалоги и запустить эксперимент самому можно в колабе (если нет доступа к Гигачату, его можно заменить на gpt-3.5)

Ну и пользуясь случаем хочу порекламировать свою поделку - GigaChain. Это опенсорсная библиотека для решения задач с помощью больших языковых моделей. Это форк известной библиотеки LangChain с поддержкой русского языка (на уровне промптов) и некоторых LLM для локального рынка (Сбер уже, Яндекс на подходе).