Иван Тюкин, профессор Центра ИИ Сколтеха и руководитель Лаборатории надёжного, адаптивного и доверительного искусственного интеллекта, в интервью для «МИР 24» рассказал о том, почему современные ИИ-системы всё сложнее проверять, какие риски возникают при использовании готовых моделей и где должны проходить границы самостоятельности таких систем.
🧮 Современные ИИ-системы всё сложнее проверять на безопасность. При этом новые версии появляются быстрее, чем специалисты успевают проверить предыдущие.
«Когда машина становится сложнее и сложнее, мы доходим до точки, когда нам очень тяжело верифицировать её работу. Сейчас ИИ достиг таких успехов, что решает задачи математических олимпиад на уровне золотых медалистов, решает крупные научные проблемы. При этом для проверки такой системы на отсутствие утечек и уязвимостей требуются огромные усилия. Пока мы сертифицируем одну версию, уже выходит следующая, и человечество просто не успевает за скоростью развития этих систем», - объясняет профессор.
🌫 Иван также рассказал о моделях с открытыми параметрами. Изменение нескольких значений может повлиять на их поведение и привести к появлению скрытых уязвимостей.
«Если злоумышленник имеет доступ к параметрам модели, ему необязательно переобучать её, чтобы заложить туда злонамеренное поведение: достаточно изменить несколько параметров. При этом мы не можем полностью проверить такую модель и не можем самостоятельно обучить её с нуля. Поэтому в определённой степени нам приходится доверять тому, что опубликовал разработчик. А обнаружить скрытое поведение довольно сложно», - рассказывает Иван.
🌫 Предусмотреть все сценарии работы сложной модели заранее нельзя. Важно уметь быстро исправлять проблемы, которые обнаруживаются уже в процессе.
«Априорные гарантии в сложной ситуации предоставить очень сложно, потому что мы живём в открытом мире и заранее не знаем всех задач, которые будет решать универсальная машина. Возникает другой вопрос: если что-то уже произошло, можем ли мы быстро и дёшево изменить машину так, чтобы она перестала делать именно то, что нам не нравится, но при этом сохранила все остальные свойства, которые мы от неё ожидали», - говорит профессор.
🌫 ИИ не должен становиться заменой собственному мышлению. Его можно использовать для поиска информации и дополнительных аргументов, но окончательное решение человек принимает сам.
«Безопасное использование, на мой взгляд, содержится в рефлексивном общении с ИИ. Не нужно воспринимать его как конечный инструмент решения конкретных задач. Лучше относиться к нему как к подручному средству, которое может помочь фактами, дополнительными доказательствами, сопоставлением информации. Но необходимо пропускать всё это через собственный фильтр критического мышления», - объясняет профессор.
📊 При этом последствия использования ИИ могут быть серьёзнее обычных ошибок модели. Профессор обращает внимание, что человек постепенно передаёт системе всё больше собственных когнитивных функций.
«Основная опасность всё-таки не в том, что машина сама выйдет из-под контроля, а в том, что она будет использована способами, которые мы с вами не предусмотрели. И второе — за счет того, что эта машина используется широким кругом людей, в частности детьми и подрастающим поколением, вот здесь может произойти непоправимое, и возникнет такой феномен, как «когнитивная лень», когда мы отказываемся сами, сознательно делегируем часть когнитивной функции машине и, вообще говоря, встаем на путь такой вот деградации».
⚠️ Поэтому, считает профессор, вместе с развитием ИИ должны появляться и понятные правила его использования, а также наличие технической возможности его остановить.
«Лучше всё-таки не запрещать, не сдерживать, а устанавливать рамки использования — начиная со школ, с университетов, на работе. Это, скажем так, гигиена общения с ИИ. Важно, чтобы в любой момент систему можно было физически выключить. Это непросто, поскольку ИИ работает на серверах, но возможность его деактивации в экстренной ситуации должна быть предусмотрена».