Как бы вы себя почувствовали, если бы, придя ко врачу, услышали от него "Моя интуиция ржавеет"?...
Для любящих краткость:
В течение года исследователи работали со специалистами из области радиационной онкологии, наблюдая, как проходит внедрение ИИ. Всего в эксперименте участвовали 42 человека: 15 радиационных онкологов, 12 медицинских физиков, 7 дозиметристов и 8 администраторов больниц.
На дистанции в год(!) участники от состояния "Как классно, мы так быстро работаем, у нас появилось время" дошли до "Кто я? Нажиматель кнопок?".
Промежуточные стадии включали в себя осознание, что экспертиза начала размываться и делать привычные вещи без ИИ становится очень сложно.
А подробнее - ниже.
Итак, в больницах, связанных с лечением онкологии лучевой терапией произошло внедрение ИИ - системы с условным названием RadPlan. Он позволял составить план облучения пациента.
В течение года с согласившимися участвовать в эксперименте проводились воркшопы и интервью с опросами их ощущений от внедрения ИИ.
Одним из способов сбора информации было рисование картинок, наподобие той, что в посте выше.
Классный, кстати, метод. Если нужно будет узнать о состоянии человека - буду просить его рисовать картинку из палочек, я заценила
Фаза 1 - Оптимизм первой волны
В первые месяцы внедрения RadPlan все количественные метрики были однозначно положительными: например, планирование стало примерно на 15% быстрее, а планы - немного лучше. Как выразился один администратор больницы: "Эти цифры - золото, именно так и выглядит успех".
Но некоторые уже начинали чувствовать, что что-то не так.
Фаза 2 - Бессимптомные эффекты
Один из самых ранних бессимптомных эффектов проявился в изменении строгости принятия решений. Например, несколько дозиметристов начали полагаться на первое предложение RadPlan, не исследуя столько альтернативных ручных подходов, сколько раньше: "Возможно, я пропускаю часть моей обычной настройки. ИИ планирует так быстро… и результат вполне приличный. Так и тянет просто принять!"
Еще один тихий, но значимый сдвиг произошел в области клинической интуиции и рефлексивности. Несколько врачей упоминали, что стали меньше полагаться на свое "чутье" при проверке планов, сгенерированных ИИ.
Ощущение ухудшения интуиции запоминающе сформулировал один старший радиационный онколог, признавшийся: "Моя интуиция ржавеет".
Другой развил эту мысль дальше: "Старый ИИ был неуклюжим… в нем было трение, и это заставляло нас думать. Новый ИИ бесшовный… он делает чрезмерную зависимость легкой и почти незаметной, перекладывая на себя сам акт мышления..."
Однако, один администратор больницы спросил: "Если все выглядит хорошо, в чем именно проблема?"
Ох уж эти эффективные менеджеры, да? :)
Фаза 3 - Хронический вред
Примерно к середине внедрения, спустя около 6 месяцев, опасения участников стали менее гипотетическими и более конкретными. То, что раньше было мягкими впечатлениями о "заржавевшей интуиции", превратилось в заметное снижение способностей.
Врачи отмечали, что если бы у них забрали ИИ, они бы не справились с потоком пациентов.
Исследователи провели неформальное упражнение: попросили нескольких дозиметристов создать план с нуля без ИИ в рамках симуляции во время воркшопа. Они справились с задачей, но это заняло больше времени, чем раньше, и вызвало у них дискомфорт. Один из участников сказал: "Как будто я разучился некоторым оптимизациям, которые раньше знал наизусть".
Параллельно снижалась уверенность в человеческом суждении. Один физик описал своего рода зависимость: "Я всегда проверяю ИИ и иногда сомневаюсь в себе, даже когда не согласен с ним".
"Мы едем по асфальту, уложенному поверх воды", - предупредил другой старший физик, точно передав ощущение потери безопасности. Дозиметрист добавил: "Если RadPlan отключится на неделю, почва уйдет из-под ног раньше, чем мы вспомним, как стоять самостоятельно".
Фаза 4 - коммодификация личности
... или страх того, что профессиональная роль сводится к винтику в процессе, управляемом ИИ, тем самым подрывая чувство идентичности, уникальности и достоинства на работе.
Практики опасались превратиться всего лишь в "нянек для ИИ" или "нажимателей кнопок", чья экспертиза больше не имеет значения.
Они не боялись быть замененными. Они боялись оставаться трудоустроенными, но с уменьшенным смыслом работы.
"Что будет значить быть хорошим радиационным онкологом через 10 лет? Уметь управлять ИИ?" - риторически спросил один из них.
Другой участник сформулировал свои ощущения так: "Я люблю технологии и то, что они могут делать. Но я также люблю то, что делаю сам. Я не хочу, чтобы ИИ забрал на себя мышление до такой степени, что я буду нужен только для подписи. Я хочу оставаться настоящим экспертом, а не помощником ИИ. Если все придет к этому, тогда в чем смысл всей моей подготовки? В чем смысл называть меня специалистом?"
Были ли какие-то меры противодействия?
Да. Старшие (!) специалисты одернули себя, например, один онколог ввел для себя правило раз в неделю составлять план обучения без ИИ.
Другой физик придумал легкую еженедельную кофейную ставку: команда пыталась предсказать результат RadPlan до его запуска, а тот, кто оказывался ближе всех, получал бесплатный кофе от остальных. Он добавил: "Ничто так не держит мозг в тонусе, как латте на кону" :)
Однако менее опытные специалисты не были так предусмотрительны.
Позже все участники вместе пришли к идее списков того, что нельзя автоматизировать, а также к решению, что освободившееся благодаря ИИ время необходимо инвестировать в поддержание навыков.
И что с этим делать?
В статье предлагается триада "обнаружить - сдержать - восстановить".
На примере - почувствовали, что одобряете решения ИИ без доп.проверок слишком часто - это обнаружение. Ввели сдерживающие к этому меры, допустим, обязательное ревью коллегой. Восстановление - вернули ручную практику того, что ИИ автоматизировал.
Это, конечно, очень упрощенная интерпретация, в статье расписано подробнее.
————————————
Оригинал статьи тут.
У меня есть перевод на русский, но он корявенький, сорри :(
К чему я это всё.
Когда я подумала об этой статье дольше, чем минуту после прочтения - мне стало жутковато. Радиационные онкологи - это высокоинтеллектуальные специалисты, с соответствующими навыками мышления. Если даже люди такого уровня всего за год (!) наблюдают такие эффекты...
Конечно, можно сказать, так ожидаемо же, ну. Но нюанс в том, что из области рассуждений о гипотетическом вреде ИИ эта статья перевела для меня всю эту теорию в нечто.. доказанное.
Отдельно жутко, что это не та сфера, где цена ошибки незначительна. Это мы, программисты, ну баганули, поправили. Ну полежал прод часик :))
Anyway, программисты или нет - внедрять ИИ надо аккуратно и с вниманием к людям. И если сеньоры одергивают себя, то джуны с этим не справляются...
Штош, предупрежден - значит вооружен, ведь да?...