#заметки #исследования

🤖ИИ вместо 👨‍🏫профессора (разбор исследования)

Продолжаем разговор об исследовании СКОЛКОВО, МФТИ и ТюмГУ, где ИИ-ассистент "Роберт" полностью заменил профессора в курсе "Биология поведения человека". Сегодня детально разберём 4 ключевых эксперимента из работы. Напомню: студенты взаимодействовали исключительно с ИИ (архитектура RAG + мультидисциплинарные базы знаний), а человек-медиатор лишь направлял процесс, не обладая экспертными знаниями.

1️⃣ ИИ-профессор в действии: как искусственный интеллект меняет обучение

42 студента без специальной подготовки проходили 6-дневный курс в двух форматах: традиционный (человек-преподаватель, 2023 г.) и инновационном (ИИ-ассистент "Роберт" + медиатор, 2024 г.). Методика, длительность и контингент были практически идентичны. Единственная переменная - формат. После курса провели глубинные интервью, оценивая не запоминание фактов, а понимание концепций через семантическую близость ответов к эталонным научным текстам.

Результаты:
🔹 У "ИИ-группы" выше точность терминологии и детализация ключевых идей.
🔹 Ответы студентов 2024 года охватили больше тем курса.
🔹 Объективные показатели усвоения материала у "ИИ-группы" оказались выше, но студенты выражали больше критики к процессу.

Критика:
🔸 Подмена цели обучения. Авторы оценивали "понимание" через близость ответов к источникам, что чем-то напоминает тест Тьюринга, но наоборот. Машина проверяет, насколько человек "запрограммирован".
🔸 Роль активности. Возможно, успех связан не с ИИ, а с изменением формата - студенты вынуждены были активно взаимодействовать, иначе не добавились результата. Пассивное слушание здесь исключено.

2️⃣ Научная точность в ответах ИИ-моделей: какую LLM выбрать?

Учёные сравнили 5 моделей (Gemini 1.5 Pro, ChatGPT-4o, Claude 3.5, YandexGPT Pro, GigaChat Pro) в роли преподавателя биологии. Каждую интегрировали в "Роберта" с RAG-архитектурой (7 векторных БД по генетике, нейронауке и др.). Эксперты-биологи оценивали ответы на специализированные вопросы.

Результаты:
🔹 Лучшая модель: YandexGPT Pro (высокая научная точность).
🔹 Топ-3: YandexGPT, Claude, ChatGPT.
🔹 RAG-архитектура критически важна: она имитирует "консилиум экспертов" — ответ от одной дисциплины критикуется и дополняется другими.

3️⃣ ИИ-оценщик: когда машина может быть субъективной?

Ответы LLM из Эксперимента 2 оценивали две стороны: 1) экспертная группа биологов, 2) ИИ-оценщик (GPT-4o Mini) по 4 критериям: научный стиль, междисциплинарность, понятность, конкретность.

Результаты:
🔹 Эксперты: Лучшая - YandexGPT.
🔹 ИИ-оценщик: Лучшая - ChatGPT.
🔹 Разрыв в оценках (например, GigaChat лидировал по понятности, Claude - по научности).

Критика:
🔸 Субъективность машин. Противоречия в оценках экспертов и ИИ доказывают: алгоритмы столь же субъективны, как люди. Использовать ИИ как единственного оценщика рисково.

4️⃣ Как архитектура модели влияет на качество ответов: роль междисциплинарного подхода и RAG

Сравнили "Роберта" (RAG + мультидисциплинарные БД) с "чистой" универсальной LLM (OpenAI o3-mini-high). Оценивали по тем же 4 критериям через ИИ-оценщик.

Результаты:
🔹 Специализированная архитектура "Роберта" превзошла "чистую" LLM по всем параметрам.
🔹 Наибольший разрыв - в междисциплинарности и конкретности.

Критика:
🔸 Неполное сравнение. Следовало также протестировать "чистые" модели и модели, дополненные RAG, чтобы понять: преимущество - в архитектуре или в самих LLM?

🔴 Выводы авторов исследования:
🔸 ИИ эффективен как "профессор", но требует пересмотра педагогики: упор на критическое мышление, а не запоминание.
🔸 Специализация побеждает: Мультидисциплинарные RAG-системы (типа "Роберта") дают более точные ответы, чем универсальные LLM.
🔸 Активность - ключ: ИИ раскрывает потенциал, только если студент вовлечён в диалог, анализ и сомнение.
🔸 Осторожно с оценкой: ИИ-оценщики субъективны и не заменяют экспертов.

❓ Главный вопрос на будущее: ИИ меняет не что учить, а как учиться. Но готово ли образование к философии "партнёрства с машиной"? Исследование не даёт ответов на этические и социальные риски - это поле для гуманитарных наук.