Прежде чем обсудить оставшиеся полстатьи результатов. Прошу обратить внимание на Рис. 3. Вы видите синие точки, через которые проходит плоскость. Эта плоскость - простой пример той самой модели множественной линейной регрессии для случая двух ковариат. Видим что модель хорошо обучена и позволяет предсказывать значение
y для синих точек визуально неплохо. Однако, в этом же пространстве я нанес красную точку, которая явно не принадлежит распределению синих точек, то есть Out-Of-Distribution или просто OOD. Как видно, корректно предсказать значение y этой красной точки у модели не получится В современном машинном обучении с примерами OOD предсказаний многие из нас, я надеюсь, уже сталкивались. Галлюцинации больших языковых моделей хороший пример OOD предсказаний. Когда модель пытается предсказывать значение для чего-то сильно отличающегося от ее тренировочной выборки, доверять такому предсказанию решительно нельзя, поскольку такое предсказания будет ненадежным (мы про это даже [статью] написали). Инженерам машинного обучения это понятно издревле. Хорват и его коллеги не могут прийти к этой идее как минимум уже 12 лет (да, это было даже в первой статье про часы Хорвата). Последующие результаты, охватывающие половину текста статьи в журнале Science Advances, к моему горькому сожалению, OOD предсказания. Что ж, давайте вкратце пробежимся по ним.
- Рис 4. Различия в МПЖ разных полов. Исходно модель не имела информации о различиях в МПЖ полов и сгенерировала результаты с большой дисперсией, каждому из которых доверять не приходится в силу описанных выше причин. И хотя формально проверить точность предсказаний можно на основе опубликованных данных - авторы этого не делают.
- Рис 5. Различия в МПЖ мышей под различными интервенциями. Исходно модель не имела информации о каких-либо различиях в МПЖ мышей. Например, модель предсказала, что мыши с нокаутом рецептора гормона роста живут дольше, хотя не метилирование не во всех тканях указывает на это консистентно. И хотя результаты на самом деле можно было проверить, сопоставив предсказанный эффект с наблюдаемым, такого сопоставления проведено не было. Но хотя отрицательный результат не спрятали.
- Рис 6. Различия в МПЖ репрограммирующихся фибробластов человека. Как раз в нашей [статье] мы детально объясняли на этом же примере, почему такие «предсказания» - фуфло. Предсказывать что-то в репрограммировании с помощью каких-либо часов старения или часов МПЖ, вопиющий пример спекуляций на OOD предсказаниях. Доверия к этому никакого. Хуже всего то, что в данном случае правильность предсказаний еще и никак не проверить - результат нефальсифицируем и, следовательно, не является научным.
- Рис 7. Различия в МПЖ для людей из различных когортных исследований. Та же история, что с мышами, модель не учила никакой вариации на ПЖ людей, ожидать, что она будет давать научные находки - наивно. К слову, на рисунке можно видеть ситуацию, что человек, которому 46 лет имеет МПЖ 22 года - абсурд. Кстати, между полами и расами различий в МПЖ также не нашлось. Возмущает еще то, что в этих датасетах присутствует информация о смертности людей и, строго говоря, можно было посчитать точность предсказания в формате ROC AUC или Concordance Index. Авторы этого не сделали.
- Рис 8. Различия в МПЖ у собак различных пород. История похожая на людей и мышей, модель не учила вариацию на собак, но от модели ожидается, что модель эту вариацию «поймает». Известно что породы крупных собак живут в среднем меньше чем маленькие собаки, однако даже эту зависимость поймать не удалось (r=0.03).