Океееей, а как это понимание ROC AUC связано с тем, которому нас учили - с площадью под кривой? А вот как. Выстроим все единицы в ряд вдоль оси Х, упорядочив по предсказанному скору. А нули - вдоль оси Y. Выберем случайную точку в этом квадрате: она соответствует какой-то паре нолика и единички. Кривой обозначим все такие пары, в которых скоры у нолика и единицы (примерно) равны друг другу. Под кривой скор выше у единички, над кривой - у нолика.

Поэтому, если вы обучаете модель для бинарной классификации, я крайне рекомендую выбирать модель по ROC AUC - а выбор порога отсечения максимально отложить. Всё равно к тому моменту, когда модель дозреет до применения, мир безнадёжно изменится, доля единичек будет совсем иной, и порог придётся менять. Но если у модели высокий ROC AUC, она окажется к этому готова.