*А что такое «сочетания» и что значит восклицательный знак возле числа?

Сочетания — это термин из комбинаторики. Восклицательный знак обозначает факториал (тоже термин из комбинаторики). Чтобы во всём разобраться, заходите в тренажёр. Рекомендуем уроки: «Факториал», «Выбор без учёта порядка», «Сочетания».

Продолжение задачи

Кстати, если бы мы спросили, сколько получится выпуклых четырёхугольников, то задача была бы гораздо коварнее. Дело в том, что не все четырёхугольники, состоящие из одних и тех же букв, — одинаковые. Например ABCD = BCDA ≠ ADBC. Не все четырёхугольники окажутся выпуклыми, так что порядок имеет значение. 😅

И вот эту задачу уже проще решить геометрически, чем комбинаторно: предлагайте свои варианты в комментариях!