Градиентный спуск нулевого порядка - это классический метод простой итерации, который ищет корень функции (производная нулевой степени оставляет саму функцию как есть). Градиентный спуск первого порядка ищет локальный минимум, а градиентный спуск дробного порядка должен сходиться где-то между ними (так и есть, но чаще он жутко не устойчив). Ниже показаны три итерационных процесса из одной точки, заданных производными степени 0, 1 и 1/2.