Чуть-чуть конкретизируя — пусть написан функционал
I(f) = \int L(x,f,f') dx,
и мы хотим его максимизировать или минимизировать. (Если бы f' под интегралом не было — то это была бы просто максимизация/минимизация L(x,y) по y при каждом фиксированном x, и ничего особо интересного.)

Как это сделать? Да точно так же — чуть-чуть поменяем функцию, сдвинувшись от f к f+ε*g, посмотрим, насколько поменялось значение I(f), и потребуем, чтобы в линейном по ε порядке был ноль, в каком бы "направлении" g мы не двигались. Просто не будем задумываться о том, что пространство бесконечномерное!