Заметим, что 0.04=0.2^2, тогда выражение имеет вид t^2-4t, где t=(0.2)^x, t^2=(0.2)^2x.
Более того, h(t)=t^2-4t=(t-2)^2-4, где график функции h(t) — парабола, ветви которой направлены вверх, с вершиной в t=2.

Оценим аргументы:
Пусть x_1=sqrt(5)-sqrt(10), x_2=sqrt(6)-sqrt(11)
sqrt(5)-sqrt(10) and sqrt(6)-sqrt(11)
sqrt(5)+sqrt(11) and sqrt(6)+sqrt(10)
16+2*sqrt(55) and 16+2*sqrt(60)
2*sqrt(55) < 2*sqrt(60) => sqrt(5)-sqrt(10) < sqrt(6)-sqrt(11) <=> x_1<x_2.

Рассмотрим функцию u(x)=(0.2)^x — строго убывающая функция, так как f(x)=a^x, a ∈ (0;1) — строго убывающая функция. Тогда x_1<x_2<0 => u(x_1)>u(x_2)>u(0)=1 => t_1>t_2>1.

Важно заметить, если бы вершина параболы была в точке t_0<=1, то можно было закончить решение и сказать, что x_1<x_2<0 => u(x_1)>u(x_2)>1 => t_1>t_2>1 => h(t_1)>h(t_2) => A>B, так как функция h(t) была бы строго возрастающая на промежутке от (t_0; +infy), но ввиду того, что t_0=2, и на промежутке (-infty;2) она строго убывающая могут быть такие варианты:

2>u(x_1)>u(x_2)>1 => 2>t_1>t_2>1 => h(t_1)<h(t_2) => A<B;
u(x_1)>2>u(x_2)>1 => t_1>2>t_2>1 => A ? B — здесь мы вообще не уверены, что больше, так как они на разных участках монотонности;
u(x_1)>u(x_2)>2 => t_1>t_2>2 => h(t_1)>h(t_2) => A>B.

То есть мы не может дать однозначный ответ, поэтому нужно проверить, что u(x_2)>2, т. е. t_2>2 (или первый случай).

Проверим u(x_2)=0.2^[sqrt(6)-sqrt(11)]>2:

0.2^[sqrt(6)-sqrt(11)]=5^(-1*[sqrt(6)-sqrt(11)])=5^[sqrt(11)-sqrt(6)]. То есть
5^[sqrt(11)-sqrt(6)]>2.
5^1/2>4^1/2=2, то есть достаточно доказать, что sqrt(11)-sqrt(6)>1/2.
sqrt(11)>1/2+sqrt(6)
11>6.25+sqrt(6)
4.75>sqrt(6)
4.75^2>6
22.5625>6 что верно.

То есть
sqrt(11)-sqrt(6)>1/2, следовательно 5^[sqrt(11)-sqrt(6)]>5^1/2>2.

Итог: u(x_1)>u(x_2)>2 => t_1>t_2>2. Поэтому выполняется третий вариант и A>B.