Петля в DNS в k8s

Мы на работе используем стек victoriaMetrics. vmstorage вынесен отдельно на ВМ. В логах vmselect увидел стандартную ошибку резолва DNS

dial tcp4: lookup <host>

Далее сростил ноду, на которой запущен под vmselect с подов nodelocaldns, запущенной на той же ноде. Там была ошибка

[FATAL] plugin/loop: Loop (169.254.25.10:59951 -> 169.254.25.10:53) detected for zone ".", see https://coredns.io/plugins/loop#troubleshooting. Query: "HINFO 3948066235463357779.1875856472781764904."

Такое бывает если у нас DNS петля. В конфигурации nodelocaldns:

.:53 {
    errors
    cache 30
    reload
    loop
    bind 169.254.25.10
    forward . /etc/resolv.conf
    prometheus :9253
}

Те зону . мы ворфардим в /etc/resolv.conf на ноде. А в нем в свою очередь, помимо основных DNS естественно указан адрес 169.254.25.10. В итоге часть внешних запросов могла уйти обратно в локальный DNS-кеш и образовать петлю. Это проявлялось не всегда, потому что forward при нескольких upstream по умолчанию выбирает их случайно.

Тут еще важно заметить, что plugin/loop детектит такую проблему на своем стартовом HINFO probe и завершает процесс, поэтому nodelocaldns может уходить в рестарты.

Для починки, нужно в forward передать основные используемые DNS адреса.

#k8s