​​До свиданья наш ласковый миша

Мир IT постоянно находится в движении, меняются технологии, подходы, условия. И вчерашние технологии оказываются не соответствующими текущим вызовам. Поэтому нужно находить в себе силы пересматривать старые привычки и менять используемый стек решений.

Сегодня мы поговорим об mdadm, старом-добром mdadm, который мы все любим, знаем и используем.

Но увы, время mdadm прошло и сегодня он уже не выполняет возлагаемых на него функций и не оправдывает ожиданий.

В чем проблема? А проблема в таком явлении, как bitrot, битовое гниение (https://t.me/interface31/2600) – деградация данных, не связанная с физическим выходом из строя накопителя и часто даже не препятствующая чтению данных, так как встроенные во многие форматы методы коррекции позволяют такие ошибки исправлять.

Но на системах холодного хранения данных такие ошибки могут накапливаться и незаметно повреждать данные вплоть до невосстановимого уровня.

Об этом давно предупреждали разработчики Proxmox и поэтому в доступных вариантах организации хранилища mdadm нет, что вызывало и вызывает недоумения у многих пользователей.

Но они правы и буквально вчера мы столкнулись с неприятной ситуацией с битовым гниением на mdadm.

Медицинская организация, некие наборы данных хранятся в файловом хранилище в виде архивов подписанных ЭП, срок хранения требуется большой, десятки лет. Это требования регламента и единственной альтернативой ему может служить бумажный архив, который, при выполнении всех требований по защите персональных данных становится вовсе неподъемным.

Вчера, при обращении к одному из таких архивов выяснилось, что архив читается, распаковывается, но проверку подписи не проходит. Т.е. фактически мы утратили часть архива, так как данные документы перестали считаться подлинными.

Учитывая важность архива конечно-же делались его копии, в т.ч. и во внешнее хранилище. Извлеченная из бекапа копия проверку подписи прошла.

Следовательно? Следовательно мы имеем дело с классическим bitrot, которое тихо и незаметно портит данные, и никто об этом ни сном, ни духом.

Мы запустили проверку архива и результат был неутешительный, повреждены оказались еще около десятка файлов, один из них имел ошибки распаковки, но все-таки распаковался.

Да, десяток файлов из тысяч – это мало, но в данном случае вполне достаточно для создания серьезных проблем.

А причем тут mdadm? А при том, что все это хранилище как раз было организовано средствами mdadm: LVM поверх двух зеркал по 4 ТБ.

Да, mdadm защищает нас от физического выхода диска из строя, но от битового гниения спасти не может.

Кто может? Современные файловые системы с контролем целостности данных: ZFS или btrfs, но для этого избыточность также должна создаваться средствами этих ФС, в этом случае они смогут эффективно выявлять повреждения и восстанавливать их за счет избыточных данных.

Если же вы просто натянете btrfs поверх mdadm – то ничего работать не будет, избыточность брать неоткуда.

Поэтому, как бы прост, понятен и удобен не был mdadm – его время вышло, говорим старичку спасибо и отправляем на заслуженную пенсию.