Как разработать самовосстанавливающуюся распределенную службу?

Любая система, которая должна быть способна к самовосстановлению, должна в определенной степени иметь возможность обрабатывать ошибки и разделения (т. е. когда часть системы не может получить доступ к остальной части системы).

Для баз данных обычным способом решения проблемы толерантности к разделам является использование кворума для записи. Это значит, что каждый раз, когда что-то записывается, минимальное количество узлов должно подтвердить запись.

Минимальное количество узлов, необходимое для корректного восстановления после отказа одного узла, составляет три узла. Таким образом, два исправных узла смогут подтвердить состояние системы.

Для облачных приложений эти три узла обычно распределяются по трем зонам доступности.