Три часа до начала смены — а чат не работает

Или как мы за несколько дней практически с нуля пересобрали техническую инфраструктуру «1221», чуть не приостановили консультации и стали гораздо устойчивее к сбоям.

Как многие уже знают, у Яндекса возникли серьёзные проблемы с инфраструктурой. А именно в его облаке работала платформа, через которую наши психологи консультируют подростков. Вместе с Яндексом перестала работать и она.

Четверг, 8 октября, ровно неделю назад. До начала работы чата — три часа.

Мы всерьез рассматриваем вариант приостановить консультации на несколько дней. Но решаем побороться💪🏻

За три часа команда запускает резервную версию платформы, и консультации начинаются вовремя, но без сложностей не обходится: чат работает нестабильно, и не все подростки могут до нас добраться.

Воскресенье, 11 октября. Выходной? Какой выходной?

Советуемся сразу с тремя техническими экспертами и решаем не ограничиваться временными решениями, а взяться за проблему по-крупному — практически заново выстроить нашу техническую инфраструктуру.

Понедельник, 12 октября. Начинаем большой переезд.

Задача со звездочкой: после сбоя у Яндекса огромное количество компаний одновременно переносит свои сервисы, и у других провайдеров — очереди.

Наташа, основательница «1221», рассказывает одной из компаний, чем мы занимаемся и почему нам важно не прерывать консультации. Нам идут навстречу и помогают ускорить подключение 🔥

Понедельник — среда. Собираем всё заново.

Наши технические волонтёры разворачивают платформу на новых серверах. А заодно создают систему, которая позволит гораздо быстрее восстанавливать её работу в случае новых аварий.

Теперь у нас есть специальный скрипт для быстрого запуска платформы в другом облаке и отдельный сервер для резервных копий данных.

Очень надеемся, что проверять всё это на практике больше не придётся! Но, возможно, мы проведем учения 😁

Среда, 14 октября. Мы снова в строю!

Чат снова работает штатно!

Есть только одно ограничение: наши психологи пока не видят переписки с 8 по 13 октября. Если вы обращались к нам в эти дни, психолог может попросить немного напомнить, о чём вы говорили. Надеемся на понимание ❤️‍🩹

И главное.

За всю эту неделю мы ни на один день не прекращали консультировать подростков. Да, с техническими проблемами, да, иногда с ограниченным доступом. Но продолжали делать свою работу.

Огромное спасибо нашим техническим специалистам, волонтерам и всем, кто помогал советами, искал решения, переносил серверы и буквально спасал работу чата.

Вы невероятные. Правда 💜💛

А мы продолжаем работать. И очень надеемся, что следующая неделя будет немного спокойнее!