Логово асоциальной твари

Давненько новостей про хостинг не было.
А тут всё своим чередом

- Команды срезают только в путь. "команда с 50 человек сократилась до 2", "одним днём уволили половину сотрудников". Истории этого года, а он ещё не закончился даже.

- РКН банит адреса впн-щиков тысячами. Хостеры сбрасывают "грязные" сетки обратно брокерам, те их сдают другим клиентам - и они попадают в то, что бОльшая часть адресов наглухо заблокирована из РФ. Доставать адреса из блокировки - тот ещё квест, и занимает недели. А т.к. адреса массово банят, нужны новые сети, хостер идёт к брокеру...

- Те же впн-щики массово заливают друг друга DDoS-ами. Тут даже много не надо - платить за защиту такие клиенты не будут, так что достаточно налить 10-20-50 гигабит, чтобы перелить порт гипервизора, а хостеру было проще заблекхолить такого клиента, чем уходить под защиту (которая весьма небесплатная)

- Тотальная аутентификация через ЕСИА, которую обсуждали летом, похоже всё-таки случится. При этом для регистраторов система так и не заработала, срок подключения - работы подрядчика + прохождение ПСИ с органами - год-полтора, стоимость - десятки миллионов рублей: железо, лицензии, работы и т.д.

Весело, короче

#russian_hosting #thereisnoclouds
@snakeslair

В стартапе всё просто. Обычно вы помещаетесь в одной комнате (или чате в ТГ). Вы быстро находите общий язык. Вас драйвят первые победы и вызовы, вы вместе преодолеваете трудности. Любая гипотеза будет услышана. Проверка занимает часы, максимум - дни.

Первые деньги пьянят и придают сил. Где-то на периферии маячит мысль, что надо быть чуть серьёзнее, но пока клиентов мало и они лояльны - а вам нужны фичи и доля рынка. Скорость или качество? Все будут говорить, что важны оба, но чаще всего выбор будет в пользу первого. Скорость нужна, чтобы выжить.

Осознание взросления приходит не сразу. Как-то незаметно стартап становится машиной по зарабатыванию денег. Появляется ответственность - перед клиентами, перед сотрудниками, перед кредиторами и акционерами. Ответственность требует порядка.

Компактная команда единомышленников как-то незаметно и сама собой превращается в коллектив. Общие цели размываются, теряется контекст. Собственник бизнеса уже не в состоянии проконтролировать всё "в ручном режиме".

Здесь можно остановиться. Принять. Сделать сознательный выбор, что компания остаётся "маленьким свечными заводиком" (или "семейным бизнесом", если хотите). Все на виду. Контекст можно восстановить. Убрать тех, кто не вписался. Продолжить управлять в ручном режиме.

Гораздо чаще компания хочет расти, но ментально остаётся в фазе стартапа. Старые правила уже не работают, новые ещё не появились. Любые попытки наведения порядка молча саботируются или открыто критикуются. Чо начинается, нормально же сидели. Раньше было лучше - задача делалась за полчаса. Сейчас - за неделю. Почему? Никто не знает. Люди наверное испортились. Документации нет - есть "знания древних". Процессов нет - есть чаты в Телеграме. Раньше всё работало.

Руководству проще написать в личку или найти нужного человека в офисе - они так привыкли. Инженерам лень вести задачи и писать документацию - ведь кодить или настраивать серваки гораздо интереснее. Есть задачи важнее. Нет времени на вашу менеджерскую ерунду. И вообще, если писать подробную документацию, то её сопрут и сольют конкурентам. Или используют для взлома.
ФОТ растёт. Менеджеры пытаются налаживать процессы. Сотрудники жалуются на бюрократию. Бизнес ворчит на постоянно срывающиеся сроки. Раньше было лучше.

В таком состоянии компания может зависнуть на годы, особенно когда большинство всё устараивает. Кто-то привык, и не хочет ничего менять. Кто-то боится, что его посчитают. Кто-то ждёт, что всё сделают за него, а его драгоценную жопку в мягком кресле перенесут в новую прекрасную реальность, где всё работает, и желательно как-нибудь само.

Но без этих болезненных изменений нельзя идти дальше.

Взросление невозможно без осознания ответственности и её принятия.

Ответственность - это не поиск виноватого. Это готовность ответить за результат сделанной работы. Исправить ошибки, доработать согласно требованиям заказчика.

Работающая система - лишь часть результата. Другая часть, не менее важная - документация (и задачи - это тоже документация). Они нужны для фиксации результата и процесса его достижения. Кто сделал. Что, где, когда. Если результат работы не зафиксирован - его невозможно оценить, измерить или улучшить.

Отсутствие фиксации приводит к состоянию неопределённости, когда система работает здесь и сейчас, но неизвестно её состояние ни в прошлом, ни в настоящем. Любое изменение - шаг по минному полю. Знания оседают в головах, чатах и документах на личных гуглодисках.

И пока всех устраивает - ничего не изменится, хоть найми ты десять коучей. Поэтому приходится включать дипломатию. Учить. Объяснять. Убеждать. Угрожать. Иногда проще сменить команду целиком - чтобы пришедшие на их место новички сразу учились работать по новым правилам. Но чаще приходится пересобирать самолёт прямо в полёте.

#people_management
@snakeslair

Пост из серии "сбылать мечта идиота".

На Silverstone FLP02 засматривался давно, ещё в прошлом году. Но в оф. продаже его не было, на авито тоже, на озоне - только с доставкой из Китая и за много денег.

А тут как-то захожу на Авито - вот он, красавец. Новый. Взял почти не раздумывая.

Были опасения, что процессорный кулер не влезет по высоте, но всё обошлось. С температурой тоже порядок (хуже точно не стало). Так что старичок Define R2 отправляется на покой (никому не нужен, кстати? отдам вместе с кое-какой требухой), а рабочий комп переезжает в такую вот красоту.

#homeserver
@snakeslair

Кина не будет. Электричество кончилось (с)

@snakeslair
#thereisnoclouds

Пока все переворачивают календарь, у нас потихоньку стартует осенний сезон конференций. Вот например мои друзья, Инфосистемы Джет, в этом году замахнулись прям на масштабный масштаб: два дня, пять треков про различные грани IT, восемь залов и очень плотная программа. В прошлом году было 4к оффлайн-участников и больше 100к онлайн, в этом году обещают ещё больше. И всё это бесплатно! (Но нужно пройти регистрацию)

В программе замечены доклады и дискуссии про суровое корпоративное IT, импортозамещение, ИБ, а также мастер-классы и научпоп-лекции. Скучно точно не будет.

Когда: 9-10 сентября
Где: Москва. Точное место пока держат в секрете и сообщат тем, чьи регистрации будут подтверждены.
Регистрация: тык
Программа: тыц

@snakeslair

С утра ещё хотел написать, но добрался только вот сейчас. На святое, можно сказать, покусились - убрать из белых списков вебкам, закладки и айти VPN.

Итак, об чём вообще спор?

Ранее ресурсы в белые списки попадали по запросу владельцев ресурса в МЦ, апрув профильного ФОИВа и ФСБ. Хостер тут был вообще не при делах и мог даже не знать, что кто-то из его клиентов попал в БС. Единого реестра таких ресурсов кстати нет до сих пор, да ещё и в разных регионах они могут отличаться по наполнению.

Т.к. БС режутся не на ТСПУ, а на оборудовании операторов, то фильтрация "грубая", т.е. по IP.

А т.к. фильтр на уровне IP, то возникает сразу пачка коллизий:

- CDN и DDoS-защита сайтов используют одни и те же сети и адреса для сотен и тысяч клиентов

- Ресурсы могут находиться за балансировщиками в публичном облаке, или их адреса могут динамически меняться

- Добавлять "разрешённые" ресурсы по /32 - никакого TCAM на железе не хватит, так что приходится агрегировать адреса в подсети. Но и так получается довольно много, поэтому приходится укрупнять блоки.

- При укрупнении (агрегации) блоков в них неизбежно попадают адреса, которых там быть не должно, и которые находятся "в свободной продаже". Владельцы VPN-сервисов "майнинг" таких адресов давно настроили в автоматическом режиме, и на месте забаненного клиента через минуту возникает новый.

Не то хостеры взмолились, не то кому-то из государственных мужей эта петрушка надоела - и списки решили слегка перетряхнуть. Хотя как будут выкручиваться те же CDN и крупные облака - не очень понятно, потому что не всегда можно клиентов можно на уровне инфраструктуры "прибить" к определённым сетям.

@snakeslair
#thereisnoclouds #russian_hosting

Что может быть лучше в пятницу, чем разговор о том, почему вокруг говорят про дефицит кадров, с другой стороны везде кричат про сокращения, а третьи жалуются, что стало крайне сложно подбирать людей. Что вообще происходит, куда делась та самая тихая айтишная гавань, что за рынок работодателя, как искать работу, когда вокруг нейросети, и что там теперь по зарплатам. Всё это без стеснения обсуждаем в новом выпуске sysadmins.


https://www.youtube.com/watch?v=XntQZsV61EA

https://linkmeup.ru/podcasts/3252/

Интересно, что упало на этот раз?
Говорят, попадала связность с Европой и линки у Хецнера. Опять какой-нибудь телехаус в EU навернули?

UPD: Все кивают на Equinix FR7 и связанный с этим рероутинг трафика
UPD2: Быстро поднятое упавшим не считается!

#thereisnoclouds
@snakeslair

Итого, для истории:

- первые проблемы начались в ~20:00 МСК. Трафик начал стремительно падать, и упал более чем в два раза с 7, до 3Тбит/с.

- восстановление началось примерно в 21:00 МСК

Причина - пожар (хлопок?) на ТЭЦ-20 Вавилова, из-за чего упали оба ввода с этой подстанции (а ещё два с Чагино видимо отъехали по перегрузу). Кроме, собственно, ММТС-9 пострадала и городская инфраструктура - метро, трамваи, ТЦ и жилые дома в трёх районах.

А теперь пару слов о том, почему "девятка" легла, хотя казалось бы, всё должно быть зарезервировано и ваще.

- ММТС-9 строился и проектировался как узел связи, а не ЦОД. Питание от двух городских подстанций ( на 2026г два луча от каждой), четыре входа кабельной канализации;

- со временем "телефонная" нагрузка сменилась на "айтишную" и "сетевую". Но и то и другое сейчас - это 19" шкафы с оборудованием, которое потребляет очень много электричества. Политику резервирования при этом каждый арендатор (оператор связи или обычная компания) определяет сам. Кто-то берёт стойки на разных этажах, кто-то ставит только выносы для стыков с другими провайдерами. Кто-то надеется на надёжность самой площадки;

- из-за того, что этажи вводились в работу постепенно, а энергосистему пришлось модернизировать "по ходу", схемы питания разных этажей отличаются. Где-то всё хорошо, где-то постоянные проблемы. При этом "луч гарантированного питания", закрытый ИБП и дизелем - это отдельная (платная) услуга, которая доступна не на всех этажах - т.е. резервным питанием закрыто далеко не всё;

- ввиду постоянно растущего потребления, энергосистема находится в стадии постоянной модернизации. при этом на отдельных этажах/помещениях проблемы с питанием случаются достаточно регулярно;

- падало, к слову, не всё - часть этажей работали на дизелях. Отваливались ли вводы от Чагино - сказать сейчас сложно, но видимо да (аналогично ситуации 2005 года);

- что до "тиеров", то тут надо понимать, что знакомый многим значок "Tier III", которым любят щеголять некоторые ЦОДы - это всего лишь отметка о прохождении конкретной сертификации от конкретной организации (Uptime Institute). ЦОД эту сертификацию проходить не обязан, и даже заявлять соответствие ей тоже не обязан, т.к. штука эта, в основном, про маркетинг. а надёжность и доступность каждая площадка (и её клиенты) прорабатывает согласно представлений бизнеса о прекрасном (см. Яндекс);

- ЦОД на Бутлерова, кстати, тоже есть (M9.Plus), и там всё было ок (с поправкой на упавшие каналы, конечно).

Зато тепреь мы знаем, что случится, если ляжет "девятка". Надеюсь, каждый оператор сделает выводы из вчерашнего инцидента

P.S. Вчерашнее официальное

Московские электросети, официально: в связи с технологическим переключением источников энергоснабжения имело место кратковременное отключение отдельных потребителей в Гагаринском и ряде других районов. В настоящее время энергоснабжение потребителей осуществляется в штатном режиме. Распространяемая в соцсетях информация о последствиях инцидента является недостоверной.

#thereisnoclouds
@snakeslair

Ну что, первые учения по отключению М9 можно считать состоявшимеся

P.S. Говорят, что были проблемы на подстанции Вавилово, и несколько районов остались без света. Но вроде уже поднимается.

P.P.S Шутку про дизель можете придумать сами

#thereisnoclouds
@snakeslair

Сдаётся мне, в лесу на Девятке опять что-то сдохло...

#thereisnoclouds
@snakeslair

Для ещё одной активности на linkmeetup нам бы не помешали вот такие (или похожие) зверьки. На время. в Москве. За яблоко.

И USB2COM вместе с ними 👉👈

Инцидент всё ещё длится. Статус можно отслеживать тут: https://status.core-backbone.com/

Говорят, после второй утечки воды упало прям вообще всё (но это не точно)

We are currently seeing an outage of ALL devices/services at Equinix FR5 because of a water-leak and high temperatures.

fra30.core-backbone.com (FRA3 - Equinix Frankfurt FR5)
fra32.core-backbone.com (FRA3 - Equinix Frankfurt FR5)
fra34.core-backbone.com (FRA3 - Equinix Frankfurt FR5)
fra35.core-backbone.com (FRA3 - Equinix Frankfurt FR5)

We already working on this problem.

UPD: картинку в тему подвесил, #прастити.
UPD2: вроде лежит не прям совсем всё, часть стоек/залов работает
UPD3: чсх, на statuspage Эквиникса (владельца площадки FR5) аварий во Франкфурте не значится ни по одному из сервисов
UPD4: потихоньку начинают восстанавливаться. На первом этаже охлаждение подняли, на втором и третьем идёт восстановление. Но ещё не все операторские стойки подключены к питанию, поэтому со связностью могут быть проблемы.

@snakeslair
#thereisnoclouds

Не только лишь М9 умеет ломаться!

Вот вы небось спите, а в FR5 (это такая европейская "девятка") протёк чиллер. Часть стоек затопило, часть перегрелась.

Самая большая проблема в том, что в этом цоде сходится очень много разных каналов связи, так что blast radius получается довольно большой.

Как минимум Таймвеб во Франкфурте прилёг...

@snakeslair
#thereisnoclouds

Традиционное "кто бросил валенок на пульт!?"

#thereisnoclouds
@snakeslair

Подъехали традиционные завывания про рост стоимости colocation.

ЧСХ, завывания случаются каждый год, как под копирку (а то и чаще), а источником выступают одни и те же эксперты и компании.
В этом году на площадки в московском регионе давит ещё и невозможность выдачи новых ТУ, ну и высокая ставочка тоже никуда не делась - поэтому цена закономерно растёт. А всем хочется GPU, AI и тыды и тыпы.
Однако же год за годом стойки заканчиваются, цены растут, ставочка высокая - а новые проекты появляются, и стойки под них как-то тоже находятся. Загадка.

Хотя надо признать, в этом году отличилась ММТС-9, которая решила с 01.01.2027 сразу поднять ценник чуть ли не x2 со словами "а куда вы денетесь с подводной лодки".

Впрочем, тоже ничего нового.

@snakeslair
#thereisnoclouds

Во всей этой истории с добовольно-принудительным переводом сайтов банков на сертификаты НУЦ интересны два вопроса:

1) Это HARICA не смогла/не захотела продлевать сертификаты или МЦ/ЦБ решили, что лучше ужасный конец, чем ужас без конца?
2) Гораздо более интересно, сколько payment pages попутно сломается. Мне ещё вчера скидывали сообщения об ошибках на страницах оплат вида "ошибка соединения с банком, неизвестный сертификат в цепочке", и, кажется, не всегда проблема решается "правильным" браузером.

P.S. А я говорил, что надо Я.Браузер ставить

@snakeslair

Тут на РБК за пейвол дропнули статью, которую мигом растащили по пабликам.
Не уверен правда, что кто-то дальше ознакомительного фрагмента читал, но да ладно (если у кого есть текст из-под пейвола - пришлите плиз в личку).

Каких-то инсайдов у меня нет, но давайте попробую объяснить, про то тут вообще речь.

Во-первых, существует т.н. ЛК ВТС (личный кабинет владельца технологической сети). Организация регистрируется на портале РКН и добавляет используемые ей IP-адреса (порты, протоколы, доменные имена) в специальную форму, чтобы исключить их из фильтрации на ТСПУ. По моим данным, помогает сия процедура далеко не всегда и постоянно всплывают разного рода нюансы, которые разруливаются в ручном режиме через общение с ГРЧЦ.
И за то, что в ЛК ВТС не чушь написана, отвечает организация, которая эти данные туда внесла, а не хостинг-провайдер.

При этом, по заверениям самих же представителей ГРЧЦ, вносить корп. VPN внутри РФ до недавнего времени не требовалось, а сейчас позиция сменилась на "ну добавьте на всякий случай". Но понятно, что на "обелённых" в РКН адресах вполне могут располагать всякие ТГ-прокси и VPN-серверы.

Во-вторых, провайдер хостинга вообще никак не может контролировать, что там клиент на арендованных серверах запускает - нет у него таких возможностей. Может только реагировать на обращения органов и абузы правообладателей.
Зато ГРЧЦ регулярно сканирует сети на предмет наличия в них всякого запрещённого и рассылает предписания хостерам на приостановку/удаление услуг клиентов, которые это самое запрещённое в сети Интернет размещают.

Поэтому что там будут усиливать - не очень понятно, если честно.

#russian_hosting
@snakeslair

С одной стороны, впереди ещё почти два месяца до линкмитапа.
С другой – это всего лишь два месяца!

И пора начинать рассказывать, что же там будет происходить кроме докладов.
А начнём мы с того, что зададим общий настрой.

Мы делаем 9-й митап, тем самым разменивая первый байт. И нам есть что вспомнить.
Как вы уже поняли по постеру, основной темой будет «Назад в будущее».
И вокруг него будет строиться всё, а точнее, вокруг золотой эпохи конца 2000-х.

У нас будут:
• футболки с постером
• стикеры и специальный идейный мерч каждому гостю
• ретро-видеостудия на бетакамах, как была в прошлый раз
• уголок ретроприставок от Миххру
• игра с телеграфным ключом, как было в Нск, от Артёма из «До нас дошло»
• огромная панорама истории связи от «До нас дошло» с интерактивом
• доклады про фидонет, ббс и историю телефонии. И про фряху
• настоящая работающая ббска, доступная по телнету
• работающая модемная связь
• торренты
• ещё пара (пока) секретных активностей
• атмосферные ролики из двухтысячных

Мы призываем вас поддержать это настроение. Приходите в стиле десятых (что там было? Эмо, панки, металлисты, растянутые свитеры, спортивок уже не было, но какая разница?), приносите с собой гаджеты и артефакты эпохи – будете с ними таскаться весь день обмениваться друг с другом.

Так что ждём вас 15 октября на 9-м линкмитапе https://linkmeetup.ru/