Константин Сизов. Давайте об ИТ

Как мы жили на удаленке

Зомбиленд. Или заброшенный городок на среднем Западе из вестернов, с перекати-полем. Вот так выглядел наш отдел буквально пару недель назад.

Двое на больничном, один на ковид-протоколе, один в отпуске - в офисе НИКОГО. А рабочую деятельность продолжать надо, куда деваться. За исключением выездов на монтажи, все остальные вопросы по планированию, расчётам по проектам и пусконаладке делали удаленно.

В начале 2020 года мы попробовали внедрить в рабочий процесс фреймворк Scrum, который включает в себя регламентированные процедуры недельного планирования, стандартизованное описание рабочих задач, ежедневных планёрок, демо-показов заказчикам и ретроспектив.

В итоге к началу пандемии в марте 2020 года наш отдел оказался самым готовым к переходу на удаленную работу не только в плане инструментов, но главное в рабочем процессе!
Получилось неплохо, но конец года с дедлайнами, перегрузами и дикой неопределенностью продемонстрировал, что Scrum нам не до конца подходит.

В итоге мы пересмотрели подход и начали применять другие методы организации процесса интеллектуального труда 🙂

И по результатам годовой ретроспективы и опросов моих коллег конец 2021 года всем показался планомерным, продуктивным и грамотно спланированным. Ни у кого даже глаз в конце года не дергался 😀

Ключевой успех работы на удалёнке - грамотно выстроенный рабочий процесс. Например, фокус моего внимания нацелен на состояние рабочей задачи/проекта, без необходимости микроконтроля действий конкретного инженера.

К текущему времени у нас сложился следующий инструментарий для рабочего процесса:

- система ведения проектов - Kaiten (Cloud)
- система регистрации инцидентов - Jira Service Management (Cloud)
- общая доска для взаимодействия - Miro (Cloud) (отлично подходит для ретро онлайн)
- общие документы - Google Docs + корпоративное хранилище
- регистрация входящих заявок - amoCRM (Cloud)
- Рабочие группы по проектам - Telegram, офиц. переписка - корп.почта
- ВКС/аудио звонки - Skype / Telegram-аудиочат

Переход от офисной работы на удалёнку проходит практически бесшовно. В общем от работы теперь не убежишь в любой точке мира :)

Другая проблема - запретить особо ретивым работать вечерами и на выходных. Отдыхать то тоже надо 😊
——
А какие инструменты вы используете?

Новая реальность в поиске кадров теперь и в Бурятии

Проводил анализ нашего ИТ-рынка и заметил одну интересную вакансию, выделяющуюся на общем фоне. Порадовал холдинг “Николаевский” в подходе к кандидатам. Полноценно рассматривается удаленная работа. Скажем так, нетипично для региона. Молодцы.

Выдержка из вакансии:
———
Для кандидатов, проживающих в г. Улан-Удэ и согласных работать в офисе: Продолжительность испытательного срока от 1-го до 3-х месяцев.

Для кандидатов, проживающих в г. Улан-Удэ и предпочитающих работать удаленно: Продолжительность испытательного срока от 2-х до 3-х месяцев. Обязательная работа в офисе в течении времени прохождения испытательного срока.

Для кандидатов, проживающих не в г. Улан-Удэ, в т.ч. за пределами Республики Бурятия, согласных на переезд или предпочитающих работать удаленно. Продолжительность испытательного срока - 3 месяца. Обязательная работа в офисе в течении времени прохождения испытательного срока. Предоставление, на весь период прохождения испытательного срока, служебного жилья или 100% компенсация аренды жилья, но не более 15 000 руб/мес.
———

В условии ограниченных бюджетов любое конкурентное преимущество надо использовать.
Знаю, что среди вас много тех, кто ищет ИТ-специалистов - берите на заметку. 😉
Но для этого нужно готовить свою инфраструктуру. Лично у меня до сих пор не все выстроилось ещё для полноценного режима удаленной работы, но об этом позже.

А так, как минимум, придётся конкурировать за ИТ-специалистов с теми, кто готов на такой подход.

Тренды. Дефицит квалифицированных кадров в сфере ИТ достигает от 500 тысяч до миллиона человек в год

Об этом замглавы Минцифры Евгений Кисляков сказал ещё в прошлом январе.

С тех пор тенденция не изменилась. А в случае активного импортозамещения в инфраструктурных и прикладных системах потребность только радикально вырастет.

В итоге отсутствие ИТ-специалистов на местах будет вынуждать заказчиков искать другие пути решения своих задач.

3 способа, которые помогут при дефиците ИТ-специалистов, которые можно использовать по отдельности или в комбинации:

1. Переход от содержания своих систем на облачные эквиваленты там, где это допустимо и экономически оправдано. И здесь же - максимальная автоматизация ручных операций как пользователей, так и ИТ-службы.

Но в связи с этим примечателен отчет IDC о развитии ИТ сферы на 2022-2026 годы

 К 2023 году 80% предприятий будут использовать услуги по управлению, основанные на использовании ИИ 
и облачных технологий, для управления, оптимизации и обеспечения безопасности разрозненных ресурсов/данных, 
однако 70% предприятий не смогут достичь полной отдачи из-за несоответствий в навыках ИТ.

Т.е. одни лишь облака, при нехватке компетенций ИТ-специалистов, всё равно не позволят в полной мере получить отдачу и решение своих задач.

2. IT-as-a-Service
Аутсорсинг функций ИТ-отдела целиком или частично. Передача на обслуживание конкретных систем с регламентированным взаимодействием и SLA.

3. Комплексные поставка и внедрение систем силами системного интегратора с обучением специалистов заказчика в рамках внедрения. С подготовкой комплекта эксплуатационной документации, описанием процессов и инструкций и гарантийным сопровождением.


Присмотритесь к каким вашим болевым точкам какой из способов можно применить.

А со своей стороны скажу, что для интеграторов это тоже вызов, потому что нужно быть готовым к реализации этих запросов от заказчиков. Работать над развитием специалистов, иметь портфель инфраструктурных стационарных и облачных решений и уметь этого интегрировать в единую комплексную систему.

На этом о трендах всё 🙂
Трудовые будни опускают с небес на землю пахать засучив рукава 😁

Константин Сизов. Давайте об ИТ pinned «Всем привет! Меня зовут Константин Сизов и я занимаюсь построением ИТ-инфраструктур уже 15 лет. В этом канале я буду делиться своими мыслями об ИТ технологиях и архитектурах, менеджменте в ИТ, опытом и случаями из своей профессиональной жизни. Порассуждаем…»

Прекрасная интеграция ИТ в ресторане Le Petit Chef 👨🏻‍🍳

Иногда в погоне за технологиями мы увлекаемся, сосредотачиваемся на технических деталях и характеристиках. И забываем, что технологии должны приносить пользу. В том числе эстетическое удовольствие.

Прекрасный, хоть и довольно старый, ролик о стыке проекции и реальности. Об уместности технологий и интеграции с бизнесом (обратите внимание на поданные в итоге блюда).

Желаю вам отличного вечера и выходных! Проведите их со своими близкими, неплохо если в хорошем ресторане, но главное с отличным настроением! 😊
—-
Вот еще пара роликов этого же ресторана для хорошего настроения
https://www.youtube.com/watch?v=yBJEP4lsRFY
и
https://www.youtube.com/watch?v=dMoPfBFOWt8

​​Тренды. Cloud

Дальше по списку глобальных трендов мировые и российские эксперты выделяют:
- аналитику больших данных,
- искусственный интеллект
- облачные вычисления.

Я бы хотел обратить внимание именно на облачные вычисления. Cloud.

С одной стороны существенно растёт количество используемых готовых облачных/SaaS (Software-as-a-Service) приложений по сравнению с развернутыми и поддерживаемыми организациями самостоятельно на своих ресурсах.
Здесь и облачная 1С, проектное управление, документооборот и CRM, различные трекеры, корпоративная почта. Вот слайд из подробного отчёта, который я приводил в прошлом посте, показывающий рост использования облачных приложений во всех отраслях, включающих госорганы, медицину, промышленность и т.д.

С другой стороны в целом переход в облака до сих пор идёт медленно. Здесь надо отметить, что по США и Европе идёт частичный обратный отток из облаков на свои площадки. В основном в инфраструктурных проектах - аренда серверов и хранения. Основная причина - облака оказались дорогими в реальной эксплуатации. Для критичных систем часто оказывается выгоднее использовать собственную инфраструктуру - надо считать.

В итоге на текущий день примерно 10-15% бюджетов предприятий тратится на облака, всё остальное на собственную инфраструктуру. Рост идёт не быстрыми темпами. Смотри слайд из того же отчета.


По нашей региональной практике - у наших заказчиков растёт спрос на услуги по аренде места в дата-центре, вместо создания собственных ЦОДов. Растёт спрос на аренду оборудования, вместо покупки. Растёт спрос на аренду виртуальной инфраструктуры.
Знаю несколько проектов перехода на облачные SaaS-приложения даже в госорганах. Пришлось делать не дожидаясь реализации долгоиграющего проекта про Гособлако.

В качестве причин можно выделить проникновение глобальных трендов (а они всегда доходят, хоть и с опозданием), нехватка компетенций и отток специалистов и, куда без этого, умопомрачительное регулирование закупок как в госорганах (44-ФЗ), так и в коммерческих организациях. Услуги становится проще отыграть чем закупку.


Так что будьте готовы смотреть в облака, используйте их для решения своих задач. А потом грамотно их интегрируйте со своей инфраструктурой, от которой всё равно не получится отказаться.

​​The metaverse is coming 👽

Январь закончился, все кто хотел написать о трендах на 2022 год - написали. Можно подглядывать и подводить итоги 😉 Пойдём по верхам - глобальным трендам.

Большинство венчурных и технологических компаний выделяют тренд на рост роли Метавселенных и Web 3.0. Метавселенная - Metaverse.
Поделюсь с вами тем, что я узнал и понял из анализа нескольких обзоров, отчётов и мнений экспертов.

Метавселенная - виртуальный мир, как дополнительный культурный слой над интернетом. Отличительными особенностями считают наличие собственной экономики и системы идентификации. По сути новая социальная сеть, общение в которой происходит с помощью аватаров, и в которой доступна связь экономики цифрового и реального мира.

Метавселенная должна быть основана на какой-то идее, объединяющей пользователей. Сейчас это преимущественно игровые платформы и искусственные огромные виртуальные миры.

Я думаю этот фактор в том числе стоит за покупкой бигтехами игровых компаний и платформ. Microsoft - Blizzard, Sony - Halo, Amazon - GameSparks. Также и Сбер, и МТС и недавно Ростелеком купили себе свои собственные игровые компании.

В том или ином виде приблизились к этому следующие бренды Fortnite, Roblox, Minecraft, Sandbox. Если эти бренды вам не знакомы, то спросите об этом своих детей или племянников. Мой сын уже дал мне достаточно подробную консультацию…

Интересная платформа Decentraland - огромный виртуальный мир, где уже вовсю идёт торговля виртуальными земельными участками, картинами, одеждой и даже островами. “Компания Tokens.com купила участок виртуальной земли в Decentraland за $2,5 млн. “🤯

Смысл всей истории том, что там люди, особенно подрастающие, проводят до 5 часов в день. Там же они уже совершают покупки, смотрят рекламу и даже участвуют в концертах. Вот концерт музыканта Marshmello - 10,7 млн зрителей на самой платформе Fortnite. + интерактивный концерт Ариана Гранте.
Nike и Gucci открыли в Roblox свои виртуальные выставки и магазины в Roblox.

Web 3.0 - блокчейн и криптовалюты обретают новую обертку и смысловую идентификацию. Децентрализованная система валют и контрактов, как экономическая платформа для связи виртуального и реального миров. Именно благодаря ей возможно приобретение и реальное владение в виртуальном мире землями, предметами и прочим, так как все пользователи-участники этой платформы знают об этом - блокчейн, распределенный реестр.

Кажется у криптовалют появляется какой-то реальный смысл кроме спекулятивного. Если интересны криптовалюты, то имеет смысл присмотреться к NFT. А если есть практики, то просветите и поделитесь немного опытом 🙂


Тренд интересный и, судя по всему, неизбежный. Подростки и дети через 5-10 лет станут определять модели потребления.
Готовьте VR-шлемы. Они придут на замену смартфонам. А я пока пойду пересмотрю “Первому игроку приготовиться”. 🎮

———
Ссылки:
- Очень, очень крутой тренд-репорт Бенедикта Эванса по цифровым трендам 2022.

- Небольшой срез с графикой по метавселенным. THE METAVERSE Web 3.0 Virtual Cloud Economies (Grayscale Research)

- Про рекламу в метавселенных + краткий обзор (на русском)

- Западные маркетологи: Marketers: The metaverse is coming

- Метавселенные, блокчейн и web 3.0: российские инвесторы рассказали о стратегии и трендах 2022 года

​​"В ХМАО в 2022 году решено создать 4 IT-стойбища"

Заголовок для человека, незнакомого с контекстом, поначалу, конечно, валит наповал 😅
Дальше только Умный чум остается! 🛖

А так проект оказывается с 2018 года идёт - "Доступ к сети позволил жителям стойбищ получать государственные услуги на портале Госуслуг, пользоваться различными ресурсами и сервисами"
+
туда же плюсом стойбищная школа-сад - "Дети из числа коренных малочисленных народов, проживающие в местах традиционного природопользования Севера, смогли обучаться с помощью дистанционных технологий."

А это уже реальная польза ИТ-технологий. Для чего и работаем.
Собственно как всегда инфраструктура впереди всего идёт. Следующим этапом уже можно телемедицину прикрутить, как нормативку подвезут.

источник тут https://depit.admhmao.ru/vse-novosti/6817728/

​​Дайджест 2021 год

Всех с новым трудовым!
Небольшие итоги прошлого года - завёл канал, и оказывается, что уже было больше 3000 прочтений материалов с канала.
Неожиданно - спасибо, что читаете! 😊

Ниже дайджест самых интересных постов - для навигации.

Тренды и стратегии
- Немного мыслей про импортозамещение
- Новое слово в импортозамещении… законодательное (для тех, кто живёт по 44 ФЗ)
- Квантовый скачок
- Минимальная ИТ-стратегия
- Новая услуга на рынке РБ - самый популярный пост
- Свежие тренды в ИТ, ч.1
- Свежие тренды в ИТ, ч.2

Кадры и управление
- Катастрофа в кадрах 🤯 или обескровленный заказчик на пустынном рынке труда 🏜, ч.1
- Катастрофа в кадрах 🤯 или обескровленный заказчик на пустынном рынке труда 🏜, ч.2
- Ошибка, которую допускают 99% менеджеров проектов

Hard и технологии
- Программно-определяемые сети (SDN) 🧬
- Задачка для ИТ-профессионалов
- Задачка для ИТ-профессионалов (ОТВЕТ)
- SAN-сеть - сеть хранения данных. А что это вообще такое?
- Немного про дисковые подсистемы


Всем позитивного настроя на предстоящий год и сохранить себя в ресурсе в течение всего года!

P.S. Включил реакции, так что можно пошалить :) Ну и можно похвастаться своими достижениями за прошлый год в комментах - welcome!
+ немного статы канала в инфографике.

​​Новогодняя ретроспектива 🎉

Вчера провели с командой последнюю ретроспективу в этом году. Причём для годовой ретроспективы выбрал интересный формат - Футуроспективы 😊

Основное отличие в том, что мы сосредотачиваемся не на анализе какого-то прошедшего периода с рефлексией по поводу успехов и возможных улучшений. В Футуроспективе мы пытаемся заглянуть в наше успешное будущее и подглядеть там значимые улучшения и детали. Ну а дальше генерируем конкретные шаги, как эти мечты превратить в реальность.

Очень классное упражнение! Нагенерировали конкретных предложений и составили план действий на ближайшее время, а также на среднесрочную и долгосрочную перспективу.

Но самое главное - зарядились энергией на следующий год и уже с нетерпением ждём его начала! 😁

❓А вы проводите ретроспективы?

И где же диски, Зин?

Заканчиваем погружение в тему организации подсистемы хранения ваших серверов обзором основных вариантов, которые сейчас можно встретить.

1. Данные хранятся на дисках сервера.
Диски могут быть подключены к дисковой шине как отдельный диск, либо собраны через RAID-контроллер сервера и представлены как логический диск.
Операционная система видит у себя локальное блочное устройство и может с ним работать привычным образом по дисковой шине.

2. Данные хранятся на СХД, серверы подключены к СХД напрямую по блочному протоколу (FibreChannel, iSCSI).
Диски на СХД объединяются в пулы, в пуле создается отдельный логический том, который показывается серверу.
Сетевой адаптер, через который сервер поключен к СХД, показывает дисковой шине полученный логический том.
Операционная система видит у себя локальное блочное устройство и может с ним работать привычным образом по дисковой шине. Операционная система отправляет привычные команды на дисковую шину, сетевой адаптер отправляет команды на СХД.

3. Данные хранятся на СХД, серверы подключены к СХД через сеть хранения данных (SAN) по блочному протоколу (FibreChannel, iSCSI).
Диски на СХД объединяются в пулы, в пуле создается отдельный логический том, который показывается сети хранения данных.
Сетевой адаптер, через который сервер поключен к сети хранения данных, показывает дисковой шине полученный логический том.
Операционная система видит у себя локальное блочное устройство и может с ним работать привычным образом по дисковой шине. Операционная система отправляет привычные команды на дисковую шину, сетевой адаптер отправляет команды в сеть хранения данных, откуда их получает СХД.

Так в чем же магия?
А магия в тех самых “привычных командах”. Все операционные системы работают со своими дисками с помощью SCSI-команд.
В случае обычного сервера по дисковой шине идёт отправка такой команды, в которой дана инструкция - прочитать какой-то блок данных или записать его.
А сетевые блочные протоколы по сути просто берут эту SCSI-команду, кладут её в тело фрейма/пакета FiberChannel или IP, а на получателе вытаскивают эту команду из фрейма/пакета и работают с ней по дисковой шине.

В итоге сервер всегда видит локальный жесткий диск, но находиться он может как в этом же сервере, так и за километры от него.

Так что будьте бдительны, не потеряйте ваши диски! 😉
—-
Если остались вопросы по дисковой части - буду рад ответить, пишите в комменты, или в личку.

У ГИБДД затопило серверное помещение. По всей России сбой работы сервисов.

Если в серверной есть труба с водой, то правильный вопрос звучит не "Если она прорвёт?", а "Когда она прорвёт?".

https://www.cnews.ru/news/top/2021-12-20_v_gibdd_masshtabnyj_kibersboj
Работа Инспекции оказалась парализована коммунальной аварии в серверных помещениях. Другими словами, в одном из таких помещений, расположенных в Москве, прорвало трубу, в результате чего оборудование оказалось подтопленным.

«Установлено, что причиной сбоя стала коммунальная авария в серверных помещениях. В результате серверы, на которых хранятся информационные массивы по линии работы Госавтоинспекции, оказались залиты водой», – говорится в официальном заявлении, опубликованном на сайте российского МВД.

Посочувствую коллегам, которым героически пришлось поднимать информационные системы. Ведь помимо восстановления систем надо было полностью заменить затопленное оборудование каким-то аналогом. Хотя в Москве место для маневра чуть больше. В регионах просто не найдёшь оперативно железо.

Какие выводы здесь стоит сделать:

1. В серверном помещении не должно быть НИКАКИХ коммуникаций водяного отопления и водоснабжения. Ни транзитных, ни стояков. Также и в помещении над серверной.
Это постоянно приходится объяснять заказчикам, убеждать, настаивать. Да - надо переносить, да - затратно, нет - нельзя гипсокартоном закрыть.

В моей практике был случай, когда оборудование базировалось в подвальном помещении, в которое заходил только уголок трубы отопления, поворачивал и уходил в соседнее. Через какое-то время 4мя этажами выше проводились строительно-ремонтные работы, уронили что-то сильно тяжелое на стояк отопления, он сместился вниз и разрыв произошёл как раз в подвальном помещении.
В итоге полностью затопленное помещение и неработоспособное оборудование на несколько миллионов рублей.

2. Самая важная характеристика работы ИТ-службы - доступность информационных систем. Любая непредвиденная мелочь может сделать ваши сервисы недоступными, если вы к ней не готовы.
ПОЭТОМУ важно придерживаться стандартов построения СКС, ЦОДов, архитектур сетей, систем виртуализации и информационных систем.

Серверный кластер, системы хранения данных, резервирование сетевых устройств и каналов связи, резервная площадка - это не роскошь. Это ваши ИНСТРУМЕНТЫ защиты своих сервисов, которые надо планомерно и неотступно внедрять.
Оставлять ключевую систему на одном сервере 8-летней давности с рейдом на дисках... - лучше в облако тогда переехать.

3. Необходимо иметь отлаженное резервное копирование. Банально, но как никогда актуально в наше время.
И да, действительно работающие системы резервного копирования, которые будут доступны в случае ЧП и способны быстро восстановиться, крайне редко можно увидеть у заказчиков.
- "А у нас бэкапы лежали на том же сервере...",
- "А там место закончилось и бэкапы уже месяц не делались",
- "А этот сервер вообще никто не бэкапил, а он тоже нужен был?"

В общем - сухой вам серверной и рабочих бэкапов. ✌️

P.S. Ребят, какие ещё у кого были случаи на практике? Опыт то у всех богатый - делитесь 😉

​​SAN-сеть - сеть хранения данных. А что это вообще такое?

В предыдущей истории про Капризную даму нам пришлось коснуться такого раздела серверной ИТ-инфраструктуры как SAN-сеть. Я думаю стоит про неё немного сказать отдельно. А то не все знают, многие путают, и почти все не знают, что по ней передаётся 🙂

Что это за сеть такая: Это выделенная сеть для подключения серверов к системе или системам хранения данных. С помощью неё серверы видят ресурсы различных СХД как свои локальные диски, даже если они находятся за сотни метров или десятки километров друг от друга.

Когда она нужна:
1. Серверов больше, чем портов на СХД.
2. Есть больше чем одна СХД и серверы должны видеть их. Частный случай - растянутые географически серверные площадки.
3. Для общения СХД между собой.

Самый частый случай последнее время - вместо старой, но ещё рабочей, СХД приобретается новая, и стоит задача смигрировать данные и их обе задействовать.

Какие SAN-сети бывают: В 99% случаях сеть хранения данных будет построена либо на протоколе iSCSI и коммутаторах Ethernet, либо на протоколе FibreChannel и коммутаторах FibreChannel.

И вот тут первое откровение: да-да, есть отдельные коммутаторы FibreChannel, и это не Ethernet 😊
Буквально недавно один мой знакомый со стажем в сетях с удивлением спросил меня про FibreChannel: “Разве нельзя взять просто коммутатор, неужели там какие-то другие SFPшки?”
Ну да, другие 🙂
Соответственно по Ethernet портам можно рассматривать коммутаторы 10/25/40/100 Гбитс.
По FibreChannel портам сейчас используются 16/32/64 Гбитс.

Что лучше FibreChannel или iSCSI: Ох, сколько тут копий сломано! Очень-очень кратко, не вдаваясь глубоко в детали протоколов скажу так - производительность 4Гбитс FibreChannel примерно сопоставима с производительностью 10Гбитс Ethernet. Ну и дальше соответственно по списку. В итоге стоимость построения сетей и в том и в другом случае будет сопоставима. С точки зрения надежности и общей производительности лично я больше склоняюсь к FibreChannel. И в своих проектах закладываю его.

А можно совместить трафик сети ЛВС и трафик сети iSCSI на одном коммутаторе Ethernet: Да, но НЕТ! Нужна повышенная производительность портов коммутатора. Для стабильной работы вы потратите кучу времени для настройки всех политик для трафика iSCSI. А если все-таки на коммутаторе произойдёт какой-нибудь броадкаст шторм, то ваши серверы просто потеряют свои диски. В общем крайне не рекомендую.

Какие ещё бывают варианты доступа серверов к СХД через сеть: FibreChannel over Ethernet (FCoE), FibreChannel over IP (FCIP), NVMe over Fabric (NVMeoF), NVMe over IP (NVMeoIP).

Во всех случаях SAN-сеть требует глубокой и вдумчивой настройки. Наверное, сейчас это самый сложный сегмент ИТ-инфраструктуры.

❓ Ну и напоследок заковыристый вопрос:
А что же передается внутри пакетов/фреймов iSCSI и FibreChannel? Какая такая полезная информация, какого рода и протокола? 😉

P.S. @greml1n3500 Витя, извини, тебе пока отвечать нельзя 😁

Капризная дама

​​Задачка для ИТ-профессионалов (ОТВЕТ)

Ответ на задачку выше:

1. Действительно, как уже предположили в комментариях, первой версией была история с бэкапами. Систему резервного копирования не так давно ревизировали, так что можно было предположить. В итоге - анализ временных окон из расписания системы резервного копирования и инцидентов с просадкой дисковой системы по времени не совпадали - версию отмели.
2. Дальше под прицел попали конкретные хосты. Как вы помните сперва заметили на конкретных серверах проблемы. Проверили есть ли ошибки на конкретных hba-адаптерах FibreChannel. Ничего не выявили, разве что прошивки попробовать обновить. Решили искать дальше
3. Дальше стали анализировать уже сами СХД, нет ли деградировавших RAID-групп, нет ли просадки на бэкенде по дискам, нет ли переполнения и сброса кэша, не загружены ли процессоры контроллеров.
СХД показали себя молодцом, нагрузка хорошая на них шла, но запас по прочности и производительности вполне себе был достаточный.
А количество жалоб при этом продолжает расти...

4. Перешли к FibreChannel фабрике, той самой, с помощью которой серверы подключаются к СХД. Запустили анализаторы и коллекторы логов. Ну а дальше - внимательное чтение подробных отчётов и таблиц.
В итоге, в фабрике обнаружилось аномально большое количество отброшенных фреймов.
Выявили сбойную пару портов - это оказался транк между двумя коммутаторами одной фабрики.
Круг сузился 🙂.
Осталось два варианта - или SFP-модуль FibreChannel, или потрескавшийся патч-корд.
Ниже скриншот ошибок на выявленном порту, за 5 минут их набегало 200 тысяч 😣
Красным выделил пару параметров, которые позволяют точно понять в чем проблема. Если ошибки только в одном параметре - это патч-корд. Если в обоих, то смотри SFP-модуль.

В итоге капризная дама, мадам SFPшка, была найдена и заменена.
Как видно было из графика, производительность кардинально улучшилась. Фото героини ниже. Модуль не вышел из строя до конца, поэтому фабрика не отработала второй путь и ошибку не сгенерировала.

Вот такая небольшая мелочь в уязвимом месте сгенерировала проблем для нескольких сотен виртуальных серверов. Мелочи важны, главное их знать и успевать за ними следить. 😉

График к предыдущему посту 👆
Отклеился 😊

Задачка для ИТ-профессионалов

Друзья ИТшники, хочу поделиться кейсом из практики, попробуйте поразминать ИТ-извилины, интуицию и опыт)

Дано: инфраструктура заказчика - виртуализация vmware. Несколько блочных СХД, SAN коммутаторы на FibreChannel в растянутых фабриках, несколько десятков хостов виртуализации и несколько сотен виртуальных серверов.

В какой-то момент начинаются жалобы на производительность дисковой подсистемы. Не везде, не регулярно, не много.
Сперва определенные системы, затем определённые хосты, потом кластер целиком, потом ощутили все остальные системы.

По метрикам увидели серьёзную просадку во времени отклика дисковой подсистемы. Пики доходили до 12000 ms. (При норме до 15ms). Вплоть до отвалов datastore на хостах по таймауту.

Собственно график отклика ниже, в том числе с точкой, в которой была обнаружена и решена проблема.

Как вы думаете, где в итоге оказалась проблема? Откуда вы бы начали искать?

P.S. Призываю всех в комменты! 🙂

Задачка на смекалку (с решением)

В общем задача поставлена (смотри пост выше) - надо выполнять 😁

В ход идут все подручные материалы, механизмы и человеческие ресурсы.

И, как говорится, не мытьем, так катанием дело сделали!

——
Видео с места событий ниже ⬇️

​​Задачка на смекалку

С начала ноября вынужденно подхватил управление соседним отделом по инженерным системам. Собственно опыт есть и дело знакомое, но работа там непростая и с самыми разными задачами и ситуациями. Как говорится больше "на земле" работать приходится, по объектам да стройкам бегать.
То на автовышку инженера с ноутбуком отправить светофоры настраивать в -23, то с кондиционерщиками искать место врезки дренажной трассы в канализацию. 😂

А вот задачка из последнего: занос батарейного шкафа в сборе в ЦОД заказчика в глубину помещения через 4 дверных проёма по свежему ремонту. Вес шкафа 720 кг.
Пока можете пораскинуть мозгами на эту тему, репортаж с места события позже 😉

Upd: на фото до и после)