Hilbert Team | Эксперты в DevOps

🛠 Туториал по управлению доступами в облаке

Если перед вами стоит задача мигрировать инфраструктуру в Yandex Cloud, важно позаботиться о безопасности и предоставить вашим сотрудникам и подрядчикам ровно тот объем доступа к облаку, который им необходим для выполнения своих задач.

Чтобы вам легче было разобраться с базовыми особенностями ресурсной модели и управления доступами в Yandex Cloud наши инженеры Михаил Кажемский и Алексей Колосков опубликовали статью-туториал на Хабре «Сам себе DevOps: как разобраться с доступами в Yandex Cloud».

💾 Добавляйте статью в закладки, чтобы информация в нужный момент была под рукой.

💻 Также рекомендуем пройти бесплатный курс «Аутентификация и управление доступами», который мы разработали совместно с Yandex Cloud.

#статьи

Channel name was changed to «Hilbert Team | Эксперты в DevOps»

🎓 Расширяем программу обучения по работе с данными в облаке

🆕 Теперь для дата-инженеров и дата-аналитиков доступен курс «Managed Service for ClickHouse». Вы научитесь эффективно обрабатывать потоки данных и выполнять SQL‑запросы с помощью базы данных ClickHouse, использовать его для задач Data Science в облаке и многому другому. Курс будет полезен опытным специалистам, которые хотят научиться обеспечивать высокую доступность, производительность и масштабируемость баз данных.

Также вы можете пройти и другие курсы:

⏺ «Построение корпоративной платформы данных»

Вы выполните практические задания по синхронизации данных, построению гибридного хранилища, созданию аналитических витрин и визуализации данных.

⏺ «Основы работы с DataLens»

Вы научитесь строить графики на основе данных и проектировать what-if-калькуляторы с отображением результатов на дашбордах с помощью Yandex DataLens.

⏺ «Витрина данных для веб-аналитики в ClickHouse®»

Узнайте, как собрать данные из разных источников и автоматизировать их загрузку в хранилище.

Выбрать курсы Yandex Cloud можно по ссылке.

#yacloud_news

Big Data — это сколько?

Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.

Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).

Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.

Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.

Несколько примеров Big Data:
🍎 Данные со смартфонов пользователей мобильного приложения фитнес-трекера: количество шагов, качество сна, тренировки,
🚘 Данные с сенсоров на сборочной линии автомобильного завода: качество сборки, время прохождения каждого этапа, количество брака,
🌐 Логи использования городского Wi-Fi: в каких точках города наиболее активное использование, какие сайты посещают пользователи, длительность сессий,
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.

#экспертиза

Эволюция оптимизации облачных затрат

На заре развития облачных технологий перед cloud-инженерами не стояла задача мониторинга и оптимизации затрат на облако, потому что облачные инфраструктуры и счета за облако были меньше, а конкуренция на рынке — ниже.

Сегодня компании, которые хотят обеспечить себе конкурентоспособность, должны заботиться о затратах на облако, именно поэтому активно развивается FinOps.

Сравним, что изменилось с приходом FinOps.

1. Прозрачность облачных расходов

Как было раньше:
Для инженеров не имело значения, сколько стоит создать продукт, важно было только, чтобы он хорошо работал, вписывался в рыночную нишу и удовлетворял потребности пользователей. Решения о расходах на облако принимал топ-менеджмент и зачастую не видел причин делиться данными о затратах с инженерами.

Как стало с FinOps:
Инженеры сами стали нести ответственность за большую часть расходов в рамках разрабатываемого продукта. В FinOps каждое инженерное решение — это решение о покупке, поэтому инженеры получили доступ к информации о структуре расходов.

2. Сотрудничество команд

Как было раньше:
Финансы и ИТ были обособленными командами с разными приоритетами и говорили на разных языках. Научить финансистов понимать сложные инженерные термины (и наоборот) казалось нереальной задачей.

Как стало с FinOps:
В компаниях, которые внедряют FinOps, происходят культурные изменения и налаживается коммуникация между финансовыми, техническими и операционными командами для достижения единых целей компании.

3. Проще переезд в облако

Как было раньше:
Компании опасались миграции в облако из-за сложностей в понимании структуры расходов на облако. В счетах за облачные услуги (cloud bill) трудно разобраться и тем более принять какие-либо бизнес-решения на их основе.

Как стало с FinOps:
FinOps-инструменты дают простое и эффективное бюджетирование по категориям – можно контролировать затраты по продуктам, командам, релизам и другим факторам – а также прогнозировать будущие расходы. Благодаря этому компаниям легче решиться на переезд.

#экспертиза

В чем заключается работа SRE и DevOps

В нашей команде работают как DevOps, так и SRE-инженеры. DevOps – более знакомый широкой общественности термин, а SRE только набирает популярность. Разберемся, что скрывается за этими ролями.

🔩 DevOps отвечает в первую очередь за построение конвейера по доставке кода в продакшн, а также поддержку и разработку инструментов, которые этому способствуют. В его обязанности входит настройка TEST & DEV-окружений, конфигурирование CI/CD-систем и разработка разнообразных вспомогательных скриптов.

🔩 SRE — это инженер по надёжности и отказоустойчивости инфраструктуры. В обязанности SRE входит разработка концепции надежности и метрик мониторинга, оценка релизов (повредит данный релиз продакшну или нет) и разработка инструментов, которые повышают надежность системы, а также реагирование на инциденты и предотвращение всевозможных сбоев в продакшне.

Если кратко: DevOps автоматизирует и оптимизирует, а SRE следит, чтобы прод не падал и системы были надежны.

#экспертиза

Опасения заказчиков по внедрению DevSecOps

Если DevOps уже стал стандартом разработки и ценность методологии всем очевидна, так как напрямую влияет на скорость выпуска ИТ-продуктов, то DevSecOps используют еще далеко не все.

🛡 DevSecOps – это по сути новый этап развития DevOps и заключается он во внедрении автоматизированных проверок безопасности в DevOps-пайплайн, то есть с первых этапов разработки.

Мы обратили внимание на несколько распространенных опасений, которые могут останавливать компании от внедрения DevSecOps, и хотим разобрать их в этом посте.

❓ «DevSecOps замедляет разработку»

На этапе внедрения DevSecOps может быть замедление из-за того, что сотрудники из ИТ и ИБ будут вынуждены осваивать новые инструменты, учиться новым процессам и коммуницировать друг с другом. Но зато после внедрения вы получите ускорение разработки за счет того, что большая часть уязвимостей будет обнаруживаться на этапе разработки, когда их устранение занимает минимальное время.

❓ «Для DevSecOps нужно объединить разработчиков и безопасников»

Это действительно так, и это важно для вашей безопасности! Возможно, вы сталкивались с ситуациями, когда команды безопасности присоединялись к процессу слишком поздно, и у них оставалось мало времени для запуска тестов и решения проблем (в том числе требующих серьезных правок кода) без нарушения сроков выпуска. DevSecOps поможет решить эту проблему с помощью специализированных инструментов, которые помогают организовать эффективный процесс коммуникации между ИТ и ИБ и повысить общий уровень безопасности ваших приложений.

❓ «DevSecOps – это дорого»

В долгосрочной перспективе DevSecOps, напротив, помогает сэкономить, так как исправлять ошибки на этапе разработки в десятки и сотни раз дешевле, чем на этапе эксплуатации. Кроме того, можно построить DevSecOps-пайплайн полностью на бесплатных и open source-инструментах (инструкция здесь).

Если вам нужна консультация по построению DevSecOps-пайплайна, пишите нам на contact@hilbertteam.com

#экспертиза

Тенденции дата-инжиниринга 2023

1️⃣Миграция в облака
Облачные платформы становятся основой для обработки, хранения и анализа больших объемов данных из-за масштабируемости и наличия специализированных сервисов. По прогнозам Google к 2027 году более 50% всех предприятий перейдут в облако.

2️⃣ Real-time обработка данных
С развитием сферы облачных вычислений и ростом объемов данных возросла необходимость в оперативных инсайтах. Обработка данных в real-time режиме позволяет быстро реагировать на изменения, выявлять паттерны и принимать обоснованные решения.

3️⃣ DataOps и MLOps
Это методологии, направленные на автоматизацию и улучшение процессов сбора, обработки и анализа данных. DataOps (DevOps + Data Science) стремится организовать непрерывную поставку качественных данных, MLOps (DevOps + Machine Learning) – эффективно разрабатывать, развертывать и обслуживать ML-модели.

4️⃣ Data Lakehouse
Data Lakehouse — новая гибридная технология, которая использует лучшее из хранилищ (Data Warehouse) и озёр данных (Data Lake). Технология стала возможна благодаря новому дизайну системы: реализации структур данных и функций управления данными, аналогичных тем, которые используются в хранилище данных, непосредственно поверх недорогого облачного хранилища в открытых форматах. Основное преимущество – возможность хранения структурированных и неструктурированных данных, возможность практически безграничного масштабирования и относительно низкая стоимость.

5️⃣Big Data и IoT
Говоря о тенденциях индустрии обработки данных, нельзя пройти мимо Интернета вещей (IoT), который бурно развивается и влияет на область инжиниринга данных. Устройства IoT собирают большие объемы неструктурированных данных, которые можно эффективно обрабатывать в режиме реального времени, используя различные подходы.

6️⃣ Data Governance
Последняя тенденция, которую мы хотели бы сегодня осветить — Data Governance — целостная стратегия управления корпоративными данными. Данная стратегия включает в себя:
● создание единого каталога метаданных, описывающих все источники организации (например, данные о том, в каких ИТ-системах хранится информация);
● бизнес-глоссарий, определяющий основные элементы и атрибуты данных, а также их бизнес-контекст;
● правила для обеспечения качества данных;
● жизненный цикл данных.

Организации, которые внедрили технологии Data Engineering и научились эффективно работать с данными, могут обеспечить себе конкурентное преимущество в условиях быстро меняющегося цифрового мира.

#экспертиза

🔩 Тренд на дата-инжиниринг

Интерес к дата-инжинирингу (Data Engineering) вырос за год на 35% по данным ORelly, сейчас это одна из самых быстрорастущих областей ИТ-отрасли.

👨‍💻 Дата-инженеры занимаются построением и обслуживанием инфраструктуры для сбора, хранения и обработки данных. Это включает в себя задачи по построению корпоративных хранилищ и озер данных, создание ETL/ELT-пайплайнов для сбора, преобразования и загрузки данных, а также их анализа.

Далее рассмотрим тенденции в сфере дата-инжиниринга ⬇️

#экспертиза

❗️Совет по оптимизации в облаке

Относительно простой способ начать оптимизировать расходы на облако и максимизировать эффект модели Pay As You Go (оплата по мере потребления) – это сократить расходы в моменты низкой активности вашей инфраструктуры. Например, в выходные дни или ночью.

Чтобы оптимизировать затраты, нужно начать со сбора хорошей статистики. Для анализа ваших текущих расходов и просмотра подробной детализации в Yandex Cloud вы можете воспользоваться дашбордом в DataLens.

Как именно настроить оптимизацию:
– Если вы используете группы виртуальных машин или оркестраторы, то можете настроить автоматическое масштабирование;
– Если ваша инфраструктура статическая, то вы можете использовать специальные инструменты для выключения отдельных инфраструктурных компонентов по заданному расписанию. Например, в Yandex Cloud для остановки ВМ, когда в них нет необходимости, есть приложения VM Watchdog и VM Folder Watchdog, о которых мы недавно рассказывали.

Таким образом вы сможете повысить эффективность вашей инфраструктуры и оптимизировать облачные расходы.

#экспертиза

Дайджест полезных материалов

Делимся с вами подборкой наших материалов по миграции в облако, управлению затратами на облако и безопасности.

✅ МИГРАЦИЯ В ОБЛАКО
Статья с рекомендациями по миграции в облако от CEO Hilbert Team.
Кейс по миграции в облако сервиса для получения банковских гарантий «Держава Онлайн».

✅ УПРАВЛЕНИЕ ЗАТРАТАМИ В ОБЛАКЕ
Статья о том, как методология FinOps помогает оптимизировать облачные расходы и повысить рентабельность бизнеса в облаке.
Подборка различных полезных ресурсов по FinOps.

✅БЕЗОПАСНОСТЬ В ОБЛАКЕ
Статья о том, как построить DevSecOps-пайплайн на Open Source-инструментах.
Видео доклада на тему DevSecOps с конференции AppSecFest (нужен VPN в РФ).
Бесплатный курс «DevSecOps в облачном CI/CD», где вы можете потренироваться самостоятельно строить DevSecOps-пайплайн.
Бесплатный курс «Аутентификация и управление доступами», где вы научитесь создавать максимально защищенную облачную инфраструктуру.

#подборка_материалов

Cоветы по миграции в облако

За последние 3 года наша команда реализовала более 100 миграций в облака, в новой статье на VC мы собрали рекомендации для заказчиков на каждом из этапов #миграции:

⏺ При выборе облачного провайдера обращайте внимание на уровень надежности дата-центров (Tier 3 и выше), соответствие требованиям регуляторов и доступный набор PaaS-сервисов.
⏺ Проведите инвентаризацию текущей инфраструктуры в рамках подготовки к миграции. Это сэкономит вам и деньги, и время в будущем.
⏺ Правильно спроектируйте целевую облачную архитектуру с учетом ваших бизнес-целей и набора сервисов, который предоставляет выбранный вами провайдер.
⏺ Рассчитайте TCO облачной инфраструктуры и изменение этого показателя со временем.
⏺ Изучите вопрос управления расходами на облачную инфраструктуру (FinOps-подход).
⏺ Составьте календарный план миграции с учетом всех необходимых этапов тестирования.
⏺ Не забудьте заложить в план разработку эксплуатационной документации.
⏺ Организуйте дополнительное обучение сотрудников, которые будут работать с облаком.

🔵 Подробнее читайте на VC

#статьи

Безопасность в Yandex Cloud

Обеспечить информационную безопасность можно не только в своей on-premise инфраструктуре в закрытом ЦОДе, но и в облаке.

Например, коллеги из Yandex Cloud разработали стандарт по защите облачной инфраструктуры, а также собрали в публичном репозитории на GitHub целую библиотеку решений по внедрению инструментов безопасности в ваше облако на основе опыта и реальных задач от клиентов.

В библиотеке есть решения:
✔️ по использованию NGFW Checkpoint для обеспечения сетевой безопасности облачной инфраструктуры;
✔️ по настройке федеративного доступа в Yandex Cloud c помощью Keycloak;
✔️ по интеграции LDAP для аутентификации пользователей;
✔️ по управлению уязвимостями и другие.

Данная библиотека также содержит референсную архитектуру облачной инфраструктуры, разработанную архитекторами Yandex Cloud, которую вы можете изучить и определить степень соответствия вашей инфраструктуры рекомендациям экспертов.

#инструменты

Где почитать, посмотреть и послушать про FinOps?

Если вы интересуетесь вопросом оптимизации затрат на облако и хотите глубже погрузиться в практику FinOps, то рекомендуем обратить внимание на следующие ресурсы:

📚Книги

Cloud FinOps: Collaborative, Real-Time Cloud Financial Management (2019) — лучшая из всех книг по FinOps, советуем начать изучение темы именно с нее. Вы узнаете, как начать работу с FinOps или усовершенствовать свой текущий подход.

FinOps Handbook for Microsoft Azure (2023) — подробное руководство по оптимизации расходов в облаке Microsoft Azure.

💻 Блоги

FinOps in Practice – обширная база знаний о FinOps от платформы Хайстекс Оптскейл.
Блог Cloud Zero – содержит много хороших статей по конкретным темам, связанным с FinOps и DevOps.
FinOps Foundation – некоммерческая организация, созданная с целью распространения знаний и передового опыта по FinOps.
Лаборатория FinOps – русскоязычное сообщество FinOps-экспертов.

🎞 Видео и подкасты

FinOps-нирвана: как зарабатывать деньги в облаке – доклад CEO Hilbert Team на DevOps Conf.
Реализация FinOps-практик в облаках. Облака, бюджеты и Serverless — выступление Developer Advocate Yandex Cloud Антона Черноусова.
FinOpsPod — англоязычный подкаст по FinOps.
YouTube канал FinOps Foundation — более сотни полезных видео по данной теме.

#подборка_материалов

К сожалению, для многих разработчиков из-за недостаточно эффективного процесса коммуникации между ИТ и ИБ процесс управления уязвимостями выглядит вот так ⬆️😭

На офлайн-встрече партнеров Yandex Cloud по Security Вячеслав Бессонов, CEO Hilbert Team, поднял этот вопрос и разобрал практический кейс по построению DevSecOps-пайплайна и внедрению процесса управления уязвимостями.

Что мы рекомендуем компаниям для повышения безопасности разрабатываемых продуктов:
✔️ Внедрить DevSecOps путем включения в цикл разработки автоматизированных проверок безопасности. Подробнее мы об этом писали в статье.
✔️ Внедрить специализированные Vulnerability Management инструменты для эффективного анализа уязвимостей и повышения эффективности взаимодействия ИТ и ИБ.

#экспертиза

💲 Как FinOps повышает рентабельность бизнеса в облаке

Вячеслав Бессонов, CEO Hilbert Team, рассказал #РБК о том, что такое методология #FinOps, и как она помогает оптимизировать использование облачной инфраструктуры, тем самым повышая рентабельность бизнеса в целом.

Из статьи вы узнаете:
🟢Почему бизнесу важно контролировать расходы на облако,
🟢Как возник FinOps и перспективы его развития в России,
🟢Какие существуют инструменты и подходы к оптимизации в FinOps,
🟢С какими сложностями вы можете столкнуться при внедрении данного подхода.

➡️ Подробнее читайте на РБК

#статьи

⚡️ Исследование: Облачные технологии и DevOps в России 2023

Недавно мы делились с вами зарубежными опросами GitLab в 2022 и 2023 году, а сегодня хотим обратить внимание на некоторые выводы из российского исследования State of DevOps Russia 2023, которое на днях презентовали коллеги по рынку из Экспресс 42, Yandex Cloud и Флант. По данным этого опроса:

72% респондентов так или иначе используют облако: 22% используют одно облако, почти 19% – мультиклаудный режим, 31% – гибридную модель (on-prem + cloud). То есть большая часть полагается на отказоустойчивые решения в виде гибридной системы, что особенно популярно в финансовом секторе.

Отмечается активный рост управляемых Kubernetes сервисов в облаке, в том числе среди крупного бизнеса. Большие российские компании выносят в облако свои среды разработки (DEV, STAGE-окружения), и Kubernetes хорошо работает c точки зрения скорости развертывания динамических сред.

Растет потребность в PaaS-решениях, а IaaS – наоборот, снижается. Наиболее популярные PaaS-решения – это управляемые базы данных (46,5%), управляемые оркестраторы (45%) и CI/CD-сервисы (GitLab) (26%).

Какие преимущества облаков важны клиентам облачных провайдеров? Самыми популярными ответами оказались:
- соответствие требованиям регулятора в части хранения и обработки персональных данных,
- повышение прозрачности расходов на ИТ-инфраструктуру (FinOps),
- возможность сокращения расходов на ИТ-персонал.

Наиболее актуальные задачи в облаке:
- хостинг веб-приложений (размещение веб-сервисов),
- обеспечение отказоустойчивости,
- оркестрация и управление контейнерными кластерами,
- работа с данными и средствами аналитики.

Таким образом, коллеги отметили, что российский облачный рынок становится более зрелым, и пользователи все чаще и чаще выбирают облака для решения своих бизнес-задач.

#аналитика

✅ Кейс по миграции в облако

Спрос на облачные услуги в банковском секторе продолжает расти! Сегодня мы хотим поделиться деталями проекта по миграции в облако сервиса для получения банковских гарантий «Держава Онлайн».

Краткая информация о проекте в карточках, а подробности — в статье.

#кейсы