AWS Notes

Официальный клиент для монтирования S3 бакета в файловую систему — Mountpoint for Amazon S3

https://aws.amazon.com/blogs/storage/the-inside-story-on-mountpoint-for-amazon-s3-a-high-performance-open-source-file-client/

Отличия от других клиентов:

1️⃣ Использует те же библиотеки, что и AWS SDK
2️⃣ Написан на Rust
3️⃣ Автонастройка как для S3

Репозиторий:

GitHub 🔗 https://github.com/awslabs/mountpoint-s3
Roadmap 🔗 https://github.com/orgs/awslabs/projects/84

p.s. Альфа версия, у меня не заработало на ARM 😐 .

#S3

AWS Pi Day 2023

Amazon S3 launched 17 years ago on Pi Day, March 14, 2006, and became the first generally available AWS service. Over the last 17 years, data has grown exponentially. Data is rapidly becoming a strategic asset for every organization that is coming from newer sources, is increasingly diverse, and is needed by many users within an organization.

Attend the 3rd annual AWS Pi Day live, virtual event hosted on the AWS On Air channel on Twitch as we celebrate the 17th birthday of Amazon S3.

https://pages.awscloud.com/NAMER-field-OE-Pi-Day-2023-reg-event.html

​​Осенью 2022-го года не слишком громко появился сервис Amazon File Cache. Он позволяет кэшировать файлы в облачных и гибридных архитектурах для on-premises, S3 и NFS v3 совместимых систем.

Ссылка в AWS Blog:

https://aws.amazon.com/blogs/aws/amazon-file-cache-a-high-performance-cache-on-aws-for-your-on-premises-file-systems/

Видео с re:Invent 2022:

https://www.youtube.com/watch?v=n4G8qmKS_-k

🆕 Теперь Amazon File Cache кроме EC2 получил поддержку и контейнерных сервисов ECS и EKS. Для работы с Kubernetes используется Amazon File Cache CSI driver:

https://docs.aws.amazon.com/eks/latest/userguide/file-cache-csi.html

#FileCache #ECS #EKS

⚡️ Issue #62 | 06 Mar 2023 –  12 Mar, 2023

▪️ Application Composer is now generally available
▪️ Aurora cross-region DR capabilities in more regions
▪️ Aurora MySQL-Compatible Edition  AD auth
▪️ Config +18 new resource types
▪️ Connect new API for customers to access historical metrics
▪️ Database Migration Service Fleet Advisor target recommendations
▪️ DynamoDB table deletion protection
▪️ EC2 create AMI with UEFI and Legacy BIOS on boot | blog
▪️ Elemental MediaConvert enhanced color processing
▪️ EMR on EKS emitting customer metrics for managed endpoints
▪️ Glue
     ▫️ faster and simpler permissions setup
     ▫️ Job Monitoring continuous logs
     ▫️ Streaming ETL
▪️ IAM roles with credentials control props for EC2
▪️ IoT Device Management Jobs maintenance window feature
▪️ Kinesis Data Firehose data delivery to ELK
▪️ Lambda up to 10 GB of ephemeral storage in 6 additional regions
▪️ License Manager Linux subscriptions expands region and admin support
▪️ Location Service Open Data Maps
▪️ Migration Hub Refactor Spaces environments without a network bridge
▪️ QuickSight enhances the developer experience with SDK 2.0
▪️ RDS for MariaDB RDS Optimized Writes
▪️ Redshift 200K tables in a single cluster
▪️ Redshift Serverless lower data warehouse base capacity configuration
▪️ Resource Explorer +12 new resource types
▪️ Route 53 Resolver endpoints for hybrid cloud announces IPv6 support
▪️ SageMaker Data Wrangler EMR Hive as a big query engine
▪️ Security Hub NIST SP 800-53 Rev. 5
▪️ SES email receiving metrics for better visibility and control
▪️ Systems Manager Favorites for documents and runbooks

​​📓 Лучшее сравнение "NIST CSF vs ISO 27001/2 vs NIST 800-53 vs SCF", что видел. Отлично подойдёт для тех, кто хочет глубоко разобраться в теме.

https://www.complianceforge.com/faq/nist-800-53-vs-iso-27002-vs-nist-csf-vs-scf

Главное на картинке в заголовке сверху:

1️⃣ Cамый всеобъемлющий стандарт Secure Controls Framework (SCF). Если вы параноик и хотите потратить весь свой бюджет на кибербезопасность, тогда смело делайте всё по этому стандарту.

2️⃣ NIST 800-53 есть его подмножество SCF. Если вам потребуется работать с военными или государственными структурами США, тогда сразу ориентируйтесь на NIST 800-53.

3️⃣ ISO 27001/2 есть его подмножество NIST 800-53. В статье кратко и доступно описана путаница 27001 vs 27002 — почему два стандарта. Расписано, почему многие бизнесы любят его использовать — он не настолько суров, а при этом очень популярен, особенно в крупных компаниях.

4️⃣ NIST CSF — самый простой, этим и хорош. Потому рекомендуется с него начинать небольшим компаниям.

Таблица внизу показывает ландшафт различных compliance с координатами по охвату и популярности типа квадрантов Gartner. При некоторой спорности, помогает сориентироваться и выстроить своё понимание, как соотносятся между собой PCI-DSS, HIPAA, FedRAMP, а также другие популярные и не очень стандарты.

Отдельно добавлю, что в AWS есть сервис Security Hub, который следит за всеми требованиями согласно этих стандартов применимо к AWS сервисам. И недавно появилась поддержка версии NIST 800-53 v.5:

https://docs.aws.amazon.com/securityhub/latest/userguide/nist-standard.html

А до этого у Security Hub появилась фича "Consolidated Control Findings" и теперь все проблемы можно увидеть сразу в одном месте:

https://docs.aws.amazon.com/securityhub/latest/userguide/controls-findings-create-update.html#consolidated-control-findings

Реально удобно, AWS Security Hub — must-have для безопасности! 👍

#security #compliance #SecurityHub

🟢 Issue #61 | 27 Feb 2023 – 05 Mar, 2023

▪️ Aurora Serverless v1 customer configurable maintenance windows
▪️ CloudShell modular variant of Tools for PowerShell
▪️ CloudWatch Internet Monitor general availability
▪️ Comprehend simplifies custom model retraining and management
▪️ Control Tower a progress tracker for landing zone setup and upgrades
▪️ Detective graph visualization for interactive security investigations
▪️ DevOps Guru Proactive Insights for RDS
▪️ DocumentDB MongoDB 5.0 wire protocol and client-side field level encryption
▪️ ECS deletion of inactive task definition revisions
▪️ Elemental MediaConvert now Ingests FLAC and Animated GIF Inputs
▪️ EMR Serverless application log encryption with Customer Managed Keys
▪️ Inspector Code scans for Lambda | Preview
▪️ IoT SiteWise Time-Weighted Average and Standard Deviation
▪️ Kinesis Data Streams On-Demand write throughput limit to 1 GB/s
▪️ KMS FIPS 140-2 enabled interface VPC endpoint
▪️ Lake Formation extends Data Filters to all regions for supported services
▪️ Lambda
     ▫️ DocumentDB change streams as an event source
     ▫️ Powertools for .NET is now generally available
▪️ Lightsail for Research Scilab, RStudio, and Jupyter apps | New
▪️ Managed Blockchain (AMB) Ethereum Token-Based Access | GA
▪️ Marketplace search autocomplete suggestions
▪️ Neptune Serverless now scales down to 1 NCU
▪️ Open Service Graviton2 (C6g, M6g, R6g) instances support in four additional regions
▪️ Private CA open-source samples for Matter compliant certificate authorities
▪️ RDS for PostgreSQL major version PostgreSQL 15
▪️ RDS for SQL Server cross-region Automated Backups with encryption
▪️ Redshift ROLLUP/CUBE and GROUPING SETS in GROUP BY clause | GA
▪️ SageMaker Autopilot select algorithms while launching ML experiment
▪️ SAM Rust build support | Preview
▪️ Service Catalog disassociate and delete products in one-action
▪️ SimSpace Weaver IAM Identity Center
▪️ Timestream batch loading data support

​​Как не платить за счета AWS и продолжать при этом с ним работать?

Просто будьте Илоном Маском! 😀

Оригинальная статья:

https://www.theinformation.com/articles/musk-delayed-paying-twitters-amazon-cloud-bill-sparking-ad-threat

​​Новый будущий AWS регион — Малайзия:

https://aws.amazon.com/blogs/aws/in-the-works-aws-region-in-malaysia/

Когда регион планируется к открытию не уточняется.

Итого на текущий момент AWS строит одновременно 5 регионов:

• Asia Pacific (Auckland, New Zealand)
• Asia Pacific (Bangkok, Thailand)
• Canada West (Calgary)
• Malaysia
• Middle East (Tel Aviv, Israel)

#AWS_Regions

Технологии machine learning для малого и среднего бизнеса — Игорь Шарфмессер, AWS

Через 15 минут от этого поста, присоединяйтесь!

https://aws-experience.com/emea/smb/event/ddba58a4-3868-4e2f-a916-32ddc1d30a62

​​💡 ChatGPT для обучения: AWS Certification и не только

Желаете потренироваться на сдачу AWS Certified Cloud Practitioner?

Запросто!

Вводите в Chat-GPT3 запрос:

Act like a "AWS Certified Cloud Practitioner" trivia game.
For each round, come up with one multiple choice question with four possible answers (1, 2, 3, 4).
Award 2 points for each correct answer and 0 points for each incorrect answer.
Gather the total amount of points after each round.
Make a grand total of points at the end of the game.
I’ll have 10 to rounds to reach 16 points.
If I don’t reach to 16 points in 10 rounds I’ll lose and ask if I want to start a new game.
Wait for my response before asking the next question.
After my answer, do not wait for confirmation and immediately ask the next question.

Вопросы весьма простые, по сути просто на тему AWS, поэтому попытка указать Professional варианты экзамены не сработает. Однако для новичков — отличный старт и просто приятное времяпровождение! 😀

p.s. Лайфхак GPT-хак: в кавычках можно ввести что угодно — DevOps, Golang или даже StarCraft!

#chatgpt #AWS_Certification

​​🆕 Удаление ECS Task Definitions: 🎉

https://aws.amazon.com/blogs/containers/announcing-amazon-ecs-task-definition-deletion/

Не прошло и 5..8.., не прошло и 10 лет (ECS появился в 2014-м году)!

Учитесь — как можно выйти в прод, проработать там вечность (даже две вечности по меркам прогресса в IT) и при этом не иметь даже базовых фич. 😁

#ECS

📩 Issue #60 | 20 Feb 2023 –  26 Feb, 2023

▪️ App Runner
     ▫️ HTTP to HTTPS redirect
     ▫️ WAF support
▪️ CloudWatch
     ▫️ RUM customer defined metrics
     ▫️ Synthetics new Synthetics NodeJS runtime version 3.9
▪️ Connect Cases VPC PrivateLink support
▪️ Detective
     ▫️ export data from Summary page panels and search results
     ▫️ interactive workshop for investigating potential security issues
▪️ EC2  Torn Write Prevention(TWP) at Im4gn/Is4gen and EBS regions
▪️ ECS faster Cluster Auto Scaling
▪️ EKS Kubernetes version 1.25
▪️ Forecast built-in holiday data for 251 countries
▪️ Fraud Detector Smart Data Validation
▪️ Glue Crawlers integration with Lake Formation
▪️ Lex Console Vertical specific bot templates
▪️ OpenSearch Service schedule service software updates during off-peak hours
▪️ QuickSight RBAC with Run-as IAM Role for S3 and Athena
▪️ RDS
     ▫️ MariaDB Cross-Region Automated Backups
     ▫️ MySQL Cross-Region Automated Backups
     ▫️ Oracle early notifications of Auto minor Version Upgrades (AmVU)
▪️ Resilience Hub application change capabilities and simplified APIs
▪️ SageMaker Model Monitor from SageMaker Model Dashboard
▪️ SAM connectors multiple destinations
▪️ Security Hub
     ▫️ +7 security best practice controls
     ▫️ Consolidated Control Findings and Controls View
▪️ Systems Manager backup SAP HANA databases
▪️ Telco Network Builder telco network builder automation service | blog
▪️ Transfer Family
     ▫️ CloudFormation and enhanced monitoring capabilities for AS2
     ▫️ send AS2 messages over HTTPS

​​Kubernetes 1.25 для EKS и EKS Distro

https://aws.amazon.com/blogs/containers/amazon-eks-now-supports-kubernetes-version-1-25/

Спустя официального релиза 1.25 прошло ровно 5 месяцев, то есть задержка поддержки очередной версии резко сократилась, что очень радует. Сделанный в прошлый раз прогноз на эту версию был очень неточным — ошибся почти на два месяца. Причём ошибся не только я — и у AWS ещё неделю назад в графике стоял март.

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html#kubernetes-1.25

Несмотря на то, что отставание по версиям сократилось до одной версии, всё же предыдущая версия 1.26 вышла два с половиной месяца назад. 😐 В качестве прогноза этой версии на AWS поставлю на 23 мая 2023 года.

Отдельно стоит отметить, что 15 февраля закончилась поддержка версии EKS 1.21, а окончание поддержки версии EKS 1.22 будет в самом начале лета — 4 июня.

#EKS

​​ChatGPT-3 для DevOps и обучения DevOps

Если вы ещё не пробовали использовать ChatGPT-3, то обязательно попробуйте:

https://chat.openai.com/

Возможности его можно посмотреть в многочисленных обзорах, тут же хочу отметить кратко рассказать о применимость для DevOps как с точки зрения уже работающего в этой сфере, так и с позиции кандидата, изучающего DevOps или с нуля начинающего изучать эту тему.

Всех девопсов скоро заменят на ИИ

Краткий ответ — нет. Развёрнутый — нет, всех не заменят. 😁

Грядут серьёзные изменения

Если же серьёзно, то мы находимся в точке резкого увеличения производительности труда, радикального изменения во многих сферах обучения, когда классические методы образования будут вынуждены приспособиться к ещё на порядок увеличившейся простотой доступа к информации.

Это приведёт к изменениям в процессе найма, если процесс происходит удалённо, т.к. задавать по чеклисту вопросы будет малоэффективно ввиду слишком большого количества способов на них получить адекватный ответ в ChatGPT.

PromptOps

На первый план при использовании ChatGPT выходит то, как вы умеете спрашивать, то есть формировать запрос. Тут ведь вопрос уже не половина, а 100% ответа, а правильно поставленный запрос даст не только адекватный, но и качественный ответ.

Уже совсем скоро негодование по поводу поверхностности знаний начинающих перейдёт на новый уровень, т.к. теперь часть работ можно выполнять вообще без знаний — ведь всё можно спросить у ChatGPT-3.

Незачем гуглить ошибку и читать StackOverfllow — вставляем в ChatGPT-3, который поймёт из неё контекст, напишет когда и почему так бывает, а также даст ответ. Если это нельзя сделать — так и напишет, что может быть особенно полезно.

ChatGPT-3 говнокодит не точен

Это правда, ChatGPT-3 ошибается, по опыту оценю ошибки в 10-15%+. Главное — он хорошо генерирует конструкции, на базе которых уже можно сделать нужное, что особенно круто для самообучения (к тому же он всегда поясняет что-как работает).

Крутые вещи ChatGPT-3 для DevOps

▫️ Объяснение ошибок
▫️ Конвертация скриптов из одного языка программирования в другой
▫️ Генерация случайных данных для тестов в любом формате
▫️ Сравнение продуктов/подходов/технологий с аргументаций плюсов и минусов, рекомендаций выбору и подведению выводов
▫️ Поможет придумать имя переменной (постоянно использую 😁)

ChatGPT-3 напишет за вас

➖ Контракт о найме
➖ Письмо шефу с просьбой о повышении зарплаты
➖ Объяснительную, почему упал прод
➖ Резюме

Недостатки ChatGPT-3

▫️ Он не в курсе о том, что было в этом и прошлом году, т.к. был натренирован на данных до 2021-го года
▫️ Он хорош в конкретных областях, крут в генерации идей, но этим и может быть плох — он может придумать то, чего не знает.

p.s. ChatGPT-3 доступен не во всех странах (без дополнительных усилий), с 18 февраля стал официально доступен в Украине. 🇺🇦

#chatgpt #devops

Обычный CI/CD в обычном стартапе.

#пятничное