AWS Notes

​​CI/CD: CodeCommit + CodeBuild + CodePipeline + Terraform

https://www.tecracer.com/blog/2023/05/terraform-ci/cd-pipelines-use-aws-codepipeline-to-build-fully-managed-deployment-pipelines-for-terraform..html

Хорошая задумка, мне нравится. Похожую схему использую много лет, лишь вместо CodePipeline у меня Jenkins и KICS в качестве SAST.

#CodeBuild #CodePipeline #Terraform

🌐 Залипалка для медитации:

https://satellitemap.space/?constellation=starlink

​​Magic Quadrant for Cloud AI Developer Services — Gartner, March 2023

https://pages.awscloud.com/Gartner-Magic-Quadrant-for-Cloud-AI-Developer-Services.html

#Gartner #AI

eksdemo — суперкомбайн на базе eksctl.

https://github.com/awslabs/eksdemo

Умеет из коробки реально много чего. Например:

◻️ Install Karpenter autoscaler and test node provisioning and consolidation
◻️ Install EKS optimized Kubecost using Amazon Managed Prometheus

Предназначен только для демонстрационных целей и изучения Kubernetes & Amazon EKS. В общем, для тех, кто так и не освоил Terraform, CloudFormation или CDK.

#EKS

​​Правильные вопросы — Beginner, Junior, Middle и Senior

Важный навык — задавать вопросы. Ещё более важный — задавать вопросы грамотно, какие и как.


Beginner курильщика 🚬

▪️ Что это такое?

Вопросы, ответы на которые ищутся в один клик (без преувеличения) с ответом на первой строке — самые плохие. Они обычно сильно раздражают пользователей форумов, в результате чего отправляются оными в Google.


Beginner здорового человека 🧡

▫️ Сделал как написано тут, но у меня вот такая ошибка — что это такое?

Те же вопросы, но с проделанной предварительной работой, становятся сущностными. Даже если абсолютно те же вопросы.


Junior курильщика 🚬

▪️ Как это сделать?

Вопросы, ответы на которые ищутся в пару кликов в документации — плохие. А сейчас с помощью Bing / ChatGPT можно получить какой-то ответ даже на плохо заданный вопрос.


Junior здорового человека 🧡

▫️ Искал примеры такого-то / там-то / так-то, не нашёл похожего — как это сделать?
▫️ Bing мне сказал, что нужно делать так-то, правильно ли это и если нет, то как это сделать?

Те же вопросы, но с проделанной предварительной работой, становятся сущностными. Даже если абсолютно те же вопросы.


Middle курильщика 🚬

▪️ Какой инструмент/сервис лучше использовать для такого-то?

Вопросы, ответы на которые есть в Best Practices — не лучшие вопросы.


Middle здорового человека 🧡

▫️ Использовал такой-то инструмент, получил такой-то результат, так пойдёт или переделать?

Принятие решения о выборе инструмента есть признак автономности — важный момент для профессионального роста.


Senior курильщика 🚬

▪️ Нет вопросов.


Senior здорового человека 🧡

▫️ Какие требования/ограничения?
▫️ Насколько срочно?
▫️ Сделать быстро или качественно?
▫️ Надёжно или дёшево?
▫️ Какие приоритеты?
▫️ Зачем/кому это нужно и нужно ли вообще?

#вопросы

Больше Linux-ов, хороших и разных!

https://devclass.com/2023/05/25/azure-linux-released-at-build-where-microsoft-revealed-why-it-did-not-fork-fedora/

Is Azure Linux comparable to Amazon Linux 2023?

▪️ AL2023 is designed for customers to install on their VMs, whereas Azure Linux is not, currently.

▪️ AL2023 is related to Fedora whereas Azure Linux is its own distribution. Azure team didn’t fork Fedora or anything like that. They have borrowed code from them, it’s an RPM-based distro.

#Azure #Linux

☁️ Issue #73 | 28 May 2023

🟠 Amplify Authenticator UI Library for Swift and Android
🟠 AppSync Merged APIs for GraphQL federation
🟠 Athena updates data source connectors to improve performance and reduce cost
🟠 Aurora
     ▫️  MySQL improves performance and failover recovery time when binlog is enabled
     ▫️  PostgreSQL improves availability of read replicas
🟠 Backup restoring resources with tags
🟠 Chatbot CloudWatch dashboards and Logs Insights in chat channels
🟠 CloudFormation StackSets available in (Melbourne), Europe (Spain), and Europe (Zurich)
🟠 Cognito  new console experience for identity pools
🟠 Connect Contact Lens theme detection
🟠 Connect provides contact records and events for external third-party calls
🟠 Copilot Static Site pattern to host single-page web applications
🟠 EC2
     ▫️  C7g instances are now available in Singapore
     ▫️  M1 Mac instances beta macOS versions
🟠 EKS Kubernetes version 1.27
🟠 ElastiCache for Redis data tiering now supports auto scaling
🟠 Elemental MediaPackage Low-Latency HLS
🟠 GameLift improves FleetIQ game session placement logic
🟠 Global Accelerator Hyderabad and UAE endpoints
🟠 IAM Identity Center temporary elevated access capabilities
🟠 KMS HSMs upgraded to FIPS 140-2 Security Level 3
🟠 MWAA is now SOC Compliant
🟠 ParallelCluster GPU instance health checks and RHEL8 support
🟠 RDS for PostgreSQL
     ▫️  minor versions 15.3, 14.8, 13.11, 12.15, and 11.20
     ▫️  Rust to build high performance database functions
     ▫️  up to 15 read replicas for RDS Multi-AZ with 2 readable standby-s
     ▫️  16 Beta 1 | Preview
🟠 RDS Performance Insights enhanced console experience
🟠 Redshift auto-commit statements in stored procedure
🟠 re:Post multiple email addresses
🟠 SageMaker JumpStart fine-tuning of Foundation Models with domain adaptation
🟠 SES  convert standard to dedicated IPs
🟠 Translate real time document translation
🟠 Wickr is now HIPAA eligible

Универсальные ответы для собесов по DevOps

... Что ...?

— «Docker» (40%)
— «Kubernetes» (40%)
— «Зависит от контекста» (20%)


... Почему?

— «Так исторически сложилось» (100%)

#devops #design

Тихая Open Source революция AWS

Меньше 24 часов назад от времени написания этого поста вышла первая публичная бета PostgreSQL 16:

https://www.postgresql.org/about/news/postgresql-16-beta-1-released-2643/

В то же время RDS PostgreSQL16 уже доступна на AWS и даже есть документация:

https://docs.aws.amazon.com/AmazonRDS/latest/PostgreSQLReleaseNotes/postgresql-versions.html#postgresql-versions-version16

Так быстро внедрить новую фичу, да ещё и написать документацию?! Документация точно занимает минимум несколько дней — как же так?

Всё просто. Единственное объяснение, если вы эту фичу и разрабатываете. Приглядитесь-полистайте, сколько представителей Amazon Web Services среди главных контрибьютеров PostgreSQL:

https://www.postgresql.org/community/contributors/

Теперь, думаю, понятно.

AWS много лет (и справедливо) ругали за то, что они используют Open Source продукты лишь получая прибыль и ничего не отдавая взамен.

Несколько лет стратегия AWS по отношению к Open Source стала совсем другой. Появились крупные Open Source проекты: OpenSearch, bottlerocket, Firecracker, FreeRTOS, Babelfish for PostgreSQL, EKS Distro. Также стоит отметить серьёзный вклад в разработку Fluentd (в тройке) и даже Kubernetes (в десятке). Однозначно есть куда расти, но ещё пяток лет назад такого вообще не было.

В общем, ситуация изменилась и продолжает меняться. И это однозначно радует. 👍

#OpenSource

​​EKS + Kubernetes 1.27 🎉

https://aws.amazon.com/blogs/containers/amazon-eks-now-supports-kubernetes-version-1-27/

Спустя официального релиза 1.27 прошло лишь полтора месяца и теперь на AWS снова актуальная версия. 💪 Сделанный в прошлый раз прогноз на эту версию опять был неточным — ошибся почти на месяц.

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html#kubernetes-1.27

В результате делать прогноз сложней, т.к. следующая версия ещё не вышла, но поставлю, что 1.28 на AWS появится 22 сентября 2023 года.

Интересно отметить, что теперь на AWS доступны для установки сразу 6(!) версий Kubernetes: 1.22 - 1.27. Однако уже совсем скоро ситуация "стабилизируется" — версия EKS 1.22 перестанет поддерживаться 4 июня.

#EKS

​​🔢 «Evolutionary Architectures» is a four-part blog series that shows how solution designs and decisions evolve as companies go through the different stages of the startups lifecycle.

1️⃣ «I’ve got this great idea!» — MVP:

https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-1/

2️⃣ «I think we may be onto something» — evolving technical solution:

https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-2/

3️⃣ «To the moon 🚀» — evolving architecture:

https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-3/

4️⃣ «Would you like coffee with that?» — formalizing security and backup posture to meet various compliance standards:

https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-4/

#design

​​Вдруг вы не заметили в AWS IAM Actions есть Generator:

https://www.awsiamactions.io/generator

В нём можно не только собрать нужную конструкцию политик в JSON, но и сразу же конвертировать это в Terraform и CloudFormation.

#IAM #Terraform #CloudFormation

Продолжаем серию - Whiteboard Architecture. В этом видео мы рассказываем как появились даталейки и как они упрощают анализ данных в больших масштабах, а так же о сервисах AWS для работы с данными в даталейках.
https://youtu.be/kkI5i0c4810

​​📢 -40% for CKA, CKAD and other certifications!

https://training.linuxfoundation.org/may-spring-2023/

Promo Code: MAYSPRING40

The offer ends on May 23rd, but you can purchase the exam now and schedule it to take at a later date within 1 year.

#certification

⚒️ specctl is a tool to convert Kubernetes objects to ECS and vice versa:

https://github.com/awslabs/specctl

specctl uses Terraform to create all the necessary AWS resources needed to run services and tasks on ECS.

⚠️ Currently, only ECS Fargate is supported.

#Kubernetes #EKS #ECS #Fargate #Terraform

Issue #72 | 21 May 2023

▪️  Braket new trapped-ion quantum computer named Aria from IonQ
▪️  Clean Rooms is now HIPAA eligible
▪️  CloudFront stale-while-revalidate and stale-if-error cache control directives
▪️  Config advanced queries +62 resource types
▪️  Control Tower +28 proactive controls
▪️  Cost Categories Usage Type dimension support
▪️  Data Exchange User Notifications | GA
▪️  DataSync copy data to and from S3 compatible storage on Snow
▪️  Detective investigations for additional AWS services
▪️  Device Farm VPC integration for Private Devices
▪️  Distro for OpenTelemetry advanced sampling
▪️  EC2 C6in + 20 regions
▪️  Elemental MediaTailor query parameter pass through
▪️  Global Accelerator extends TCP termination to IPv6 traffic
▪️  IoT SiteWise formula builder improvements
▪️  Kendra
      ▫️  Adobe Experience Manager Cloud Connector
      ▫️  Adobe Experience Manager On-Premise Connector
      ▫️  Alfresco Enterprise Connector
      ▫️  Alfresco PaaS Connector
      ▫️  Gmail Connector to enable messaging search
▪️  MQ +4 regions
▪️  Neptune Serverless CloudFormation support
▪️  Omics
      ▫️  direct upload to Omics storage and automatic variant data parsing
      ▫️  EventBridge integration
      ▫️  Graphical Processing Units for workflows
      ▫️  pre-built bioinformatic workflows with predictable pricing
▪️  QuickSight Common Sub-expression Elimination for SPICE performance optimization
▪️  RDS M6i and R6i database instances +16 regions
▪️  RDS for Oracle April 2023 Release Update for 19c
▪️  Rekognition eye gaze direction detection in Face APIs
▪️  Systems Manager
      ▫️  Distributor  CrowdStrike Falcon Sensor agent
      ▫️  Patch Manager now supports Alma Linux
      ▫️  Patch Manager now supports Ubuntu 22.04
▪️  Textract updates its Queries feature within Analyze Document API
▪️  Timestream unloading data to S3
▪️  WAF rate-based rules to support request headers and composite keys

Выбирай язык осторожно.

​​Когда ты думал, что митинг будет через Zoom.

#пятничное