AWS Notes

Essential reading for understanding S3 buckets:

https://blog.plerion.com/things-you-wish-you-didnt-need-to-know-about-s3/

🔹 S3 buckets are the S3 API
🔸 ListObjects is not the only way to get object keys
🔹 Incomplete multipart uploads are Schrodinger’s objects
🔸 Multipart upload listings leak return principal ARNs
🔹 Access control lists can grant access based on email
🔸 Storage class is uploader’s choice
🔹 Pretty much everything is uploader’s choice
🔸 S3 will tell you the bucket owner if you ask nicely
🔹 Keys are case sensitive
🔸 More ways to make a bucket public

#S3

Можно ChatGPT. Он погуглит за вас.

#пятничное

​​📊 Get powerful visuals and deep insights to optimize costs on AWS with Cloud Intelligence Dashboards.

https://catalog.workshops.aws/awscid/en-US/dashboards

Foundational

▪️ CUDOS Dashboard
▪️ Cost Intelligence Dashboard
▪️ KPI Dashboard

Advanced

▪️ Compute Optimizer Dashboard
▪️ Trusted Advisor Organizational Dashboard
▪️ Cost Anomaly Dashboard
▪️ Extended Support - Cost Projection
▪️ Graviton Opportunities Dashboard

Additional

▪️ Trends Dashboard
▪️ DataTransfer Cost Analysis Dashboard
▪️ AWS Marketplace Single Pane of Glass Dashboard
▪️ Kubecost Containers Cost Allocation Dashboard
▪️ SCAD Containers Cost Allocation Dashboard

#Cost_Optimization #QuickSight

​​«Ты как-то медленно накатываешь миграции», — сказали девопсу бэкендеры, перед тем, как это стало их обязанностью.

#пятничное

Hey folks!
On June 4-5th, we invite you to the conference Let's Talk #Security by DevOpsDays Ukraine community ⚙️

🛡 A two-day virtual event is dedicated to security integration throughout the IT lifecycle. We'll discuss context-based security, cloud hacking scenarios, information security in the cloud, defense against cyberattacks and the complexities of cyber warfare, vulnerability management implementation with AWS services, OWASP Top Web Application Security Risks, and more.

Presentations, ignite talks and open space discussion await you!

Check out agenda & register 👉 https://www.devopsdays.com.ua
When? June 4-5
Where? Online

Join for free!

​​Terraform best practices from AWS

https://docs.aws.amazon.com/prescriptive-guidance/latest/terraform-aws-provider-best-practices/introduction.html

Backend

▫️ Use S3 for remote storage
▫️ Facilitate team collaboration
▫️ Separate the backends for each environment
▫️ Actively monitor remote state activity

Code

▫️ Implement a standard repository structure
▫️ Structure for modularity
▫️ Follow naming conventions
▫️ Use attachment resources
▫️ Use default tags
▫️ Meet Terraform Registry requirements
▫️ Use recommended module sources
▫️ Follow coding standards

Versions

▫️ Use the TFLint
▫️ Monitor new releases

Modules

▫️ Use variables for customization
▫️ Understand dependencies
▫️ Use trusted sources

#Terraform

Terraform AWS Cloud Control Provider

provider "awscc" {
region = "us-east-1"
}

provider "aws" {
region = "us-east-1"
}

https://aws.amazon.com/blogs/devops/quickly-adopt-new-aws-features-with-the-terraform-aws-cloud-control-provider/

Terraform AWS Cloud Control Provider features:

▫️ Developed by AWS and HashiCorp over four years, leveraging the AWS Cloud Control API.

▫️ Supports new AWS services and features immediately upon release via automatic generation from AWS Cloud Control API.

▫️ Best for using newly released AWS features and services that are not yet available in the standard Terraform AWS Provider.

#Terraform

Как посчитать все ресурсы в AWS Organizations и найти проблемные или multi-account strategy в действии:

https://aws.amazon.com/blogs/mt/identify-aws-resources-at-risk-across-your-multi-account-environment-with-aws-organizations-integrations/

#Organizations #multi_account_strategy

⚠️ Docker Hub перестал работать на территории РФ и Беларуси.

🆕 Вдруг вам было мало процессоров или памяти, тогда пожалуйста — u7in-32tb.224xlarge.

https://aws.amazon.com/blogs/aws/amazon-ec2-high-memory-u7i-instances-for-large-in-memory-databases/

P.S. $400 в час. Если запустить и опомниться, то можно сделать себе такой же скриншот, как в статьте, долларов за 25-30.

#EC2

Это статистика за 12 месяцев. Amazon потратил на R&D больше чем Apple и Google вместе взятые

Cloudflare took down our website after trying to force us to pay 120k$ within 24h

https://robindev.substack.com/p/cloudflare-took-down-our-website

My tips for when Cloudflare reaches out to you

First of all, congrats! Your business must have become pretty successful. How exactly did CF decide to “ask” you to switch to Enterprise?
Maybe...
...you hit 10TB of traffic per month
...their lava lamps went into a specific astral alignment
...a sales rep realized that they haven't hit their quarterly quota yet

#Cloudflare

Всем пользователям AWS. Важно!!!
Когда вы регистрируете первый AWS акаунт из которого в дальнейшем делаете AWS организацию - этот акаунт является Root акаунтом вашей организации. На нем аккумулируется билинг, у него максимальные права. Best practice - включить двухфакторную аутентификацию и никогда не использовать этот акаунт для работы. Только для критичных изменений на всю организацию.
Но кроме того, очень важно постоянно мониторить email на который зарегистрирован этот акаунт. Также best practice - добавить в настройках организации дополнительные email для security оповещений и для биллинга.
Почему это важно. Самый частый кейс - у вас не прошла оплата по счетам/картам. AWS отправит уведомление именно на эту почту. После нескольких неотвеченных писем - случается блокировка акаунта.
Более экзотический кейс. AWS заметил что ваш акаунт взломали (утекли ключи) и злоумышленники начали майнить криптовалюту - предупреждение вам так же отправят на рутовый email. Еще более экзотичный кейс - на вас подала жалобу третья сторона (нарушение законодательства/авторских прав) - и снова уведомления отправят на рутовый email.
Если вы все это пропустите - последствия могут быть плачевными.
Обязательно постоянно мониторьте ваш рутовый email и дополнительные email прописанные в организации - это один из самых важных каналов связи с AWS!!!

❎ Post Mortem of GCP deletion of UniSuper's data ($125B Australian pension fund)

TLDR: Eat your own dog food

https://cloud.google.com/blog/products/infrastructure/details-of-google-cloud-gcve-incident

1️⃣ The issue was related to Google Cloud VMware Engine (GCVE).
2️⃣ It was one of the customer’s multiple GCVE Private Clouds (across two zones).
3️⃣ Initial deployment to GCVE was done by deprecated internal tool.

#GCP

​​EKS + Kubernetes 1.30 🎉

Спустя официального релиза 1.30 прошёл лишь месяц и теперь на AWS снова актуальная версия. 💪 Сделанный в прошлый раз прогноз на эту версию был 100% точным.

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html

Версия 1.31 должна официально выйти 13 августа, так что поставлю, что 1.31 на AWS появится 20 сентября 2024 года.

На текущий момент на AWS доступны для установки версии Kubernetes: 1.23 - 1.30.

Рекомендации по версиям EKS:

❌ EKS 1.22 и древнее — не поддерживаются.
❎ EKS 1.23-1.25 — поддерживаются за дополнительную плату.

⚠️ EKS 1.26 — начнёт взимать дополнительную плату 12 июня.
⚠️ EKS 1.27 — начнёт взимать дополнительную плату 25 июля.

✔ EKS 1.28 — минимально рекомендуемая на текущий момент (на дефолтной поддержке до 27 ноября).
✅ EKS 1.29 — можно спать спокойно до 23 марта 2025 года.

#EKS

Chatbot chat

#friday

CloudFormation + FORCE_DELETE_STACK

Зависшие при удалении стэки можно принудительно убить:

aws cloudformation delete-stack --stack-name some-stack --deletion-mode FORCE_DELETE_STACK

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/using-cfn-cli-deleting-stack.html

Это сильно упрощает удаление стэков с бакетами, содержащими объекты.

#CloudFormation

⚠️ Fluent Bit v3.0.4 with critical fix CVE-2024-4323

It is highly recommended to update to this version immediately to ensure the stability and security of your system.

https://fluentbit.io/announcements/v3.0.4/

This release addresses a critical security vulnerability in the interface handling trace requests. The identified issue involves memory corruption, which could potentially be exploited to cause denial of service (DoS) conditions. Note that this issue is related to the internal tracing interface and NOT Traces telemetry data handling.

#FluentBit

Всем привет .
В ближайшее время официальные экзамены cks,cka,ckad будут использовать 1.30 версию k8s . наш релиз посвящён этим изменениям.

Добавлено:

- K8s version 1.30 добавлена в k8s_self_management модуль.
- k8s version 1.30 используется в cka-mock 1 (решения)
- k8s version 1.30 is used in cka-mock 2 (решения)
- kube-bench in cks mock1 is updated to version 0.7.3
- k8s version 1.30 используется в cks mock1 (решения)
- k8s version 1.30 используется в ckad mock1 (решения)
- k8s version 1.30 используется в ckad mock2 (решения)


на данный момент подготовлены mock экзамены cka (mock1 mock2 ) , cks(mock1 ) , ckad (mock1 mock2 )

Для запуска платформы нужен личный акаунт AWS.
Все рессурсы создаются с terraform + terragrunt
по умолчанию используются ec2 spot и t4g.medium (graviton )
пример запуска


выпуск на devops kitchen talks , где обсуждали как готовиться к экзаменам CKA, CKS, CKAD в 2024 году

github платформы

канал с решениями мок экзаменов и лабораторных работ.