AWS Notes

​​ECR + OCI v1.1 = добавляем любой файл к образу в ECR

0️⃣ Историческая справка

OCI 1.0 появился в далёком 2017-м. Поддержка OCI 1.0 появилась в ECR в 2020-м:

https://aws.amazon.com/blogs/containers/oci-artifact-support-in-amazon-ecr/

Это позволило добавлять Helm чарты сразу к запушенному в ECR образу.

Релиз OCI v1.1 вышел в начале 2024 г. и теперь он поддерживается ECR:

https://aws.amazon.com/about-aws/whats-new/2024/06/amazon-ecr-oci-image-distribution-version-1-1/

Релиз 1.1 позволяет стандартизированно, без костылей с созданием кучи спамовских тэгов, добавить нужное к любому образу.

Документация по поводу работы с OCI в AWS на момент написания крайне ограниченная:

https://docs.aws.amazon.com/AmazonECR/latest/userguide/images.html

Поэтому в качестве примера добавим к sbom.json и readme.md к образу в ECR. Я буду для этого использовать AWS CloudShell.


1️⃣ Ставим и настраиваем oras:

https://oras.land/docs/installation/

На момент написания CloudShell по-прежнему на Intel (ужас какой), у кого ARM — нужно будет поменять в ссылке скрипта на arm64.

⚠️ Без amazon-ecr-credential-helper он даст ошибку:

Error: basic credential not found

Ставим под вашу систему, в случае CloudShell это обычное:

sudo yum install amazon-ecr-credential-helper

⚠️ Без файла ~/.docker/config.json также будет ошибка:

Error: failed to decode config file at /home/cloudshell-user/.docker/config.json: invalid config format: EOF

Создаём, если такого не было:

mkdir ~/.docker
cat >> ~/.docker/config.json << EOF
{
"credsStore": "ecr-login"
}
EOF

Если уже был, то просто добавляем строчку:

{
"credsStore": "ecr-login",
"auths": {
...


2️⃣ Просмотр файлов у образа в ECR

oras discover 0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo:mytag

Получим что-то типа:

0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo@sha256:54408c668558c601e7fb564a912343af3edfe5f4f5a1922086a8be87d8f74923

То есть ничего нет.


3️⃣ Добавляем файлы к образу в ECR

oras attach 0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo:mytag --artifact-type my/sbom ./sbom.json:application/json

oras attach 0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo:mytag --artifact-type my/readme ./readme.md:text/markdown


4️⃣ Смотрим снова

(на картинке)


5️⃣ Получаем файлы из ECR

Сначала нужен digest файла:

oras discover --artifact-type 'my/readme' 0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo:mytag --format json | jq -r ".manifests[0].digest"

Теперь получаем сам файл в папку myfiles:

oras pull 0123456789012.dkr.ecr.us-east-1.amazonaws.com/myrepo@sha256:bdd414443ed04e69a09a9eab979d5e3950197341cc8c81a8d9001431685b571f --output myfiles


Итого: хорошая вещь, можно напихать всякого полезного в CI/CD пайплайны на каждый образ, пользуемся.

#ECR

Требование указывать EngineVersion для Amazon MQ наконец-то убрали:

◽ EngineVersion field is optional for both broker and configuration and uses the latest available version by default.
◽ AutoMinorVersionUpgrade field is also now optional for broker creation and defaults to true.

Вскоре они будут в Optional:

https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/mq_broker#engine_version

#AMQ

Disabling unmanaged EKS addons during cluster creation.

https://aws.amazon.com/about-aws/whats-new/2024/06/amazon-eks-cluster-creation-flexibility-networking-add-ons/

#EKS

Compare where to store static data for serverless apps:

🔹 DynamoDB
🔸 S3
🔹 SSM Parameter Store
🔸 AppConfig

https://www.serverlessguru.com/blog/cost-effective-management-of-static-data-in-serverless-apps

#serverless #cost_optimisation

AWS Cloud Adoption Framework на русском.

https://d1.awsstatic.com/whitepapers/ru_RU/aws-cloud-adoption-framework.pdf

#design

2 trillion league

🔸Amazon 🆕
🔹Apple
🔹Google
🔹Microsoft
🔹Nvidia

https://www.cnbc.com/2024/06/26/amazon-reaches-2-trillion-market-cap-for-the-first-time.html

Periodic Table of Cloud Security

https://threats.wiz.io/periodic-table

#security

Начинающему Молодому инженеру
Что приходит на собес
Предлагают сразу выбор
Деньги или интерес

Выбирайте чётко деньги
Вот синьЁрский вам совет
Потому что где нет денег
Там и интереса нет

Claude 3.5 Sonnet on AWS Bedrock

https://www.aboutamazon.com/news/aws/amazon-bedrock-anthropic-ai-claude-3-5-sonnet

#Bedrock #Claude

aws --debug

В случае проблем при работе с AWS CLI стоит помнить про стандартный ключик --debug, который покажет всё, что происходит под капотом во время выполнения команды aws.

https://awscli.amazonaws.com/v2/documentation/api/latest/reference/index.html#global-options

Любая команда выдаст простыню логов, в частности, если присмотреться, то можно увидеть, как команда aws перебирает источники credentials:

Looking for credentials via: env
Looking for credentials via: assume-role
Looking for credentials via: shared-credentials-file
Looking for credentials via: custom-process
Looking for credentials via: config-file
Looking for credentials via: ec2-credentials-file
Looking for credentials via: boto-config
Looking for credentials via: container-role
Looking for credentials via: iam-role

В результате наглядно видны приоритеты получения aws-cli credentials, что вполне может навести на мысль, почему не работает как нужно.

Если же думать и присматриваться лень, то скормив эту простыню ChatGPT, можно рассчитывать на максимально точные рекомендации.

#aws_cli

Что надёжнее — ECS или EKS?

Обратимся к объективной информации — глянем SLA.

ECS: 99.99% ✅
EKS: 99.95%

Итого: ECS надёжнее EKS.

P.S. Fargate на ECS тоже 99.99%.

#reliability #ECS #EKS

Много лет топлю за IPv6. Опросы здесь 1, 2, 3. Все мои окружения всегда по дефолту dual stack: IPv4+IPv6. Даже начинающим IPv6 даю с самого начала (как и ARM).

Однако предположу, что на данный момент в среднем лишь половина ваших проектов имеют поддержку IPv6. В то время, как в самых продвинутых местах (см. картинку, ссылка на pdf) половина уже на IPv6 only.

Стоит задуматься.

#IPv6

AI посредственно пишет код, но неплохо его переписывает. Значит скоро все бросятся переписывать на Rust в промышленных масштабах.

TODO: Освоить Rust.

⚠️ Starting June 1, 2024, Amazon RDS began automatically upgrading instances:

db.m4 => db.m5
db.r4 => db.r5
db.t2 => db.t3

Amazon RDS ends support for db.m4/r4/t2 — December 31, 2024.

https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.DBInstanceClass.html

#RDS

​​Отличное сравнение security scan tools для Terraform

https://devdosvid.blog/2024/04/16/a-deep-dive-into-terraform-static-code-analysis-tools-features-and-comparisons/

▫️ KICS
▫️ tfsec
▫️ Trivy
▫️ Terrascan
▫️ Checkov
▫️ Semgrep

#Terraform

Ахаха, принуждение к апдейту: 😀

Starting from 17 Jun, 2024, customers using the following runtimes are expected to see an increase in build time by approximately 240 seconds.

▪️ Node.js 12
▪️ Node.js 14
▪️ Corretto 8
▪️ Corretto 11
▪️ Python 3.7
▪️ Python 3.8

To maintain similar build times, we recommend that Node.js 12 and Node.js 14 users migrate to Node.js 18 and that Python 3.7 and Python 3.8 users migrate to Python 3.11. Otherwise, since builds are billed by time, expect an associated increase in cost.

https://docs.aws.amazon.com/apprunner/latest/relnotes/release-2024-06-14-performance-changes-runtimes.html

Речь про App Runner, но идея знатная, возможно скоро так будет и для других.

​​Обзор популярных тестов проверки AWS ping / latency / speed

1️⃣ https://aws-latency-test.com

Тестирует и Local Zones и AWS Regions. Запускается сразу при открытие страницы и тестирует всё. Результаты не сортирует. Лучший в моём списке, т.к. есть наглядная графическая составляющая.

2️⃣ https://awsspeedtest.com/latency

Умеет только AWS Regions, которые нужно выбирать для тестирования отдельно (это кому-то плюс, кому-то минус). Показывает график в хронологии по выбранному и сортирует по трём лучшим. Второй в моём списке лучших.

3️⃣ https://www.cloudping.cloud/aws

Измерение пинга примитивное, но в конце сортирует по возрастанию. На главной странице есть также и другие тесты, в частности, проверка пинга AWS Lightsail, разных CDN и список CloudFront Edges. Поэтому третий в моём списке.

4️⃣ https://www.cloudping.info

Примитивный (один из первых), но быстрый, правда без сортировки, но есть не только AWS, но и народные OVH сотоварищи. Поэтому твёрдая четвёрка.

5️⃣ https://www.cloudping.co/grid

Специфичный случай — измеряет пинг между всеми AWS регионами, каждый день обновляя данные.

6️⃣ https://cloudpingtest.com/aws

Тупо тестирует всё, сразу, без остановки, с банальной статистикой и подозрительными результатами. Не рекомендую.

#info

Полезная ссылочка для аргументации, почему нужно внедрить SSO на проекте:

https://www.tomshardware.com/tech-industry/disgruntled-ex-employee-costs-company-over-dollar600000-after-he-deletes-all-180-of-its-test-servers-found-server-deletion-scripts-on-google

#SSO