sanspie's notes

Speech Recognition: a review of the different deep learning approaches

https://theaisummer.com/speech-recognition/

Если вам вдруг тоже было интересно, как именно работает под капотом технология контейнеризации, то советую ознакомиться с этим постом.
Не так давно я решил упороться по некоторым штукам, поставляемых ядром линукс. К примеру - unshare, cgroups, apparmor, capabilities and etc. Почти все это используется для реализации изолированных окружений, которые, в целом, могут быть названы контейнером.
Сами контейнеры, если мы говорим о таком вендоре, как Docker, работают на основе технологий, описанных выше, а также используют некоторый сисколлы, на типе: fork, prctl, clone и другие. Неплохой разбор относительно того, что происходит после запуска контейнеров, может быть найден в видео от LiveOverflow (тык). Понятное дело, что это лишь вершина айсберга. Для того, чтоб сложилась полная картина мира, мне пришлось потратить достаточно большое количество времени на своего рода ресерч. В конце-концов, я нашел выжимку по namespaces, ознакомиться можно тут.
Но если этого вдруг будет мало, то вот весь перечень материалов, которые были использованы мной для полного ознакомления с тем, как работают неймспейсы, что и куда мапится и так далее:
1. Цикл статей по namespaces.
2. Более глубокое погружение в недра линукса - ознакомление с необходимыми сисколами.
3. seccomp в контексте контейнеров.
4. Контрольные группы - cgroups v1 - руководство для чайников.
5. cgroupsv1 vs cgroup v2.
6. Создаем свою контрольную группу.
7. Linux kernel Namespaces and cgroups - resource management.
8. Создаем свои изолированные среды с использованием unshare.
9. PID Namespace - изоляция дерева процессов.
10. Примеры кода на языке программирования Си, позволяющего исполнять что-либо в контексте namespaces.
11. Unshare - man (самое полезная дока за всю мою жизнь).
К посту будет прекреплена моя преза по созданию изолированных окружений с использованием unshare. Там еще есть совсем немного про контрольные группы. Приятного ознакомления :)

Хороший ресурс для того, чтобы изучить поддерживает ли платформа конкретный тег. Уникальность в том, что есть информация так же по webmail

https://www.campaignmonitor.com/css/

multi-threading, multi-processing и asyncio в python или как скачать миллиард файлов

https://youtu.be/E_oIU4IU2W8

PEP 657 (landed into Python 3.11) enhanced tracebacks so that they now include quite a precise location of where the error occurred:

Traceback (most recent call last):
  File "query.py", line 24, in add_counts
    return 25 + query_user(user1) + query_user(user2)
                ^^^^^^^^^^^^^^^^^
  File "query.py", line 32, in query_user
    return 1 + query_count(db, response['a']['b']['c']['user'], retry=True)
                               ~~~~~~~~~~~~~~~~~~^^^^^
TypeError: 'NoneType' object is not subscriptable

It shows not only where the error occurred for each frame, but also which code was executed. Beautiful!

How Web Works
интересная статья про обработку HTTP запроса и рендеринг ответа в браузере на примере поиска в google

https://github.com/vasanthk/how-web-works

System Design
Подбор архитектуры приложения - один из самых главных этапов проектирования системы.

System Design Cheatsheet - Github gist
System Design. Подготовка к сложному интервью - RU PDF Book
Scalable Web Architecture and Distributed Systems

Искал сегодня решение проблемы с запросами через requests в питоне для своей задачи и наткнулся на данный сайт. Крутая тулза, чтобы автоматизировать перевод из запросов типа cURL, который можно, например, получить из dev tools в браузере(только не забудьте url-декоднуть данные) в рабочий код на разных ЯП и языков разметки.

Convert curl commands to Python, JavaScript, PHP, R, Go, C#, Ruby, Rust, Elixir, Java, MATLAB, Dart, CFML, Ansible URI, Strest or JSON
https://curlconverter.com/

Там у Python 3.11 сегодня релиз, пройдемся по изменениям. Разделю пост на 2 части, сначала расскажу про всё остальное, а потом про typing, который снова прокачали.

1) Теперь Питон быстрее на 10-60% чем предыдущая версия. Почему такой разброс и где что ускорилось можно почитать здесь.
2) Exception Groups и *except. За это отвечает PEP 654, теперь есть возможность возбуждать и обрабатывать группы исключений. Судя по PEP сделано в основном для асинхронщины (asyncio.gather), колбеков и операций с несколькими попытками.
3) Для Exception появилась возможность добавлять примечания (notes). Теперь можно после обработки исключения добавить какую-то дополнительную информацию. Почитать подробно можно в PEP 678
4) Многие ждали и дождались - теперь в стандартной библиотеке есть tomllib, который позволяет работать с форматом TOML. Мотивация - его использует куча инструментов (black, mypy, pytest и т.д.), при чем каждый либо использует свою наколеночную реализацию, либо какую-то другую библиотеку. А тут решили стандартизировать, теперь это PEP 680.
5) Трейсбеки снова улучшили, теперь интерпретатор умеет показывать где именно находится ошибка, а не писать строку, где она произошла. Посмотреть на то как это выглядит можно в PEP 657.
6) Объявлены устаревшими следующие модули: aifc, audioop, cgi (за что?) и cgitb, chunk, crypt, imghdr (пользуйтесь PIL), mailcap, msilib, nis, nntplib, ossaudiodev, pipes (давно есть subprocess), sndhdr, spwd, sunau, telnetlib (вот этого я точно не могу понять), uu, xdrlib. Их удалят в 3.13.

А самому почитать об изменениях можно здесь.

Наконец набралось некоторое количество крутых отчетов, поэтому держите:

1. Group-IB про китайскую APT41;
2. Cisco Talos в двух статьях разобрали разобрали софт группы APT38 (Lasarus);
3. Check Point описали атаки за последние два года на финансовые организации Африки;
4. Eset описали инструменты новой группы Worok;
5. Подробный разбор трояна URSA;
6. Целых три статьи (раз, два, три) с анализом стилера Raccoon (видимо так популярен:));
7. Мы любим отчеты DFIR, и в этот раз они описали путь атакующего от зараженного Emotet документа Excel до компрометации всего домена;
8. Cybereason по аналогии также описали путь компрометации домена, но начиная с загрузчика Bumblebee;
9. Описание уже популярного AsyncRAT C2 Framework;
10. Ну и анализ нового шифровальщика Agenda на golang.

#report #apt #malware #redteam #blueteam

Как устроено электронное голосование и почему оно не работает

https://habr.com/ru/post/689002