DON'T STOP AND CODE

[Про жизнь]

Жизнь - интересная, непредсказуемая, удивительная штука, которая с завидной регулярностью заставляет пересмотреть некоторые свои взгляды на 180 градусов.

Спустя годы выясняется, что многие принципы, которые ты считал единственно верными, оказываются ошибочными и в корне неверными. То, что ты ранее считал ужасным, неправильным, является единственно верным.

Осознание данных фактов бывает крайне неприятным процессом. Но тут ты либо признаешь это и делаешь работу над ошибками, либо ты теряешь всё.

———

"Операционные системы. Основы и принципы" Х. Дейтел — 17,2% (+12,9%)

[Заканчиваю знакомство с распределенной вычислительной моделью]

Тема крайне интересная и довольно сложная. Уверен, что буду возвращаться к ней еще много раз и буду изучать вглубь.

Было интересно посмотреть в чем разница с параллельной моделью программирования и в чем распределенная модель считается сложнее.

Также узнал о:
- 4-х типах распределенных систем;
- сущностях программы с состоянием, без состояния и с однократным присваиванием;
- видах распределенного поведения;
- открытом и закрытом распределенном вычислениях;
- способах именования объектов (ссылки, имена, тикеты, url);
- распределенной блокировке;
- мобильных (кэшированных) объектах, стационарных и асинхронных;
- распределенных протоколах;
- распределенном алгоритме унификации для dataflow-переменных и потоков;
- ленивом и жадном связывании;
- модели отказов/сбоев;
- вопросах безопасности распределенных систем;

———

"Операционные системы. Основы и принципы" Х. Дейтел — 4,3% (+1,7%)

[Spark и не только]

Сегодня начал просмотр материалов по Spark. Узнал немного историю создания и некоторую базу.

Apache Spark ™ — это многоязычный движок для выполнения обработки данных в локальном или кластерном режимах со встроенными модулями для SQL, потоковой передачи, машинного обучения и обработки графов.

В кластерном режиме приложения Spark выполняются как независимые наборы процессов, координируемые объектом SparkContext в основной программе (называемым программой-драйвером).

Об этой архитектуре следует отметить несколько полезных вещей:

1) Каждое приложение получает свои собственные процессы-исполнители, которые работают на протяжении всей работы приложения и выполняют задачи в нескольких потоках. Преимущество этого заключается в изоляции приложений друг от друга как со стороны планирования (каждый драйвер планирует свои собственные задачи), так и со стороны исполнителя (задачи из разных приложений выполняются в разных JVM). Однако это также означает, что данные не могут совместно использоваться различными приложениями Spark (экземплярами SparkContext) без их записи во внешнюю систему хранения.
2) Spark не зависит от базового менеджера ресурсов. Поскольку он может создавать процессы-исполнители и они взаимодействуют друг с другом, его относительно легко запустить даже в менеджере ресурсов, который также поддерживает другие приложения (например, YARN/Kubernetes).
3) Программа-драйвер должна прослушивать и принимать входящие соединения от своих исполнителей на протяжении всего своего существования (например, см. spark.driver.port в разделе конфигурации сети). Таким образом, программа-драйвер должна иметь сетевую адресацию с рабочих узлов.
4) Поскольку драйвер планирует задачи в кластере, его следует запускать рядом с рабочими узлами, желательно в той же локальной сети. Если вы хотите отправлять запросы в кластер удаленно, лучше открыть RPC для драйвера и заставить его отправлять операции поблизости, чем запускать драйвер далеко от рабочих узлов.

———

По распределенной вычислительной модели знакомился с:
- вопросом безопасности распределенных систем;
- общей схемой разработки распределенного приложения;

———

"Операционные системы. Основы и принципы" Х. Дейтел — 2,5%

[Цели на 2 квартал]

Хочу попробовать вернуться к формату ежедневных отчетов в канале.
Не знаю, что из этого выйдет. Боюсь облажаться. Но стоит попробовать.

Сегодня хочу опубликовать некоторые цели на квартал.

1) Пройти аттестацию:
- изучить SPARK;
- изучить брокеры сообщений;
- подтянуть SQL;

2) Завершить знакомство с параллельными моделями программирования;

3) Доп. активности:
- прочитать "Операционные системы. Основы и принципы" Х. Дейтел
Нашел 2 издания: 1987-го и 2009-го. Было бы интересно сравнить). А потом хотел бы перейти к Таненбауму)

---
Сегодня в рамках знакомства с распределенной вычислительной моделью изучал модель отказа/сбоя:
- полный и частичный отказ,
- простые случаи обработки сбоев,
- синхронное и асинхронное обнаружение сбоев,
- обработчик бездействия сети,
- тайм-ауты и что с ними делать.

👨‍💻

[C 1 апреля]

Спешу сообщить, что в первом квартале я был не так хорош и пункты со 2-го по 5-й не являются действительными. К сожалению.

Но я хочу в некотором будущем поработать над ними.

[Мои итоги первого квартала 2024 года]

1) Познакомился со следующими параллельными моделями программирования:
- декларативная параллельная модель;
- модель обмена сообщщениями;
- параллельная модель с поддержкой состояния;
- распределенная вычислительная модель (в процессе);
2) Прочитал "Компьютерные сети" Таненбаум Э.;
3) Прочитал "Современные операционные системы", Таненбаум Э.;
4) Изучил С;
5) Написал свою виртуальную стековую машину;

На работе:
6) Получил премию по итогам прошлого года (никогда ранее такие премии не получал);
Ради шутки могу сравнить это только со страховой выплатой за поломанные руки, которую получил в прошлом году)))

А так первый квартал выдался сильно насыщенным.
7) Съездили с семьей в Сочи, катались на велосипеде по Олимпийскому парку.

8) Закрыл одну из целей на год - купил машину в семью (б/у). Последний раз у меня машина была 7 лет назад).

9) Весь квартал ходил в зал с тренером два раза в неделю (результат огонь!).
10) Важно! Оборудовал себе рабочее место дома (стол, кресло, хороший монитор).

А как у вас прошел первый квартал?

2 часа ночи. Семья спит.

А у меня:
- декларативная вычислительная модель;
- модель обмена сообщениями (модель акторов);

Пусть будет - 2

Пусть будет

[SQL, Spark, брокеры сообщений или итоги аттестации]

На прошлой неделе завершилась моя первая аттестация с прицелом на повышение грейда внутри компании.
Аттестацию проходил по роли Инженер данных.

По итогам 2-х технических интервью грейд повысить не удалось.
Но, у меня есть 2 месяца, чтобы подтянуть следующие темы:
- SQL (практика)
- Spark (больше теория)
- Брокеры сообщений (теория)

Через 2 месяца пробую пройти тех. интервью еще раз.

———
По всем темам у меня есть материалы для подготовки.
Планирую каждый день:
- решать задачи по SQL,
- изучать предложенные материалы по Spark и брокерам сообщений.

[Начал год с изучения highload-систем]

Что это такое? Какие виды бывают? С какими проблемами и задачами сталкивались и сталкиваются разработчики? Какие есть решения? Для чего они создаются? Из каких базовых механизмов строятся такие системы?

Это обширная, крайне важная и очень интересная тема. Решил в этом году копнуть в глубину данного вопроса. Тем более я сейчас сталкиваюсь с такими системами ежедневно на работе.

Например, выделяют 2 класса таких систем:

1) Приложения, высоконагруженные данными (data-intensive applications, DIA) - класс ситуаций, когда проблемой становится объём, качество или сложность данных, обрабатываемых системой.

2) Приложения, высоконагруженные вычислениями (compute-intensive, CIA) - класс ситуаций, когда проблемой становится нагрузка на процессоры.

--
Для погружения в тему взял книгу "Высоконагруженные приложения. Программирование, масштабирование, поддержка" Мартин Клеппман.

Была первая тренировка в зале с тренером после травмы рук!
🔥🔥🔥
+100500 к энергии!

Мои итоги 2023 года 🌲🎄

Для меня это год открытий. Такого кол-ва изменений и нового жизненного опыта я не получал ранее.

Выделил 3 темы:
- достижение целей по доходу;
- профессиональное развитие;
- прочее.

———
С наступающим НГ!🥂

https://telegra.ph/Itogi-2023-goda-12-31-11

👨‍💻Завершил чтение книги "Head First. Паттерны проектирования." Фримен Э., Робсон Э., Сьерра К., Бейтс Б

Классная книга. Что тут можно еще добавить?
Как-то давно я открывал эту книгу, но закрыл ее на первой же главе. У меня было убеждение, что это крайне сложная тема. И читая про все эти абстракции, у меня просто закипал мозг. Я был однозначно не готов для знакомства с темой.

Сейчас же я прошел довольно большой путь прежде, чем заново открыть эту книгу. Последовательно изучил множество базовых тем в программировании, прошел курс по ООАП. Все это позволило изучить эту книгу практически на одном дыхании. Я читал главу за главой, изучал код на Java (который видел впервые), пробовал воспроизвести некоторые примеры на Python, и практически все сразу понимал. Это реально круто.

Одной из полезнейших глав, на мой взгляд, является последняя глава про использование паттернов в реальном мире. В этой главе напоминают о том, что такое паттерны сами по себе, когда и где их использовать, акцентируют внимание, что
- во-первых, это не серебряная пуля,
- во-вторых, предлагают 100 раз подумать прежде, чем использовать паттерны,
- в-третьих, акцентируют внимание на том, что нужно проектировать системы не на основе паттернов проектирования, а прежде всего на основе ОО-принципов.

Было забавно прочитать следующие строки в конце книги:
"Одну минуту — я прочитала всю книгу, а теперь вы говорите, чтобы я НЕ ИСПОЛЬЗОВАЛА паттерны?''

Ответ несет в себе глубокий смысл:
"Конечно, мы хотим, чтобы вы использовали паттерны! Но мы еще больше хотим, чтобы вы были хорошим ОО-проектировщиком."

Структура книги, картинки, примеры кода, диаграммы, диалоги между паттернами у камина, диалоги между учителем и учеником - все это позволяет с интересом и максимально эффективно провести время за книгой.

Рекомендую.
10/10.

​Пролетели 6 месяцев работы в текущей команде.

Напомню, что сейчас работаю в платформенной команде, которая занимается развитием и поддержкой Data Lake (Hadoop, Spark, Hive, Tez, и т.д.).

В компании широко распространена система обратной связи. Коллеги друг другу довольно регулярно пишут на корпоративном сайте обратную связь. Эту обратную связь видят руководители. Она учитывается во время аттестации. Никогда бы не подумал, но эта система очень мотивирует и она мне нравится. Приятно получать обратную связь по итогам своей работы. Приятно и удобно писать обратную связь коллегам.

Так вот, я собрал обратную связь от коллег внутри команды и от соседних команд. (см. комментарии)

Неделю назад был зрителем на круглом столе, на котором говорили о паттернах проектирования.

Круглый стол был организован лидерами Python-сообщества в банке.
Был приглашен внешний эксперт из другого банка.

Ожидание перед встречей:
- узнаю как используют паттерны проектирования в проде люди с большим опытом;

Реальность:
- узнал, что это довольно холиварная тема. Оказывается есть три лагеря: "За", "Против", "Иногда за, иногда против"
🤪

Постепенно перехожу к изучению программирования на более высоком уровне. 👨‍💻
Не на уровне реализации, а на уровне проектирования.

И тут столько всего интересного)))

Стили программирования, архитектуры программирования, паттерны проектирования.

Например, в октябре познакомился с примерно 3-мя десятками стилями программирования! 😃
Я даже не мог представить что столько есть!

...монолит, стековая машина, структурное программирование, пайплайны, рекурсия, конвейеры с продолжением, объектные абстракции, обмен сообщениями, АТД, инверсии управления, рефлексия, аспектно-ориентированное программирование, динамическая расширяемость, защитное программирование, ленивые потоки, несколько стилей по параллелизму, Map Reduce, MVC, REST, MVP...

Кстати, после знакомства со стилями программирования стал лучше понимать нашего одного сеньора)))

Сейчас:
- изучаю книгу Эрика Фримена «Head First. Паттерны проектирования»🔥