DON'T STOP AND CODE

Кстати, каналу сегодня ровно год. :)

15 августа прошлого года создал канал в телеге и аккаунт на GitHub.

Быстро время летит.

Как дела на работе?

За эти 2 месяца прокачался:
- в MS SQL Server: научился работать с индексами, анализировать планы запросов, на основании анализа оптимизировать запросы, немного познакомился с созданием архитектуры БД, создавать job'ы для робота;
- в airflow: научился пользоваться хуками, переменными, некоторыми операторами, группировать таски, использовать ветвления, создавать довольно интересные графы; научился устанавливать и настраивать airflow локально, так и с помощью docker;

P.s. если вы не знаете как нагрузить все 16гигов оперативы, то просто запустите airflow в докер на wsl =)

🔥🔥🔥Завершил курс "Python-разработчик" на ЯП.🔥🔥🔥

*Ознакомиться с кодом дипломной работы можно по ссылке: https://github.com/avagners/foodgram-project-react

Итого был пройден путь в 10 месяцев. Очень рад завершению обучения.

На нем я научился:
- писать довольно чистый код, который соответствует стандарту PEP8;
- оформлять README файлы в репозиториях проектов;
- создавать API и работать с ним;
- писать тесты;
- создавать бэкенд на Django;
- работать с Docker;
- делать деплой проектов на сервер;
- настраивать CI/CD;
- настраивать сервер на Яндекс.Облако;
- хорошо развил навык работы с git (за это время сделал около 700 коммитов);

Суббота. Ноутбук. Дипломная работа.

Осталось совсем немного дописать API проекта. :)

А как вы проводите субботу? 😅

Также,
- завершается обучение в Яндекс.Практикум. Начал писать дипломный проект;
- поправил профили в linkidIn, hh - указал актуальное место работы;
- звонили рекрутеры из Армении) Предлагали работу с релокацией. Говорили, что у них тепло и вкусно)

Важно! Кажется я определился с направлением в разработке.
Это работа с данными - ETL Development / Data Engineering.

За время работы понял, что это увлекательное и востребованное направление.

Всем привет! Последние недели в основном занят работой.
За это время:
- завершил 3 задачи по настройке обмена данными с поставщиком;
- научился формировать документы xml на стороне ms sql server и на стороне python и отправлять их по ftp;
- лучше осваиваю airflow;
- принимаю проект от другого разработчика по загрузке данных от клиентов;

Подробнее о проекте.
Клиенты высылают свои данные в различных форматах на почту. Задача настроить автоматическую загрузку в нашу базу. За это время научился работать с почтой с помощью модуля imap, считывать данные из почты, преобразовывать их в нужный датафрейм и загружать данные в базу.
Получаю большое удовольствие от автоматизации. Один раз подключаешь клиента и данные ежедневно загружаются в нашу базу без какого-либо участия. =)

Вот это новости)

Не таблицы, а отношения.
Не колонки, а атрибуты.
Не строки, а кортежи.

Вот такие термины используются в реляционной алгебре.

Критерии эффективности и требований к базам данных.

В 70-е годы считали важным эффективность доступа к отдельным объектам и навигации между ними.

Начиная с 80-х годов, начали считать эффективным другое, а именно массовость обработки данных и поиск значений по атрибутам (ассоциациативный поиск).

Именно поэтому произозошло массовое распространие реляционной модели данных.

Продолжаю изучать базы данных...

Реляционная модель данных обеспечивает поиск по значениям (ассоциативный поиск). Что способствует работе с набором объектов данных.

Для более ранних моделей данных (иерархическая и сетевая) характерны навигационный способ доступа (от одного объекта к другому по ссылке) и ориентация на обработку отдельных объектов.

Обработка отдельных записей и навигация не может обеспечить эффективную массовую обработку данных. Поэтому на их смену пришли реляционные системы.

Интересный момент, который я раньше не осозновал.
🔻🔻🔻🔻

Популярность в последнее время NoSQL систем связана с отказом от массовой обработки данных на уровне базы данных.

Основные требования к системам управления базами данных (СУБД):

1) Разделение программ и данных;
2) Высокоуровневый язык запросов;
3) Целостность;
4) Согласованность;
5) Отказоустойчивость;
6) Защита и разграничение доступа;

Они были сформулированы комитетом по системам и языкам обработки данных (CODASYL) в 1971 году.
Вот сам документ.

Сегодня обновил закрепленную запись с приветствием.
Изменил описание канала и инфо в аккаунте телеги.

Было "Мой старт в программировании"
Стало "Мой путь в программировании"

Я - программист. Это факт.
Молодой, зеленый, но программист.

Это было моей мечтой.

Я многое уже знаю и умею. Прогресс за 1 год очень сильный.
Это нужно признать. Нужно всегда напоминать себе о своих результатах.

При этом я понимаю сколько нужно еще вложить времени и труда, чтобы стать мастером своего дела и признанным профессионалом.

В начале года поставил цели. Записал их в Notion.
Сегодня подвел промежуточные результаты.

1) Завершить все начатые курсы 2021 года

Цель ставил на первую половину года. Но по различным причинам практически бросил занятия на Stepik.
Выполнил на 40%.
Планирую вернуться. Проходить всё на что записан не буду. Возьму наиболее релевантные для работы (SQL и Python).

Кстати, в середине июля будет доступно продолжение культовой серии курсов "Поколение Python" - для профи.
Курс будет платный. Цена около 3500 руб. Зная качество, обязательно в этом году его пройду.

2) Завершить обучение на Яндекс.Практикум

Уже финишная прямая. Завершаю последний спринт перед дипломной работой. Выпуск в середине июля вроде.

3) Увеличить доход в X раз

Цель выполнена - перешел работать в другую компанию.

4) Написать 10 статей

Не выполнил. Есть какой-то блок. Уже будет почти год как я говорю о своем сайте и планах написания статей.
То оправдывал себя малыми знаниями (типа мне не о чем писать), то нагрузкой на работе, то просто забывал об этом.

5) 1500 подписчиков в Инстаграм (сервис запрещен/заблокирован в России).

Тут и так все понятно. Хотя начал довольно бодро. Писал по понедельникам отчеты. Получал позитивную обратную связь. Активно общался в директе.
После блокировки сервисом не пользуюсь.

6) 300 контактов в LinkedIn

Цель выполнена. Не знал что там все настолько активно. Также практически перестал им пользоваться. На сегодня около 1500 контактов с рекрутерами из стран СНГ.

Итого выполнил 2 цели из 6.
+ 1 цель (курс ЯП) уже на финишной прямой
- 1 цель - отвалился Инстаграм

Остается написание статей и завершение начатых курсов.
Думаю займусь ими после завершения ЯП.

В целом доволен прогрессом, но при этом есть над чем работать. Стало легче писать и читать код. Довольно уверенно чувствую себя в Linux.

1:13...
все спят...
сдал итоговый проект спринта на ревью.
В этом спринте изучали работу с docker. Перенесли один из прошлых проектов.

Все круто) Все очень интересно)