Жабаскрипт (веде Віктор Турський)

System Design: Real-Time Delivery Architecture at Twitter
В течении месяца я 2 раза в неделю буду скидывать классные видео про System Design. Не просто теория, а инженерные доклады про то, как устроены те или иные вещи в больших компаниях. Доклады отбираю сам и постить буду только те, что мне самому понравились.

Начну с отличного доклада про таймлайны Твиттера (26 млрд запросов на таймлайны в день).

Что было интересно узнать:
✅ Твиттер использует денормализацию для оптимизации производительности и хранит таймлайны в Redis кластере.
✅ Текст твитов добавляется на последнем этапе выборки.
✅ Интересная проблема с аккаунтами у которых десятки миллионов подписчиков.

Доклад очень рекомендую!

ССЫЛКА НА ВИДЕО: https://www.youtube.com/watch?v=J5auCY4ajK8

Интересен такой контент?

Зачем знать, как вещи работают внутри?
Многие разработчики считают, что им не нужно понимать, как вещи работают внутри, а достаточно просто знать API. Я считаю, что с таким подходом есть проблема.

Изначально я думал, что понимание внутренностей системы или ее компонента помогает в дебаге. И это правда, ты можешь находить причины проблем в десятки раз быстрее, чем если бы ты не знал, что внутри. Но через какое-то время я понял, что есть еще более полезный эффект. Понимания внутренностей дает тебе понимания свойст компонента/подсистемы. А понимание свойств - это обязательный атрибут проектирования.

Не зная внутренностей, вы не понимаете свойств систем и следовательно не можете грамотно проектировать. Да, можно опираться на маркетинговый материал, но это очень наивный подход.

Примеров масса:
✅ Если вы знаете, как устроены бызы данных, то вы можете выбрать подходящую. Понимание индексов позволяет предсказать, что произойдет с выборками, если объем данных увеличиться в несколько раз. Или почему добавление индексов может снизить производительность вашего приложения.
✅ Если вы знаете, как работает Docker, то можете оценить риски изоляции и возможно начать использовать виртуалки.
✅ Если вы знаете, как работает HTTPS, то без проблем найдете проблему, когда корпоративный прокси заказчика делает man-in-the-middle и выкусывает CORS заголовки.
✅ Если вы знаете, что xslx файлы на самом деле zip с xml внутри, то вы можете предсказать, что конвертация в CSV может помочь решить проблему с со скоростью парсинга.
✅ Если вы понимаете, как работает JWT, то вы будете знать, что клиент и без "секрета" извлечь все данные с токена.
✅ Если вы понимаете, как внутри устроена файловая система, то поймете, почему лучше не хранить большое количество файлов в одной директории в ext2.
✅ Я встречал сениор разработчиков, которые, к примеру, думали, что React Native компилируется в нативных код и в результате не могли понять, когда стоит использовать RN, а когда нативные приложения.
✅ etc

Что думаете?

Как мы создавали высокопроизводительный движок электронных таблиц на JavaScript

Наконец-то появилось видео моего оновленного доклада про Excel на JavaScript.
Это самая полная версия доклада. Немного прошелся по архитектуре и показал реальные демо.

Представьте, что перед вами стоит задача сделать движок электронных таблиц (без UI), совместемый с MS Excel. И задача движка запускать огромные математические модели на сотни тысяч формул с производительностью близкой к оригинальному движку Excel. Нам пришлось выжимать все до последнего с JavaScript. Это тот проект, который нельзя реализовать без знания алгоритмов, структур данных, внутренностей V8.

Если интересно на что способен JS, то доклад должен понравиться 😀

ССЫЛКА НА ВИДЕО: https://www.youtube.com/watch?v=08bkGZTGxjM

Через 10 минут онлайн интервью со мной про архитектуру и не только. Можно будет задать любые вопросы. Кому интересно, подключайтесь https://youtu.be/eN7Gq3WBQhg :)

Видео доклада "Docker Deep Dive"
Я провел сотни собеседований и заметил, что большинство разработчиков не понимают, что такое Docker. К примеру, люди удивляются тому, что Docker медленее на маке, чем на линуксе. И даже считают, что это какой-то баг. Для многих Docker это какая-то магическая штука.

В связи с этим, я решил сделать небольшой дипдайв в Docker. Идея доклада не в том, чтобы научить слушателей командам Docker, а дать понимание того, что такое Docker на самом деле. Погрузится глубже в реализацию. Попробовать сделать свой Docker на коленках.

Надеюсь, что доклад будет полезен тем, кто хотел немного глубже понять, как работает Docker.

ССЫЛКА НА ВИДЕО: https://www.youtube.com/watch?v=CgbijhDEAgs

Как вам доклады в таком формате?

Запись диалога "Архитектурный ком"

Наконец-то появилась видео запись моего обсуждения вопросов архитектуры с Андреем Мелиховым. Спасибо Андрею, Сергею, Ире - получилось круто! 🙂

Участники диалога:
Андрей Мелихов (Yandex.Money), Виктор Турский (WebbyLab).
Модератор - Сергей Фролов (Front-End Technical Lead)

ССЫЛКА НА ВИДЕО: https://www.youtube.com/watch?v=ueds8WfEgSE

Лучший инженерный подкаст

Хочу сделать доклад про то, как стать хорошим инженером. И один из пунктов - нужно смотреть за рамки. Вы можете писать только на JS, но должны смотреть вокруг. Мне нравится концепция T-Shaped people. Я часто пишу про инженерию, а не только про чистый JS. Сегодня хочу порекомендовать мой любый подкаст не про JS, но для инженеров - "Software Engineering Daily". Я переслушал много различных технических подкастов, но этот самый крутой.

ССЫЛКА НА ПОДКАСТ - https://softwareengineeringdaily.com/category/all-episodes/exclusive-content/Podcast/

Онлайн конференция JavaScript fwdays'20 Аutumn

Началась "JavaScript fwdays'20 Аutumn" https://fwdays.com/event/javascript-fwdays-2020 - онлайн конфереция про JavaScript. Много интересных докладов. К примеру, я очень хочу послушать доклад Саши Соловьёва "Выкидываем ReactJS" 🙂

✅ Архитектурный ком
Уже в этот понедельник я и Андрей Мелихов участвовали в 2х-часовом онлайн обсуждении про архитектуру. Получилось классно! Видео уже доступно для участников конференции (если когда-то будет в общем доступе, то тоже закину сюда в канал).

✅ Docker для JavaScript разработчиков
В следующий четверг делаю deep dive про докер. В докладе пройдусь по следующим моментам:
🔹Как устроен Docker?
🔹Безопасен ли Docker?
🔹Существую ли контейнеры в Linux?
🔹Как насчет использования shared libraries в докер контейнерах?
🔹Откуда берутся зомби в контейнерах 🧟‍♂️⚰️?
🔹Как минимизировать размер Docker образов?
🔹Как использовать Docker в ежедневной разработке?

✅ Промокод для подписчиков канал
ПРОМОКОД - jabascript (скидка 15%)

✅ Бесплатный билет
У меня есть один бесплатный билет. Решил разыграть его среди подписчиков. Чтоб принять участие достаточно
1. Порекомендовать канал друзьям/подписчикам в соц. сетях, в другом канале, в любом чате (где посчитаете уместным).
2. Написать "+" в этом чате https://t.me/jabascript_fwdays
3. В эту субботу рандом определит победителя

How to build notification service for a scalable multi-tenant application using RabbitMQ and NodeJS

Вышел новый пост в нашем блоге (давно уже не было 🙂). Как всегда это реальный опыт, которым коллеги из WebbyLab хотят поделиться с комьюнити.

Большинство NodeJS разработчиков допускают одну и ту же ошибку. Они считают, что будет только один процесс их приложения и это особенно больно, когда используются веб-сокеты.

Допустим нужно сделать чат. Реализация чаще всего такая: бэкенд ждет пока подключаться несколько пользователей через веб-сокеты и держит в памяти соединения. Когда один пользователь пишет другому, то бэкенд получает сообщение, сохраняет его в базу и отправляет его другому пользователю через другое соединение, если тот подключен. Локально все работает, но в продакшене работать не будет. Почему? Потому, что вам нужно масштабироваться. И у вас либо будет запущенно несколько docker контейнеров вашего приложения, либо pm2 в режиме cluster. В итоге один пользователь может подключиться через веб-сокеты к одному процессу, а второй к другому.

Как с этим быть? Нужен message broker. И это только один из сценариев, когда может понадобится message broker. У нас стояла немного другая задача, но проблематика похожая - масшабирование и уведомления.

Пост должен быть полезным, если вы решаете схожие задачи)

ССЫЛКА НА ПОСТ - https://blog.webbylab.com/notificator-using-rabbitmq-and-nodejs/

👉 Сейчас в Киеве мы активно набираем разработчиков различного уровня, включая младших разработчиков, которые не боятся учиться. За вакансиями можно следить в отдельном канале. Подписывайтесь - http://t.me/webbylab

Для тех, кто хотел полную версию доклада на ОдессаЖС

Вернулся с ОдессаЖС. В этом году было много сильных спикеров и учасников, удалось классно пообщаться на тех.корнерах (отдельное спасибо за это) и на автепати, отличная атмосфера, хорошая организация, локация на свежем воздухе возле моря. Единственное, мне удалось донести только 30% контента во время доклада. В любом случае выбирал самое полезное, но для тех, кто подписался на канал после доклада и хочет посмотеть полную версию есть видео запись на полтора часа.

Ребята, кто подписался на канал на ОдессаЖС, можете посмотреть полную версию с FW Days.
Также я проводил на прошлой неделе воркшоп на 3 часа, там более глубокое погружение в код (в публичном доступе нет, но организаторы дают доступ всем, кто зарегистрировался по ссылке) .

👉 20-го августа мой первый воркшоп на тему "Эффективная разработка NodeJS приложений".
Первый раз в жизни провожу онлайн воркшоп (уже переживаю). Организовывают это все ребята из OdessaJS (https://odessajs.org/). 20-го августа онлайн воркшоп, а 29-го августа буду делать доклад на эту же тему непосредственно в Одессе. Буду рад встрече и онлайн на воркшопе и в Одессе на конференции 🙂.

В этот раз буду не только рассказывать, но и попробуем совместно написать реальное приложение. При разработке софта, вы должны четко понимать куда нужно поместить тот или иной кусок кода и понимать почему он именно там, а не где-то в другом месте. Команда разработки должны быть максимально эффективна с первых дней, а не через месяц после старта. Проект должен подниматься за минуты, а не за часы/дни. Деплоймент и тестирования должны быть простыми. Попробуем пройти весь путь от старта проекта до деплоймента за 2 часа 😎

🔹Где: онлайн
🔹Когда: 20.08.2020 в 18:00-20:00 (EEST)
🔹Язык воркшопа: русский
🔹Регистрация обязательна

ССЫЛКА ДЛЯ РЕГИСТРАЦИИ: https://docs.google.com/forms/d/e/1FAIpQLSfIoi6oz86gcT3TCeBmxD-PAih9jBxCFLCvkaI6CF0RAVGI9A/viewform

Ребята, завтра провожу онлайн доклад "How to create a high performance Excel engine in JavaScript"

👉Завтра проходит JavaScript Odessa #TechTalks. Расскажу о том, как мы создавали собственный движок электронных таблиц, совместимый с MS Excel, который позволил им запустить любую модель Excel без Excel. Расскажу об архитектуре, алгоритмах, оптимизации производительности JavaScript.

Было уже обсуждение и небольшое демо движка в чате канала. Если у тебя были сомнения, что такое возможно сделать на JS, то регистрируйся на доклад 🙂

🔹Где: онлайн
🔹Когда: 30.07.2020 в 19:00
🔹Язык доклада: русский
🔹Регистрация обязательна
🔹Вход: donation.
👉 Присоединяйся ➡️ https://bit.ly/2AN6pv1 на ФБ: https://www.facebook.com/events/933132910446896/

Ask Me Anything #1 Видеозапись на Youtube

Наконец-то залил видеозапись на ютуб. Спасибо всем за вопросы и замечания. Было круто! :)

https://youtu.be/g2_JWxWNigE

eslint-plugin-more 1.0

Мне часто задают вопрос по поводу TypeScript. Я вижу смысл в использвания TypeScript далеко не во всех проектах.
Основная идея, что нельзя сравнивать JS vs TypeScript, нужно сравнивать JS+Tooling+Tests vs TypeScript+Tooling+Tests и тут TypeScript теряет множество своих преимуществ. Писал тут - https://t.me/jabascript/19

Это не значит, что я против статического анализа, скорее наоборот. Мы в WebbyLab используем строгие правила по статическому анализу. Мы используем eslint и множество плагинов к нему. Также, если мы видим повторяющиеся ошибки во время ревью, то мы стараемся эту проверку автоматизировать. Так когда-то появился eslint-plugin-more.

Сегодня зарелизили версию 1.0 с двумя новыми правилами (в сумме уже 12):
✅ more/no-hardcoded-password - проверяет, что вы не захардкодили пароль в вашу кодовую базу.
✅ more/no-hardcoded-configuration-data - проверяет, что в ваших исходниках нет конфигурационных данных, типа ip-адресов, доменов, UUID, токенов.

Возможно этот плагин будет полезен и в твоем проекте :)

ССЫЛКА НА ПЛАГИН - https://github.com/WebbyLab/eslint-plugin-more/

Ask Me Anything

Всем привет.
В эту пятницу проведу онлайн трансляцию в формате "Ask Me Anything" 🙂
Расскажу про Starter App для NodeJS, про будущее канала. Ну, и готовьте любые вопросы. Проводить буду в Zoom, у меня там лимит в 100 человек, но можно будет пообщаться голосом, возможно кто-то захочет что-то дополнить :).

✅ВРЕМЯ НАЧАЛА: 5-го июня 20:00 (время по Киеву)
✅ССЫЛКА ДЛЯ ПОДКЛЮЧЕНИЯ: https://us02web.zoom.us/j/87088390782

WebbyLab's Starter App for NodeJS opensourced
Наконец-то это произошло 🥳🥳🥳

Я уже сделал много докладов про разработку на NodeJS и важная часть этого процесса - это Starter App. Уже второй год обещаю выложить в open source, но постоянно какие-то улучшения в нем. Да, там есть еще список улучшений, который мы планируем реализовать, но все уже доступно на Github.

Что есть в Starter App:
✅ Все идеи, которые из моего доклада "Рабочая архитектура Веб-приложений"
✅ Строго определены границы слоев (controllers, use cases, domain model и тд)
✅ Следует идеям 12 факторов
✅ EcmaScript модули и последние фичи JS без транспайлинга.
✅ ES6 классы для Sequalize
✅ Поддержка REST API и JSON RPC (WS), будет еще GraphQL
✅ Continuation Local Storage для транзакций
✅ Continuation Local Storage для логов
✅ Security best practices
✅ Поддержка Docker
✅ Покрыто все тестами (включая тесты, которые зависят от базы данных)
✅ Code Coverage через c8
✅ Поддержка S3 из коробки, даже для локальной разработки
✅ Поддержка SMTP (с моками для разработки и для тестирования)
✅ Работает в Linux, Mac, Windows
✅ Автоматическая генерация CRUD (alpha)
✅ Параноидальные ESLint правила для статического анализа (пишем даже свои правила)

ССЫЛКА НА РЕПОЗИТАРИЙ - https://github.com/WebbyLab/webbylab-starter-app-for-nodejs

Что дальше? Огромное количество идей заложено в этот стартер апп. Планирую 15-30 видео по 2-10 минут про фичи и подходы, которые там используются (практически целый курс).

Небольшой апдейт для тех, кто спрашивал про наш бойлерплейт для NodeJS.
Завтра в 8 утра (EEST) у меня доклад на Node.js Global Summit (https://geekle.us/). Это будет доклад про эффективную разработку NodeJS приложений ( https://t.me/jabascript/78 ), но в этот раз на английском. Ну, и все готово для опенсорса нашего бойлерплейта. Планирую сделать это во время доклада. Уже все на Github, осталось только щелкнуть свитчер в настройках 🙂
Сделаю еще отдельный анонс

http://sergeyteplyakov.blogspot.com/2014/06/is-tdd-dead-5.html

Очень классная статья. Помню, как я ждал каждый раз новой части "TDD is Dead". Это был крутой наброс от DHH)

Зарелизил Confme 1.0.0 - библиотека для работы со сложными конфигамии в NodeJS приложениях с одновременной поддержкой идей "Twelve-Factor App".

Решил, что библиотека прошла хорошую апробацию и имеет правло получить v1 🙂 Ну, и добавилась поддержка JSON5.

Про причины создания писал тут:
✅ Часть 1 - https://t.me/jabascript/34
✅ Часть 2 - https://t.me/jabascript/35

Ссылка на NPM-пакет - https://www.npmjs.com/package/confme
Ссылка на Github - https://github.com/koorchik/node-confme