Опівночні Балачки

Оу май, розгортання фази 1 Всесвіту Опівночних Балачок доходить до фіналу. Тепер ми є в тіктоці.
Якщо ви не знаєте, окрім найбільш корисних посилань на нові випуски в цьому телеграм каналі, ми маємо
- Twitter: @O_Balachky
- Youtube (нема підписників на красиву назву 😭)
- Instagram: @o_balachky
- Tiktok: @o_balachky

Ще запустимо патреон і далі лишень залишиться прибирати соціальні мережі, а не додавати нові.
Дякуємо, що ви з нами 🙏

А ви знаєте, що у нас з'явився твітер? @o_balachky
Там трішки новин, якиими не хочеться забивати цей канал.

Опівночні Балачки №21: Новини зовнішнього інтернету, скорочитання і поганий гумор.

🎧 Слухати 👉тут👈 (🍎 podcasts)

🔞 Ми перестали вирізати матюки 🔞

- 0:00-2:50 Як гакерньюзівці свій data warehouse будували на SQLite. SQLite у D1 від Cloudflare. Clickhouse 💩 в твітері (exhibit A, B, C, D)
- 2:50-3:25 Інтро і головні дієві особи цього випуску
- 3:25-4:43 Ян Гудфелоу тікає з Apple через режим роботи в офісі. Вестернери ще не знають, що у них все буде погано
- 4:43-5:28 MASSIVE датасет від Amazon
- 5:28-6:05 Опенсорсний arnheim від DeepMind для генеративних колажів
- 6:05-07:11 Ще від DeepMind: RL агент Gato🐈 . Єдиний трансформер вирішує різний спектр задач
- 07:11-09:04 Чи робить arnheim те, що робить dalle чи imagen? [тоді ще не було dalle-mini] Але ніякої України
- 09:04-13:08 Prompt Engineering. Як генеративні моделі змінюють підходи до рішення різних задач. Хфілософія про майбутнє, де люди благатимуть моделі вирішити їх задачі
- 13:08-16:14 Філосовська підводка до злоумисної модифікації пакета ctx, щоб забрати ваші секрети.
- 16:14-18:40 Чому кастомні домени можуть бути не дуже гарною ідеєю
- 18:40-19:02 Tiny news about TinyGo
- 19:02-27:10 Застосунки для скорочитання. Bionic Reader. [тут один з нас трішки полюбив козу, бо розробкою займався хлопак, що мав дуже поверхневе відношення до Швейцарського інститута, але ніяк не група з MIT] TorpedoRead, що не дуже вірить у ексклюзивність цієї ідеї. SwiftRead.
- 27:10-31:42 Відмова від софта російського. Short list на викидання. 1C у Касті
- 31:42-35:23 Як Укрпошта показала е-коммерсу, що є ще куди рости. Бага чекауту в Касті.
- 35:24-36:27 Outro. Новий візуал від ig:@duke_mort_pixel. Відправте десь щось комусь.

Музика: https://www.streambeats.com/

Поширюйте серед знайомих, кому це було б цікаво. Пишіть в коментарях, якщо щось пропустили або дійшли до якихось ще висновків.

Маємо нову обкладинку, запам'ятайте і надалі вишукуйте її на вашій улюбленій подкаст-платформі. За це дяка дуже крутій піксель-артерці https://www.instagram.com/duke_mort_pixel/

З нами все ок, збираємось з думками і може запишемо десь-щось-якось.

Channel photo updated

Channel name was changed to «Опівночні Балачки»

Опівночні Балачки №20: WEB2.0 люди поринають у WEB3

🎧 Слухати 👉тут👈 (🍎 podcasts)

- 0:00 початок
- 2:10 web1.0 та web2.0
- 3:50 semantic web
- 5:45 чому з’явився web3.0
- 7:40 загальна архітектура
- 10:14 проблема перша: смартконтракти та паливо
- 19:04 проблема друга: зберігання файлів та ipfs
- 21:44 проблема третя: бекенд та коннект до блокчейну
- 28:38 web3.0 boilerplate github project
- 31:40 приклади web3.0 проектів
- 37:56 думки про usability
- 42:05 proof of work та proof of stake
- 46:20 ще про паливо та смартконтракти
- 50:40 висновки та загальні думки

Додаткові посилання:
- https://moxie.org/2022/01/07/web3-first-impressions.html
- Відповідь Бутеріна на пост з попереднього посилання
- https://www.emilygorcenski.com/post/the-myth-of-decentralization-and-lies-about-web-2.0/
- Та сама Інфура
- посилання на бойлерплейт на гітхабі
- сайт етера з прикладами застосунків

Музика: https://www.streambeats.com/

Поширюйте серед знайомих, кому це було б цікаво. Пишіть в коментарях, якщо ми щось пропустили або ви прийшли до якихось ще висновків.

Опівночні Балачки №19: Ще більше причин бути параноїком

🎧 Слухати 👉тут👈 (🍎 podcasts)

- 00:00 - Log4j 0day https://www.lunasec.io/docs/blog/log4j-zero-day/
- 04:08 - https://blog.cloudflare.com/actual-cve-2021-44228-payloads-captured-in-the-wild/
- 04:32 - https://twitter.com/chvancooten/status/1469340927923826691
- 04:40 - https://gist.github.com/SwitHak/b66db3a06c2955a9cb71a8718970c592
- 04:54 - https://twitter.com/_JohnHammond/status/1469255402290401285
- 07:10 - https://github.com/Cybereason/Logout4Shell
- 12:22 - https://developer.apple.com/forums/thread/696785
- 14:05 - https://thehackernews.com/2021/10/popular-npm-package-hijacked-to-publish.html
- 15:00 - Вразливість світлодіодів https://intellisec.de/research/lasershark/
- 18:58 - https://www.zdnet.com/article/academics-turn-pc-power-unit-into-a-speaker-to-leak-secrets-from-air-gapped-systems/
- 20:47 - https://dou.ua/forums/topic/35870/
- 23:10 - Трошки ненависті до Python
- 26:50 - stdout/sdtin ETL тули
- 28:38 - https://hacks.mozilla.org/2020/07/testing-firefox-more-efficiently-with-machine-learning/
- 39:18 - https://deepmind.com/blog/article/language-modelling-at-scale

Опівночні балачки №18: Розумний будинок

🎧 Слухати 👉тут👈 (🍎 podcasts)

В гостях Денис Довгань @denysdovhan
• 10:43 - з чого почався розумний будинок
• 23:20 - пожежна безпека
• 34:15 - софт та хард з якого все почалось у 2018 році (apple home kit sdk та сумісність різних екосистем)
• 14:20 - перехід на home assistant
• 21:45 - setup home assistant з існуючими девайсами
• 25:45 - підключення ZigBee до Raspberry Pi
• 30:40 - різні способи встановлення home assistant (док)
• 38:47 - самостійне розгортання home assistant на raspberry, без home assistant os
• 44:25 - додаткові self-hosted штуки на домашньому сервері: cockpit, portainer, duplicati, AirConnect, AdGuardHome, Plex, Umami.is, Vaultwarden
• 50:20 - організація доступу ззовні та інформаційна безпека: duckdns, nginx proxy manager, Cloudflare, fail2ban
• 55:24 - наскільки все надійно працює
• 1:01:50 - про власний open source навколо home assistant і сайт з документацією
• 1:07:17 - як створювати автоматизацію (задавати сценарії)
• 1:11:56 - найкрутіший сценарій: голосові сповіщення
• 1:15:55 - автоматизація робота пилососа
• 1:18:25 - автоматизація присутності
• 1:23:05 - підключення кліматичної техніки
• 1:26:18 - автоматизція режиму тищі під чс дзвінків
• 1:27:30 - інші прості автоматизції на сенсорах
• 1:32:00 - flux на всю квартиру
• 1:32:30 - факапи та стрьомні моменти
• 1:37:15 - wife approval

Полуночный Трёп №17: Facebook упал, Twitch утёк

🔊➡️ Слушать тут

00:00 - стартуем
00:34 - Facebook downtime
01:20 - https://blog.cloudflare.com/october-2021-facebook-outage/
02:08 - BGP https://www.cloudflare.com/learning/security/glossary/what-is-bgp/
02:33 - https://www.peeringdb.com/
04:40 - https://habr.com/ru/news/t/563382/
08:40 - https://engineering.fb.com/2021/10/04/networking-traffic/outage/
09:00 - https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/
09:30 - https://engineering.fb.com/2019/03/02/connectivity/fiber-optic-cable/
15:30 - Twitch утёк https://twitter.com/Sinoc229/status/1445639261974261766
17:44 - https://www.gamespot.com/articles/amazon-mmo-new-world-is-bricking-rtx-3090s-players-say/1100-6494221/
18:55 - https://blog.twitch.tv/en/2021/10/06/updates-on-the-twitch-security-incident/
23:50 - https://twitter.com/Sinoc229/status/1445899762788560897
26:55 - https://twitter.com/CDPROJEKTRED/status/1359048125403590660
27:07 - outro

🔊➡️ Слушать тут

Фоновая музыка: https://www.streambeats.com/

Полуночный Трёп №16: DIY – делайте железки сами

- 00:00-01:02 Intro.
- 01:02-08:14  DIY. Про железки. Как правильно мигать светодиодом на ардуино. Arduino C. Как использовать протоколы посложнее.
- 08:17-11:34 Игра "Жизнь" на Arduino. Взаимодействуем с OLED-дисплеями. Bit array для хранения битов внутри целых чисел.
- 11:34-12:12 Про датчики.
- 12:13-15:55 Аппаратный ввод пароля. Внезапный Counter-Strike.
- 15:55-18:24 Как упаковывать свои железки.
- 18:24-34:34 Система автополива цветов на raspberry pi. Датчик влажности, температуры и давления – bme280. АЦП который типа "вольтметр" – ads1015. Ёмкостный датчик влажности. Добавляем python и cron по вкусу. Собираем метрики в https://prometheus.io/.
- 34:34-43:22 Микроконтроллеры с Wi-Fi: esp32, esp8266. Потребление энергии и затраты на передачу данных по wi-fi. NodeMCU. Почему все таки raspberry pi, а не NodeMCU для полива цветов?
- 43:22-53:12 Умный глазок. Простой трюк для повышения угла обзора raspberry pi совместимой камеры. Как использовать неодимовые магниты в хозяйстве. Motion и mjpeg. MinIO. Как можно было бы организовать софт для этого лучше.
- 53:12-55:15 Зачем все таки DIY?
- 55:15-56:49 Outro

👉 🎧 На anchor 👈

Музыка подкаста: Harris Heller - StreamBeats

Полуночный трёп - Episode 15: Apple CSAM, выбрасываем iphone и идём жить в лес

🔈слушать

0:00-3:25 Трёп, беды с башкой
3:25-4:15 Intro
4:15-10:05 Apple и поиск порно, CSAM
10:05-12:16 Перцептивные хеши, коллизии и как оно сделано у Apple
12:16-19:10 Прочий трёп по теме
13:30 Homomorphic encryption
14:00 https://en.wikipedia.org/wiki/Locality-sensitive_hashing#Random_projection
14:42 Картинки, которые на самом деле не затригерят CSAM
15:20 Репка с весами модели и инструкцией как их достать самому
17:20 Код для генерации коллизии хешей
19:10-20:48 Мораль
20:48-21:30 Outro

Музыка подкаста: Harris Heller - StreamBeats

🔈слушать

Полуночный Трёп - Episode 13: Визуализация данных

🔈слушать

К сожалению, все описание не влазит, полный перечень ссылок и деталей 👉 вот тут 👈

- 00:00-00:50 Интро, дисклеймер и прочая
- 00:50-03:53 Что изучить по теме визуализации
- 03:53-13:31 Кейс №1: EDA, графики метрик и прочая
- 13:31-25:38 Кейс №2: визуализация эмбедингов
- 25:38-28:41 Кейс №3: картинки
- 28:41-29:58 Кейс №4: визуализация аудио
- 29:58-32:10 Кейс №5: загружаем и рисуем видео
- 32:12-34:25 Кейс №6: рисуем графы
- 34:35-35:27 Кейс №7: автоматический EDA
- 35:27-49:25 Кейс №8: визуализируем непосредственно работу (моделей/кода etc)
- 49:25-50:49 Кейс №9: делаем репорты
- 50:49-52:49 Если ничего не подошло
- 52:49-1:10:18 Странные и интересные визуализации
- 1:10:18-1:12:17 Outro, и призыв присылать ужасные визуализации

Музыка подкаста: Harris Heller - StreamBeats

🔈слушать

Полуночный Трёп №12: Data Mesh - почему, что и как.

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

- 0:00:00-0:01:35 Intro. Почему именно эта тема
- 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️. Data Lake. Data Hoarding (дата скопидомство)
- 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
- 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
- 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
- 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
- 1:00:01 -  1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
- 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
- 1:13:26 - 1:32:50  Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
- 1:32:50 - 1:33:55 Outro

Ссылки

Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

Инструменты, которые мы упоминали, если не уловили на слух:

- Streaming: Kafka, Flink, Spark Streaming, Spark
- Querying: Athena, Trino (ex PrestoSQL), SparkSQL
- Storage: Redshift, RDS, S3, Parquet, hdfs
- Data Quality: redata, montecarlodata, anomalo
- Data Platform~ish: databricks, fivetran, Airbyte (singer), airflow k8s spark, aws glue, google cloud dataflow, IBM/the-mesh-for-data

Инструменты, которые мы упоминали, а потом вырезали: dbt, ray, dask

Музыка подкаста: Harris Heller - StreamBeats

🎧 Эпизод на anchor.fm

Полуночный трёп №11: "Эй сири, найди все видео где я похож на Курта Кобейна" и "Не нужен мне клабхаус, вон поцаны в соседеней локалке свой сервер Джема подняли"
* 0:00-0:30 Intro
* 0:30-4:30 Опенсорс аналог Clubhouse - Jam, а потом наши рассуждения на тему безопасности WebRTC
* 4:30-7:10 Обсуждаем недавно появившийся у huggingface и постоянно расширяющийся список моделей для работы с аудио.
* 7:10-12:23 Демо с кодом для поиска с помощью текста по контенту видео, используя CLIP (гитхаб) от OpenAI. Ну и DALL-E (гитхаб)
* 12:23-15:48 Terraria (не) будет выпускаться на стадии из-за конфуза с аккаунтами. (HN, версия с DTF).
* 15:48-16:22 Intermission
* 16:22-19:50 Биткоин жрет электричества больше, чем Аргентина
* 19:50-23:30 В Go будут дженерики
* 23:30-27:52 cryoDRGN: VAE и глубокие нейроночки помогают реконструировать 3д структуры (и движение) протеина по результатам криоэлектронной микроскопии
* 27:52-33:12 Паттерн матчинг и прочие плюшки в следующей версии Python. И вот обучающий PEP
* 33:12-39:13 Пакет Cryptography ломает полинтернета сиай машин, добавив зависимость от Rust
* 39:13-40:52 - Outro

Музыка подкаста: Harris Heller - StreamBeats

🎧 ссылка на страницу эпизода

Полуночный трёп №10: @retry(1), ML уже в твоей базе, и о чем забывают, когда обсуждают шатающий акции реддит.

- 00:00-00:39 Intro
- 00:39-04:48 Консистетность retry API: tenacity, retry, retrying, retry-go vs retry.js, Rican7/retry
- 04:48-10:35 Удаленная работа на Бали, можно ли?
- 10:36-16:45 ML прямо в базе с помощью mindsdb на PyTorch
- 16:45-19:15 Про попытки реплицировать OpenGPT-2/3 и датасет текста на 825 Гб на Pile (их пейпер). И в довесок - The Eye
- 19:15-27:38 Про сложности тюнинга гиперпараметров и «надо взять просто старый NIPSовый [читать далее]» . JAX от Google.
- 27:38-34:27 «Вы наш АПИ не копируйте, а мы ваш наверное скопируем». Минидрама вокруг Lightning Flash API: изначальное обвининие авторами в копировании третьими лицами. Но такое дело - кажется, новый АПИ похож на Fast.ai. Oracle vs Google.
- 34:27-49:23 Gamestop: поле битвы Reddit и хедж-фондов. А плохими все равно остались опять Google, Discord и другие корпораты
- 49:23-50:34 Outro

🎧 Anchor
Музыка подкаста: Harris Heller - StreamBeats

Первый эпизод этого года!
Полуночный трёп №9 - @tiangolo/fastapi - Project Spotlight
Тайминги в шоунтоутсах, а тут только ссылки

Sebastián Ramírez https://dev.to/tiangolo | https://medium.com/@tiangolo | https://twitter.com/tiangolo | https://github.com/tiangolo

Код проекта
Другие подкасты-интревью с создателем
- https://www.pythonpodcast.com/fastapi-web-application-framework-episode-259/
- https://talkpython.fm/episodes/show/284/modern-and-fast-apis-with-fastapi

Flask VS FastAPI
ApiStar v0.5.X - прообраз проекта

Интересные пакеты из кода/примеров:
- mkdocs + markdown-include
- flit
- @encode/databases

🎧 Apple Podcasts

- 00:00-00:49 Intro
- 00:49-16:52 Apple и сетевые запросы на каждый чих. HN, тви с фиксом, еще детали в блогпосте. И прочие слежки, например Google Activity. Короче, всем Little Snitch, коллеги. [И да, сообщение от Free Software Foundation было.]
- 16:53-23:37 Книга Data Feminism и интервью с женщинами, что ее написали.
- 23:37-39:03 Парсим почтовую информацию Японии. read_csv не поможет, но есть проект posuto. А потом обсуждаем флешбеки работы с PDF, EDF и WARC. И вопрос библиотек-оберток поверх чужих закрытых API – можно ли их выкладывать в Open Source?
- 39:03-44:44 MeowTalk, с исходным кодом перетренненной YAMNet.
- 44:45-47:52 Outro. Целевые функции. Обещания смены формата (и графика!).

🎧 Apple Podcasts

🔗 Radio Kottans
Музыка подкаста: Harris Heller - StreamBeats

Полуночный трёп №7: кашляем ИИ в ухо, проксируем популярность языков по выдаче поисковиков и готовимся к собеседованиям с сортированными массивами

- 00:00-00:58 Intro
- 00:58-09:08 Tiobe Index (обсуждаем ноябрьский выпуск)
- 09:09-12:38 Benford's Law
- 12:39-19:43 Модель из MIT определяет ковидный кашель
- 19:43-25:40 Apple купил Vilynx за $50M. Стартап, что делал “понимание” видео, используя онтологии. Упоминаем проект по построению графов всего NELL: Never-Ending Language Learning
- 25:40-29:50 sql.js: SQLite для JS на WASMe. Потом наши мысли куда-то убегают и там Kubernetes на истребителе F-16 и Doom на тесте для беременности
- 29:50-36:20 Быстрее, чем бинарный поиск на отсортированном массиве. Learned Indexes
- 36:20-38:08 Outro. Наша страница на anchor.fm

Музыка подкаста: Harris Heller - StreamBeats

🎧 Apple Podcasts

Полуночный трёп №6: Миллиарды деревьев в Сахаре, когда стоит менять работу и даже драма в МЛ комьюнити

- 0:00-0:30 Intro
- 0:30-05:42 ИИ насчитал сотни миллионов деревьев в Сахаре
- 05:42-10:30 Оценка легкости ремонта iPhone 12
- 10:35-12:12 Машинное обучение для здравоохранения, курс от MIT (6.S897), весна 2019
- 12:12-19:45 Джереми Ховард и нарушенный CoC из-за “доклада о докладе”, автор которого ничего не знал о происходящем, но все хорошо (ну и вот оригинальный доклад). Practical Data Ethics от fast.ai
- 19:45-36:40 Как профукать свою карьеру, год за годом
- 36:40-38:55 Tract: раним нейросети на Rust. Are we learning yet? – каталогизируем текущее состоянии МЛ в Rust. NNEF
- 38:55-41:55 Манипуляции с фоном в Google Meet, все в вашем браузере с помощью MediaPipe
- 41:55-43:51 PyMC3 дарит будущее Theano. И про probability programming на C# - Bean Machine
- 43:51-44:49 Outro

Музыка подкаста: Harris Heller - StreamBeats

👂 Apple Podcasts