Опівночні Балачки

Опівночні Балачки №34: Розмови про second brain – як програмісти ведуть нотатки

👁 Youtube – sweet
🍏 Apple Podcasts – dreams
〰️ Spotify – are
🎧 Інші платформи – made

Тайм-коди:
- 0:00-0:42 Intro та дисклеймер
- 0:43-2:10 Від Notion’а до Zettelkasten. Чи зміниться це з появою чат-асистентів? Про це і поговоримо
- 2:11-4:42 Чи веде Ігор свою базу знань? Пошук в Notion – не як в github’а
- 4:43-7:42 Як справи з нотатками Дениса? Markdown файли і zettlr. Наступна віха розвитку – Obsidian. Тут вже і zettelkasten можна робити. Фрактальна капуста
- 7:42-9:04 Чому Денис більше не буде вести свою knowledge base?
- 9:05-9:59 Чим корисні короткі замітки для створення контенту?
- 10:00-11:47 Хронологічний journaling як альтернативний підхід
- 11:48-13:10 Дампаємо посилання з тегами і коротким описом. Яким міг би бути ідеальний нотатник для такого?
- 13:11-15:29 Але поки що, головна проблема – поганий пошук по цьому всьому. Мультимодальний пошук. Коротка лекція про японську мову
- 15:30-19:16 Індексуємо все-все-все, що ви робите за комп’ютером. І згадуємо “Чорне Дзеркало” (S1E3). Пора робити на GPT-4. А може і unCLIP заюзаємо, як промпт-інженери розберуться, що писати
- 19:16-21:36 Чи треба нам локальний пошук, якщо можна затьюнити пошуковий рушій? А також гібридні підходи
- 21:36-22:15 Згадуємо Apple і їх AI помічника
- 22:15-24:12 Потенційна небезпека сенсативних даних в чат-системах. Про OpenAI і кенійців. Фантазуємо, як це робити сек’юрно
- 24:13-27:43 Саша і його нотатки. Глобальний gitignore. You.com і їх чат
- 27:43-28:35 Всі біжемо під замочок і накопичуємо замітки (поки Маск все не поламав)
- 28:36-33:17 Рівні користі інформації. Лайфхаки збереження інформації. Шукаємо стартап зі скріншотами і чи то отримуємо ефект Мандели, чи просто інтернету пороблено
- 33:18-34:15 Outro

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №33: Python проект з 0 – корисні інструменти для вашого коду

👁 Youtube - here
🍎 Apple Podcasts – we
〰️ Spotify – go
🎧 Інші платформи – again

Тайм-коди:
- 0:00-0:40 Інтро
- 0:41-6:51 Питання слухачів №1: python і приватні пакети в poetry. І взагалі про приватні реєстри пакетів на CI. І як на гітхабі достукатися до пакету в приватному репозиторії
- 6:52-8:21 Питання/уточнення слухачів №2: ще є pdm-project/pdm для залежностей
- 8:22-10:29 Повертаємося до deploy keys і як webfactory/ssh-agent це робить для декількох репозиторієв
- 10:30-12:57 Питання слухачів №3: “так і що мені юзати?”
- 12:58-17:43 Після створення проекту, що в першу додавати? make і task. Заздримо npm з їх scripts
- 17:43-19:52 Менеджимо автоматичні перевірки при спробі закомітити за допомогою pre-commit
- 19:53-20:56 Коли ваш інструмент не вміє в dev mode, допоможе watchdog
- 20:57-23:23 Коміти по конвенціям за допомогою commitizen
- 23:24-30:03 Ваші улюблені інструменти для перевірки/покращення коду від PyCQA: flake8, pycodestyle, pyflakes, autoflake, pep8-naming, isort, black. І новий мегашвидкий ruff. Як цими зв’язками користується Денис і flake8-print – золото
- 30:04-31:47 Шукаємо стерво код за допомогою vulture. Bandit для сек’юріті перевірок і чому потрібні baseline’и
- 31:48-32:49 Hadolint для докерфайлів, для shell скриптів – shellcheck, helm lint + helm-docs
- 32:50-32:55 mypy чим корисна типізація, але чому ж так важко почати?
- 35:56-38:28 tox і матричні білди
- 38:29-39:09 Pylance, що ґрунтується на pyright
- 39:10-39:49 Editorconfig для фіксації вигравшої сторони в суперечці “таби чи пробіли”
- 39:49-40:40 Запускаємо проект в контейнері, щоб команді було простіше
- 40:41-42:03 Інтегруємо платформи де ви правите код чи раните тести з таск-трекерами і месенджарами – обов’язково для ВСІХ agile команд. Swarmia
- 42:03-43:07 Включаємо нагадування “онови залежності”: dependabot, snyk
- 43:08-45:50 Outro. Закиньте грошей ПЖ

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №32: Нова пошукова система Github

👁 Youtube - унос
🍎 Apple Podcasts – дуос
〰️ Spotify – трес
🎧 Інші платформи – кватро

Тайм-коди:
• 1:00-2:50 Intro. Спеціалізовані і генералізовані системи пошуків.
• 2:51-9:12 Чому у Github була найгірша система пошуку? Натягуємо Elastic на код, який не є натуральною мовою. BM25 “на пальцях”. Ну і неймдропаємо Tf-Idf
• 9:13-12:26 Повертаємося до оригінального блогпосту. Як весь код вліз в 25Тб? І інші цифри для оцінки масштабу розміру пошукової бази
• 12:27-15:02 Які кола мікросервісів проходить ваш код перед тим, як потрапити в видачу пошуку? Самописні бази на такому швидкому і безпечному Rust, а також ліричні відступи з шеймінгом людей за спадок на Golang
• 15:03-22:26 Що в цій базі? Інвертовані індекси, щоб не лупати днями всі документи в циклі. Триграми з прикладами “📃” ➡️👨‍⚕️,うく,💦. Як ділити величезний індекс по різних серверах? Трохи про шардінг, але може краще почитайте “кабанчика”. PGTune
• 22:26-25:24 Як відбувається безпосередньо пошук?
• 25:25-30:17 Невеликі, здавалося б, оптимізації, які значно покращували все: мінімальне остовне дерево, k-мердж списків, … Зато за 36 годин все переіндексовують з нуля, як треба буде
• 30:18-34:25 На чому все це крутиться? І навіщо взагалі треба пошук по коду? Даєш ReversoContext для коду!
• 34:26-35:40 Outro
Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №31: Python проект з 0 – менеджмент залежностей

👁 Youtube - іч
🍎 Apple Podcasts – ні
〰️ Spotify – сан
🎧 Інші платформи – йон

Тайм-коди:
• 1:00-1:53 Інтро, про що випуск і використовуємо в одному реченні Starlink і Python
• 1:54-2:22 Закриваємо тему pip
• 2:23-7:37 Стильний poetry, зробить все як у найкращих пакетних менеджерів, як у мові програмування сина маминої подруги. Які проблеми вирішує лок файл?
• 7:38-10:45 Але і з poetry бувають проблеми…
• 10:46-17:22 Чи перейдуть всі ваші улюблені бібліотеки на poetry, який стане стандартом в пітоні? Проводимо паралелі з glide
• 17:22-18:58 pip-tools і саме pip-compile звідти, як корисна виручалочка при великому наборі різних опціональних бібліотек
• 18:59-20:02 Для менеджменту версій пітона, pyenv – молодець. asdf + venv теж ок
• 20:02-21:15 pipenv - це не про нас
• 21:16-22:27 conda – ліпший бро дата-саєнтистів, і інколи – маководів
• 22:28-23:12 Чи існують гайди як будувати пакети за допомогою conda? Питаємо у вас, розкажіть нам в коментарях!
• 23:12-24:19 Outro. Пам’ятайте: кожен ваш коментар нині – +1 тиждень до існування цього подкасту

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №30: Золота лихоманка ChatGPT

👁 Youtube - дивитись
🍎 Apple Podcasts – слухати
〰️ Spotify – насолоджуватися
🎧 Інші платформи – шукати

Тайм-коди:
- 0:00-2:27 Інтро. ChatGPT в Україні, історії про швайнокарасів і r/bing
- 2:28-6:12 Юзаємо ChatGPT як бекенд. І Copilot + gptcommit для менш радикально налаштованих забирати хліб у розробників. Референсимо Януковича
- 6:13-6:58 Чекаємо ще рідше побачити живу людину у чаті служби підтримки
- 6:59-10:39 Журналісти і їх ґайпожерство на темі ШІ. І описуємо найшвидший спосіб ChatGPT зменшити розмір людства
- 10:40-16:18 Як GPT3 в Square аналітиком працював. Світле майбутнє, де запити в сховища даних можна писати зрозумілою мовою. Чат модель пошуковика Bing, яка не завжди дружить з реальністю. І попередження аналітикам
- 16:18-16:55 Наші аналітики передбачають нові продукти Apple
- 16:56-18:39 Langchain додав wolfram alpha інтеграцію. ChatGPT як універсальний перекладач між різними структурованими мовами
- 18:40-21:52 “Уяви, що ти – Х” для ChatGPT. Корисний промпт-інжиніринг чи експлоіт?
- 21:53-22:41 Люди, що заробляють на GPT-3 + StableDiffusion на Amazon
- 22:42-26:23 Чи зможе геймерський ноут запустити ChatGPT? Згадуємо Jim Keller
- 26:23-28:27 Що робити, якщо API запити до OpenAI задорогі? GPT3 вдома: EleutherAI/gpt-neo-1.3B / GPT2 / PaLM (на жаль, не в відкритому доступі, щось наплутали) / CTRL / BLOOM / OPT
- 28:28-30:00 Відео про побудову GPT та сам проект nanoGPT від Andrej Karpathy
- 30:01-32:30 Два слова про відмінність GPT і ChatGPT. Reinforcement learning with human feedback
- 32:31-33:51 Outro

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №29: gRPC – що це, як це і підводні камені

👁 Youtube - тик
🍎 Apple Podcasts – пик
〰️ Spotify – мик
🎧 Інші платформи – авада кедавра

Тайм-коди:
- 1:01-1:09 intro
- 1:10-3:26 gRPC очима senior JSON девелоперів. Які недоліки у класичної передачі даних за допомогою JSON’ів по REST’у?
- 3:27-8:06 gRPC = HTTP/2 + ProtoBuf. Машинерія, що ув’язує всі ці речі між собою. Зрозуміла оф дока
- 28:07-10:16 - плюс №1: перевикористання прото інтерфейсів різними командами
- 10:17-10:54 - плюс №2: загальна швидкодія
- 10:55-12:50 - плюс №3: експресивна комунікація можливих помилок
- 12:51:15:51 - мінус №1: слідкування за схемою – це не завжди просто. Розповідаємо, як оновлювати схеми на CI і чому не вийде так просто переіменувати поле.
- 15:52:16:35 - Чи допоможуть тут schema registry? Відкрите питання 😊
- 16:36-19:19 - мінус №2: підвищена складність debug’у. Клієнти: grpcurl, класичний postman, insomnia. І мимохіть згадуємо чим Linux ліпший за Windows
- 19:20-21:21 - (формальний) мінус №3: ваша схема не буде робити більшість валідацій, які ви очікуєте, будьте готові імплементувати їх самі
- 21:22-23:36 - (пітонячий) мінус №4: генеровані класи по вашим прото читати ви не захочете, а IDE не обов’язково зможе підхопити і правильно підказувати. [Коли вже здогадаються pydantic туди додати?]
- 23:37-24:03 - Міряємо перформанс за допомогою ghz
- 24:04-27:34 - Балансування навантаження в k8s кластері
- 27:35-29:31 - outro і місце для ваших коментарів

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №28: Serverless databases

👁 Youtube ▶️️ось
🍎 Apple Podcasts 🔁 онде
〰️ Spotify 🤖 на місці
🎧 Інші платформи 🔍 знайди тут

‣ 0:00 - 0:45 Нове інтро + про цей "сезон" + про що цей випуск
‣ 0:45 - 4:16 Сценарії деплою бази даних на вашому проекті, від "дешевших" до дорожчих
‣ 4:16 - 5:38 Рух serverless і чому він дібрався і до баз даних. AWS Aurora як приклад
‣ 5:38 - 7:12 Які проблеми селфхостед постгресу ви оминаєте з serverless базою. Чи потрібно всім знати тюнінг?
‣ 7:12 - 9:30 Чи не стане вендорлок проблемою? Кубернетіс вже занадто дорого для бізнесу? Клауд рішення, що приносять value з першої хвилини запуску
‣ 9:30 - 12:31 Serverless не лише про великі дані, до речі. Параметр бази, який всі вічно забувають апдейтити і чому це не проблема для CockroachDB. Ще трохи, і AWS здогадається тарифікувати бази як djuice у 2003ому
‣ 12:31 - 15:07 Заплатив за cockroach, а як його в кластер запхати? А ніяк, платіть за Aurora. Слоупок коментарі про кубернетіс
‣ 15:07 - 17:05 Нові можливості, які відкривають serverless бази. Болі time-series баз. Amazon Timestream
‣ 17:05 - 20:14 Cloudflare і їх хмарні функції. А також їх D1 – серверлес сховище даних. Обіцяні посилання на проекти, базовані на sqlite: rqlite, duckdb
‣ 20:14 - 21:40 Повертаємося до Aurora і її спільні риси з D1. Доповідь про Aurora як геній інженерної думки. І чому це поки що не безкоштовно
‣ 21:40 - 22:50 Аутро

Ми в твітері o_balachky
Музика: streambeats | @stasgavrylov

Опівночні Балачки №27: ML в e-commerce для ціноутворення

👁 Youtube 🔗тут
🍎 Apple Podcasts 🎧слухай
〰️ Spotify 💆‍♂️вуаля
🎧 Інші платформи ➡️ось

В гостях – Дмитро Ткаченко

0:00-0:30 Дисклеймер
0:30-2:05 Книга з Амазона за 23 млн $. Про що цей епізод
2:05-5:20 Динаміка E-commerce останніми роками
5:20-11:36 E-commerce агрегатори: що це і як вони працюють?
11:36-14:28 Як агрегатори обирають, які бізнеси придбати? Тех нічні виклики аналітики
14:28-20:56 Як нам визначити, за якою ціною продавати наш продукт: базові економічні матерії
20:56-23:22 Про що мовчить базова модель: зміни реального світу з часом та поведінкова економіка
23:22-28:44 Як максимізувати прибуток? Відповідь зарита десь у еластичності попиту, але спочатку визначимо, що це таке. Еластичні і нееластичні товари
28:44-32:24 Але як порахувати еластичність попиту? Чому просту теоретичну формулу не так-то і просто обрахувати на практиці?
32:24-36:26 Отримуємо дані для обрахування еластичності: A/B тести і "натуральні" експерименти. Агрегація сигналів по товарам тієї ж категорії
36:26-38:40 Знову про економічну теорію: що таке крос-еластичність
38:40-48:17 Розчехляємо ML: чим корисні CV і NLP для цих задач? Моделюємо еластичність попиту. Лінійна регресія. Causal inference. Confounding factors
48:17-1:00:20 Fixed effects model. Demeaning / log-трансформації. Як від коефіцієнтів моделі переходимо до еластичності попиту
1:00:20-1:09:20 От порахували ми еластичність попиту, що далі? Визначення оптимальної ціни. І як для різних обставин ми маємо різні точки оптимальності
1:09:20-1:10:00 Інтерлюдія про посилання, що під таймкодами
1:10:00-1:22:08 Як визначати якість наших моделей? Хитрощі для проведення A/B тестів з цінами
1:22:08-1:29:10 2х ступеневий підхід для кейсів, коли даних недостатньо, а вирахувати еластичність хочеться – R-learner підхід
1:29:10-1:31:15 Аномальність історичних даних останніми роками
1:31:15-1:34:20 Чому варто почитати оригінальні пейпери?
1:34:20-1:36:47 Outro
1:36:49-1:39:39 Post-credits: підручник дрозофіл за 23 млн $

Посилання:
* про price elasticity
* приклад price/revenue кривої, максимум на якій – profit-optimal price
* простий вступ до fixed effects model
* CATE: Conditional Average Treatment Effect
* загалом книга Causal Inference for The Brave and True. Там і про propensity score трохи є
* R-learner
* Альтернативний підхід, про який не говорили: Bayesian-optimal pricing. Простий вступ до нього: https://cscherrer.github.io/post/max-profit/
* допис про амазон ботів у 2011 році спекулюють книжками


Ми в твітері http://twitter.com/o_balachky
Музика: https://www.streambeats.com/ | https://www.youtube.com/@stasgavrylov

Всіх з Новим Роком! 🥂

Опівночні Балачки №26: Підсумки 2022

👁 Youtube 🔗тут
🍎 Apple Podcasts 🥸 на місці
〰️ Spotify 👉 ось
🎧 Інші платформи онде

- 0:00-1:15 Intro
- 1:15-16:58 Copilot і сингулярність. Багато про восьминогів і жодного слова про октокотів. Ruby, Cucumber і Gherkin як ідеї, що випередили свій час.
- 16:58-18:25 Питаємо у ChatGPT як вирішувати робочі задачі.
- 18:25-20:20 Знову про Copilot і важливіть верифікації нагенерованого коду
- 20:20-21:25 Tabnine і дуже короткий досвід з цією альтернативою Copilot
- 21:25-23:30 Тренди дата інжиніринг року: SQL в кожен двір!
- 23:30-28:17 Проходимося по тулах, щоб просто робити інжест, а там і до аналітики недалеко: domo, fivetran, airbyte. Чи стало легше будувати пайплайни?
- 28:17-31:25 Опенсорсний dbt і секрет їх бізнес моделі
- 31:25-39:00 2022 рік не став роком лінуксу на десктопах. Скарги на аудіо, зовнішні монітори і ранодмні баги. А ще і iOS туди ж.
- 39:00-43:04 Листи в "Пізнайко": чому в світі більше одного Amazon сайту? І куди діваються рев'ю при перемиканні країни в апсторі?
- 43:04-45:24 EKS > ECS. А також інші способи ранити код в клауді.
- 45:24-47:28 Outro. Всіх з Новим Роком!

Ми в твітері http://twitter.com/o_balachky
Музика: https://www.streambeats.com/ | https://www.youtube.com/@stasgavrylov

Опівночні Балачки №25: Python 3.11. Що нового?

👁 Youtube 🔗тут (показуємо, про що говоримо)
🍎 Apple Podcasts 👉слухай👈
〰️ Spotify 🫡 тут
🎧 Інші платформи тицяй

Тайм-коди:
• 0:00-01:43 Інтро.
• 21:43-08:53 Пришвидшення Python з новим релізом. Зменшення кількості фреймів і інлайнінг деяких функцій.
• 38:54-15:19 Ще про швидкодію. PEP 659 пришвидшення певних операцій над специфічними типами даних
• 15:19-17:01 Марк Шенон і його план про пришвидшення Пайтону
• 17:02-20:36 PEP 657 Більш дружні повідомлення про помилки
• 20:36-27:05 PEP 654 ExceptionsGroup ака дерева помилок
• 27:05-32:14 PEP 646 Варіадичні Дженерики
• 32:14-35:48  PEP 655 необов’язкові поля у typing.TypedDict
• 35:48-45:23 Тайпінги і асінкайко - це милиці? По-черзі бомбимо на пітон.
• 45:23-46:43 PEP 673 - продовжуємо про тайпінги. Новий тип Self
• 46:43-48:21 PEP 675. Arbitrary Literal String Type
• 48:21-49:07 PEP 681. Data Class Transform
• 49:07-52:43 PEP 680 стандартний парсер TOML
• 52:43-56:04 Зміни в асінкайоу: таск групи і людьскі таймаути
• 56:05-57:15 Нарешті дефолтовий Str + Enum = StrEnum
• 57:17-58:22 Атомарні регексп групи
• 58:22-1:00:14 Що подеприкейтили?
• 1:00:14-1:01:48 Outro

Музика: https://www.streambeats.com/ | @stas_gee

Опівночні Балачки №24: Дикий Захід Crypto світу. Хаки, баги та інші неприємні ситуації, що коштували грошей

🍎 Apple Podcasts 👉слухаємо👈
〰️ Spotify ✋ тут
🎧 Інші платформи тицяй
👁 Youtube 🔗 тут

В гостях – Ярослав Ходаковський

Тайм-коди:
- 00:00-02:04 Дисклеймер, “що в епізоді” та представлення нашого гостя Ярослава. Фазовий перехід від трьох людей до чотирьох у записі
- 02:05-12:12 Основні “дійові особи” зі світу криптовалют: консенсус, гаманець, транзакція, блок. Proof-of-Work і Proof-of-Stake. Паливо і ціна на нього
- 12:12-15:06 Основні застосування крипти. Decentralized Finance aka DeFi: (Market Makers aka MM, Order Books, Automated Market Makers aka AMM, похідні фінансові інструменти, позики і страхування). Decentralized Autonomous Organization aka DAO. NFT. Зберігання даних. Корпоративні/закриті блокчейни
- 15:06-18:16 Наскільки децентралізовані “децентралізовані блокчейн системи”? Флешбечимо до епізоду №20
- 18:16-18:52 Як ми обирали історії для випуску
- 18:52-21:34 Хтось заплатив 2.6млн $ за переказ 130$. Лінк
- 21:34-24:18 Продаж Bored Ape NFT за 0.75 ефіра замість 75 ефіра через помилку у формі продажу. Лінк
- 24:18-25:30 Новий правопис і назва “Етер”
- 25:30-29:30 Нульова адреса в блокчейні, яка має 11.5к ефірів. Коментарі до транзакцій на сайті etherscan. Аналогії з example.com
- 29:30-32:43 Стандарт ERC20 токенів. Пост-мортем одного проекту, де замість віднімання токенів у словнику-лічильнику токенів, було присвоєння. Посилання на саме цю багу закопано в інтернеті, але перелік мав більше однієї проблеми
- 32:43-36:01 Конфлікт децентралізації і регуляризації. Адмін-адреси і замороження гаманців/транзакцій після ґаків чи по запиту представників правопорядку.
- 36:01-45:44 DAO hack. Із-за вразливості, 15% всього ефіру (тогочасного) були під загрозою крадіжки від зловмисника. Як результат, hard fork і розділ на Ethereum і Ethereum Classic
- 45:44-48:30 Враховуючи попередню історію, наскільки це все “надійно” і коли стане ліпше. Єдине правильне використання крипти — https://savelife.in.ua/donate/#donate-army-crypto
- 48:30-54:45 Parity Multisig. Неініціалізований бібліотечний контракт привів до заморозки коштів на 500k ефірів на ~577 гаманцях. Лінк
- 54:45-56:50 Незмінюванність контрактів на ефірі. Паттерн з проксі-контрактами
- 56:50-1:05:14 Ґаки в крипті. Ronin hack і крадіжка 625M$. Уроки з цього ґаку і рефлексія про стан розробки під блокчейн. Прохання від простих користувачів до ґакера поділитися награбованим. Лінк
- 1:05:14-1:10:48 Ґак Poly network на 610M$. Драматичний розвиток подій з поверненням грошей, Q&A сесією і винагородою для ґакера. Лінк
- 1:10:48-1:12:40 Етап ICO (Initial Coin Offering) у ефіра
- 1:12:40-1:14:22 Prodeus як приклад поганого ICO. Обіцянки революціонізувати овочево-фруктову галузь і подальший “дефейс” сайту. Лінк
- 1:14:22-1:18:04 Мнемонічна фраза с туторіала в публічному доступі дає доступ до аккаунта, на який хтось перевів 10 ефірів(~40k$ на той час). Etherscan
- 1:18:04-1:24:35 Tornadocash - міксер на ефірі. Що таке міксер? Накладання санкцій американським казначейством на цей криптопроект, “відлучення” від популярних API. Лінк
- 1:24:35-1:28:20 Підбиваємо підсумки
- 1:28:20-1:30:21 Outro

Музика: https://www.streambeats.com/ | @stas_gee

Опівночні Балачки №23: Stable Diffusion – вбачаємо образи в шумі

🍎 Apple Podcasts 👉тут👈
〰️ Spotify ✋ он де
🎧 Інші платформи тицяй
👁 Youtube (цього разу місцями з ілюстраціями) 🔗 тут

Тайм-коди:
- 0:0-0:30 Дисклеймер
- 0:31-1:10 Про що цей епізод?
- 1:11-4:45 Які свіжі моделі вміють у text -> image? (Спойлер: midjourney / stable diffusion / dalle-2 / parti / imagen / dalle-mini aka craiyon). Якими можна погратись безкоштовно?
- 4:46-15:10 Що таке архітектура encoder-decoder, латентне представлення, задача прибирання шуму
- 15:11-21:00 Поглянемо на механізм роботи дифузійних моделей (diffusion models) з висоти польоту птиці — що лякає Сашу? Важливість апскейлінгу. Обсяги дата поінтів коли працюємо на хайрез картинках
- 21:01-24:28 Задачі, які можна вирішувати такими моделями — інпеінтінг, скетч в картинку, текст в картинку, різні стилі — чому страждають художники? Професіонали залишаться професіоналами!
- 24:29-32:35 Юзкейси і штуки які вже роблять: плагіни для фотошопу, інструменти для колажів, відео, етс – як AI допоможе вам виграти $300
- 32:36-36:26 Як відбувається сучасна інтеграція людини та машини — чи досі актуально використовувати для цього “морзянку”?
- 36:27-43:28 Кому дадуть $600k на опен сорс? Тренуйте правильні моделі! Аромат комунізму. Федеративне навчання — розв’язок?
- 43:29-46:28 Суперкомп’ютер КПІ не допоможе вам натренувати свою дифузійну модель
- 46:29-58:42 Гуманізація моделей. Всередині dalle-2 є прихована language model! А фейсбук боти трейдили і "вигадали приховану мову"
- 58:43-1:03:59 Яка модель генерує найгарніші зображення? І чи зможе якась з них зрозуміти концепт швайнокарася? 9/11 у світі AI
- 1:04:00-1:04:22 Які дипломні роботи будуть писати люди в КПІ?

Музика: https://www.streambeats.com/ | @stas_gee

Обкладинка згенерована Stable Diffusion (ну і прогнана через super resolution модельку ще)

І нас тепер 100 у цьому каналі. Уііі 🎉 Що за день. Дякую кожному і кожній 🤝

Поки наступний випуск кується і монтується, можемо запропонувати разом з нами поностальгувати, як у випуску №12 ми говорили про Дата Меш. Для цього можна почитати пост на DOU з переказом основних тез, в цей раз більш структуровано 👉ось тут👈.

І лише поціновувачі аудіо версії дізнаються, що ми розповідали про Data Quality інструменти і більш детально про дата інженерів і їх пайплайни

👋 Привіт! Дякую, що з нами. Мініопитування: накидайте коментарем під цим постом теми чи новини, тейк на які ви хотіли би почути від нас в найближчому новинному випуску. Можна навіть голосовухами спробувати, як пощастить, то так і вставимо в випуск 🎙.

Картинка для привертання уваги, але телеграм - жук і забороняє багато тексту під картинку, ще й з посиланнями

Опівночні Балачки №22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

В гостях – Олександр з Zalando
🍎 Apple Podcasts 👉тут👈 (і спотік-молодець)
🎧 Інші платформи тицяй
👁 Youtube дзеркало 🔗 тут

- 00:00-00:30 Дисклеймер
- 00:30-01:50 Інтро і 🇩🇪Data See
- 01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
- 02:31-04:00 Звідки назва? Дельта формат і дата лейк
- 04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
- 08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
- 10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
- 13:40-14:46 Неструктуровані дані і дельта лейк
- 14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
- 15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
- 18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
- 19:28-22:15 Як дельта лейк працює на запис
- 22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
- 34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”. Змагання по швидкодії
- 35:59-36:26 Милі котусики сперечаються, хто кого більше любить
- 36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
- 42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
- 44:47-47:37 Зручніть розгортання копій таблиць
- 47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
- 48:57-50:00 Заглядаємо в саму суть дельти ака висновки
- 50:00-51:34 Outro

Twitter: @O_Balachky
TikTok: @o_balachky
Музика: https://www.streambeats.com/ | @stas_gee

Опівночні Балачки pinned a photo