BigQuery Insights

​​Маємо в MacPaw відкриту вакансію Дата-інженера, кому цікаво подавайтесь:

https://macpaw.com/careers/middle_data_engineer

MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.

​​Anthropic автоматизували 95% аналітичних запитів всередині компанії через Claude з точністю роботи ~95%.

Тисячі SQL-запитів з дашбордів як контекст для агента дали менше 1% приросту точності, на відміну від Skills. Skill — задокументований workflow досвідченого аналітика: які питання уточнити, де шукати джерела, як виконати і перевірити. Проблема не в доступі до даних — в структурі й однозначності. Skills вирішили це: без skills: 21% accuracy, а з skills уже 95%+.

Деталі тут: https://bit.ly/43kFIaL

via @WebAnalyst

📊 Data Engineering — один із найшвидше зростаючих напрямів у роботі з даними. Попит росте швидше, ніж кількість спеціалістів, які реально мають необхідний скілсет.

Розберіться з Big Data, ETL/ELT, Spark, Airflow, Docker та AWS та опануйте трендову професію, — на курсі «Data Engineering» від robot_dreams.

За 20 занять ви:
– розберетеся зі скілсетом Data Engineer і ключовими інструментами
– навчитеся працювати з великими обсягами даних і будувати підходи до їх обробки
– зможете проєктувати повноцінні Big Data системи
– попрацюєте з Hadoop, Apache Spark, Airflow та іншими технологіями
– зрозумієте, як створювати рішення, які масштабуються

У результаті — зможете переходити від окремих задач до побудови систем роботи з даними.

Вас навчатиме Ілля Хороших — Data Engineer із досвідом у Lyft, EPAM, Luxoft. Працює з системами, які обробляють терабайти даних і масштабуються на мільйони користувачів.

Старт: 13 липня

Деталі, програма та реєстрація ⬅️

​​Ймовірність смерті протягом року починає перевищувати 1% у чоловіків приблизно з 44 років, а у жінок - з 60.
Рівень 2% досягається у чоловіків з 55 років, у жінок - з 68. У похилому віці різниця поступово зменшується, і приблизно у 94 роки показники стають майже однаковими - близько 25%.

Це я рахував на основі відкритих даних статево-вікового розподілу населення України за 1989–2022 роки.

Більш детально про це - у моїй статті про моделювання демографії України (писав її ще раніше, але вона досі актуальна).

@BigQuery

​​Досліджую тему використання Claude Code/Codex для data analysis і поки головний висновок такий: AI дуже серйозно трансформує не тільки роботу інженерів, але й аналітиків.

Наткнувся на оглядовий розбір архітектури, де всередині Claude Code зібрали AI data analyst, який без Python, SQL і взагалі без коду проходить повний цикл аналізу: формулює питання, досліджує дані, валідовує висновки, генерує графіки і збирає презентацію.

Що там особливо цікаво:
— вся система — це 15 agents і 12 skills
— все зберігається у markdown-файлах
— agents роблять роботу
— skills задають стандарти якості
— вся логіка керується одним CLAUDE.md
— кожен feedback покращує всю систему.

Але відкритими лишаються дуже практичні речі:
— хто валідовує результати
— хто будує реальний product/business context
— хто пріоритизує, що взагалі варто аналізувати
— хто не дає організації потонути в десятках AI-висновків, які звучать переконливо, але нікуди не ведуть :)

Нажаль, стаття крім самої ідеї цінності особливо не несе, але якщо вам цікаво — то посилання буде в коментарях :)

Якщо хтось бачив в open-source схожі архітектури або детальні покрокові мануали як зібрати таку систему — діліться в коментарях!

via @WebAnalyst

​​Claude AI - моє головне відкриття цього року.

Написав статтю про те, як за допомогою Claude можна значно спростити реалізацію складних технічних рішень - на прикладі моделювання кривої оплат підписки (resubscription).

Якщо коротко, Claude не просто генерує код - він:
- розуміє складні наукові статті,
- допомагає перекласти їх у робочу модель,
- і робить це буквально за секунди.

У моєму кейсі - функція, яку я намагався реалізувати різними способами, була згенерована і запрацювала майже одразу.

В статті показав:
- як я перейшов від простого curve fitting до probabilistic model,
- як реалізував це в Google Sheets,
- і додав сам код з інстукцією для використання.

@BigQuery

🔥 Вважаєте себе гуру BigQuery?

Вийшла крута стаття про неочевидні фічі GoogleSQL, які часто ховаються десь у чейнджлогах, але суттєво спрощують написання запитів:

🔹 GROUP BY ALL — базовий розігрів, більше ніяких GROUP BY 1, 2, 3. Усе підтягується автоматично.
🔹 UNION ALL BY NAME — порядок колонок більше не має значення, об'єднання йде суворо за їхніми назвами.
🔹 Ланцюжкові виклики функцій — тепер код можна читати зліва направо: (name).TRIM().REPLACE(' ', '_').UPPER() замість незручних вкладених дужок.
🔹 MAX_BY або ANY_VALUE(... HAVING MAX ...) — ідеальна й лаконічна заміна громіздким віконним функціям з ROW_NUMBER().
🔹 Вирази WITH у SELECT — дозволяють створювати проміжні змінні прямо всередині SELECT, щоб не роздувати код непотрібними CTE.

🔗 Детальніше та з прикладами коду: https://blog.querylab.io/so-you-think-youre-a-bigquery-power-user-11e1e2334896

​​🚀 Google BigQuery запускає Global Queries!

Тепер можна виконувати SQL-запити до наборів даних, що зберігаються в різних регіонах (наприклад, США та ЄС), в одному запиті — без складних ETL-процесів і ручного переміщення даних, як це було раніше.

@BigQuery

🚀 Тижневий радар: ШІ в BigQuery та нові правила Privacy

Привіт, дата-гіки! ☕️
Цей тиждень приніс важливі оновлення як у Google-стеку, так і в глобальному ландшафті аналітики. Зібрали головне з посиланнями.

🌐 Загальні тренди індустрії

• Privacy Sandbox та Cookies: Chrome продовжує оновлювати підходи до приватності. Поки індустрія адаптується до стратегії "User Choice" замість повного відключення, важливо слідкувати за офіційним таймлайном.
🔗 Джерело: The Privacy Sandbox Timeline

• Server-Side Tracking стає стандартом:
Кількість впроваджень sGTM зростає. Це вже необхідність для обходу блокувальників та покращення швидкості сайтів.
🔗 Джерело: Google Server-side Tagging Docs

• Альтернативи (Matomo & Piwik PRO): Платформи оновили свої модулі для роботи з Google Consent Mode v2, щоб відповідати вимогам Digital Markets Act (DMA).
🔗 Matomo: Matomo & Google Consent Mode v2 FAQ
🔗 Piwik PRO: Piwik PRO Consent Manager Updates

🤖 Google Екосистема: AI та BigQuery
• BigQuery Data Engineering Agent: Новий ШІ-помічник на базі Gemini, який допомагає будувати пайплайни даних "під ключ", доступний у прев'ю.
🔗 Деталі: Exploring the Data Engineering Agent in BigQuery

• GA4 ➡️ BigQuery (Recurring Jobs): Оновлений Data Transfer Service дозволяє налаштувати регулярний імпорт даних без написання скриптів.
🔗 Документація: BigQuery Data Transfer Service enhancements

• Якість даних у GA4: Система тепер чіткіше підсвічує проблеми з даними (Data Quality Icon) безпосередньо у звітах.
🔗 Довідка: GA4 Data Quality Identification

💡 Інсайт тижня
• Key Events (Ключові події): Цей термін остаточно замінив "Конверсії" в інтерфейсі GA4 для звітів. Конверсії тепер — це виключно для Google Ads.
🔗 Пояснення: GA4 Key Events vs. Conversions

#WebAnalytics #PrivacySandbox #GA4 #BigQuery #ServerSide #DataNews

​​Третій армійський корпус проводить збір і дає можливість виграти квартиру.
Збір перевірений, усі кошти йдуть Третьому армійському корпусу. Доначу сам і вас запрошую.

Щоб взяти участь, задонать від 300 грн на збір «Герої районів» за цим посиланням

Більша сума - більше шансів виграти

▫️ 300 грн — 1 шанс;
▫️ 900 грн — 3 шанси;
▫️ 3000 грн — 10 шансів.

📌 Якщо донатиш не з картки ПриватБанку, обов’язково вкажи номер телефону чи інший контакт у коментарі до донату

@BigQuery

​​Шукаємо аналітиків в MacPaw:

- Product Analyst (Web + App),
- Product Analyst (iOS),
- Middle Data Engineer.

MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
Є можливість працювати віддалено.

@BigQuery

​​Інтеграція Earth Engine і BigQuery відкриває новий підхід до аналізу просторових даних.

Google зробив Earth Engine у BigQuery загальнодоступним (General Availability). Додали нову можливість у BigQuery Studio — візуалізацію геопросторових даних (географічні запити) безпосередньо на карті. Головна ідея: аналітики, які вже працюють із табличними даними в BigQuery, тепер можуть поєднувати їх із растровими шарами (наприклад, кліматичні, топографічні, змінювання земель) без складного ETL‑процесу чи окремої обробки в Earth Engine.

@BigQuery

🐍 Якщо Excel вже не тягне, а рутина поглинає години, які можна було б присвятити стратегічним завданням → час прокачати аналіз даних та знайти нові інструменти.

Навчіться ухвалювати рішення на основі повної, чистої та оновлюваної аналітики без залучення технічної команди — на курсі «Python для аналітиків» від robot_dreams.

Протягом 16 занять ви:
→ опануєте Python та ключові бібліотеки для роботи з даними: NumPy, Pandas, Matplotlib, Seaborn і Plotly
→ навчитеся створювати зрозумілі та інтерактивні візуалізації
→ збиратимете дані з API та вебу, працюватимете із зовнішніми джерелами
→ опануєте базову статистику, перевірку гіпотез і побудову прогнозів у scikit-learn та statsmodels
→ автоматизуєте збір, обробку та аналіз даних — без залучення розробників

📊 Наприкінці курсу напишете власну прогнозну модель та оформите аналітичний звіт, які додасте в портфоліо

Лекторка — Анна Шепелєва, Senior Data Analyst у Brainstack з 10+ роками досвіду в аналітиці даних.

Старт: 7 жовтня

Деталі, програма та реєстрація ⬅️

​​Цікава стаття про найм аналітиків

Автор стверджує, що вже у 2025‑му компанії повинні переглянути підхід до найму Data Analysts, якщо їхня основна робота — це написання SQL‑запитів і візуалізація даних. Якщо аналітики лише транслюють запити бізнесу в дані та звіти, але інфраструктура чи дані погано організовані, додаткові ресурси (найм) не дуже допоможуть.

Рекомендації автора:

- Інвестувати в Data Engineering: налаштувати чисті, організовані системи із грамотним потоком даних та зберіганням, щоб дані були доступні й готові до аналізу,

- Використовувати AI‑інструменти там, де це доречно, щоб зменшити рутинну роботу аналітиків: автогенерація SQL, автоматичні звіти, шаблони тощо. Але це працюватиме лише з правильно налаштованими даними й інфраструктурою,

- Змінити роль Data Analyst таким чином, щоб більше часу йшло на бізнес‑аналіз, інсайти, взаємодію з іншими відділами, а не просто на генерацію звітів,

- Підтримувати співвідношення Data Analyst : Data Engineer ≈ 1:1 або принаймні таке, яке забезпечує можливість синергування.

@BigQuery

​​Google відкриває реєстрацію на програму "Розвивайте кар’єру із Google Cloud"

Новий потік програми стартує 29 вересня 2025 року та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх, кому цікаві хмарні технології.

Учасники програми отримають:

✔️ 60 днів безкоштовного доступу до платформи Google Cloud Skills Boost.
✔️ Доступ до воркшопів від експертів Google Сloud та лідерів української ІТ - індустрії.
✔️ Брендовані нагороди від Google за здобуті бейджі навичок.
✔️ Безкоштовні ваучери на сертифікаційний іспит Google Cloud (навіть, якщо ви отримували його раніше).

🔗 Реєстрація на програму за посиланням!

​​Приклад оптимізації аналітичних рішень від Meta

Детерміністична вибірка — потужний інструмент для масштабованої аналітики: дозволяє обробляти менше даних заради часу та ресурсів, але зберігати релевантність аналітичних висновків.

Важливо мати чіткий дизайн вибірки, щоб забезпечити консистентність.

Завжди слід оцінювати, чи підходить вибірка для задачі: більшість дашбордів і аналітики може працювати із вибіркою, але для фінальних рішень чи офіційних експериментів — потрібні повні дані.

@BigQuery

​​Знайшов дві цікаві статі про LLM трафік:

- Як відслідковувати трафік з AI чат-ботів в Google Analytics 4 для сегментації (оскільки він може дещо спотворювати дані про поведінку користувачів).

- Дослідження глобального трафіку AI чат-ботів у 2025 році: порівняння часток ринку, регіональні відмінності та метрики залучення користувачів (трафік з LLM часто є значно ціннішим за традиційний органічний трафік через вищу залученість відвідувачів).

Якщо ви зустрічали хороший матеріал по цій темі — діліться ним в коментарях!

via @WebAnalyst

​​Google випустила Trends API (Alpha) — новий спосіб отримати доступ до даних Google Trends програмно, а не вручну. Це перший випадок, коли інформація про пошукову поведінку користувачів офіційно доступна через API.

📊 API відкриває 5-річне вікно даних і дає змогу:
— робити порівняння між десятками запитів
— масштабувати часові діапазони інкрементально
— отримувати статистику по днях, тижнях, місяцях, роках і регіонах
— будувати більш складні запити, ніж дозволяє веб-інтерфейс

Це дуже потужний інструмент для аналітиків, журналістів, дослідників і всіх, хто раніше страждав від обмежень UI або скрейпінгу.

🧪 API поки в Alpha, але можна подати заявку на участь: https://bit.ly/3UM2gwv

via @WebAnalyst

​​Google презентував нову можливість у BigQuery — Automated Data Insights Feature for BigQuery with Gemini Integration

Вона дозволяє:
• Генерувати запитання природною мовою та відповідні SQL-запити на основі метаданих таблиці,
• Допомагати аналітикам швидше виявляти закономірності, перевіряти якість даних та аналізувати статистику,
• Автоматично створювати описи таблиць і стовпців, що покращує документацію й спрощує пошук даних.

@BigQuery

​​Як за допомогою BigQueryML можна виявити фактори, які впливають на результати.

Contribution Analysis оцінює вплив окремих категоріальних змінних на зміну метрики. Автор наводить приклад аналізу змін у коефіцієнті конверсії між двома кварталами.

@BigQuery