На прошлом стриме разобрал:
🔤 Как собрать детализированную семантику на любых иностранных языках, на которых вы не знаете ни слова.
На следующем эфире во вторник 14 мая в 19:00 по МСК разберу:
🔣 Как быстро обработать, очистить и сгруппировать зарубежную семантику, не зная ни единого слова ни на одном из иностранных языков.
———
Также рассмотрим 18 способов ускорения выполнения больших сложных запросов из множества шагов в Power Query (далее — PQ).
Обрабатывать буду большой объём данных:
🔥 320 файлов выгрузок из планировщика ключей Google Ads.
🔥 575 тысяч фраз с учётом дублей.
🔥 70 тысяч уникальных фраз.
———
Что за 18 способов оптимизации запросов PQ?
1️⃣ Функция DIVIDE с проверкой на ошибки в вычисляемых полях сводной таблицы по модели данных.
2️⃣ Вычисляемые поля с обращением к столбцам из разных таблиц в модели данных.
3️⃣ Связи таблиц по уникальным значениям в модели данных.
4️⃣ Индекс уникальных значений в таблице модели данных ("интовое" поле, от англ. "integer" — целое число, т.е. целочисленный тип данных).
5️⃣ Объединение таблиц по "интовому" полю:
✅ В модели данных.
✅ В Power Query.
6️⃣ Сводные таблицы, построенные из нескольких таблиц модели данных.
7️⃣ Сравнение скорости обновления запросов PQ при объединении таблиц по текстовому и интовому полю.
8️⃣ Сравнение скорости обновления сводных таблиц, построенных:
✅ По одной широкой таблице, в которой в PQ объединено несколько таблиц левым внешним объединением.
✅ По нескольким узким таблицам с уникальными значениями, связанными в модели данных по общему интовому полю.
9️⃣ Автоматическая лемматизация семантики для "схлопывания" в одну строку всех словоформ слов.
1️⃣0️⃣ Автоматическое разворачивание слов во фразах от А до Я для "схлопывания" в одну строку всех неявных дублей с другим порядком слов.
1️⃣1️⃣ Автоматическое удаление из фраз всех стоп-слов (союзов, частиц, предлогов, местоимений) для "схлопывания" в одну строку всех фраз со стоп-словами и без них.
1️⃣2️⃣ Уменьшение в расширенном редакторе запросов любого количества шагов запроса PQ до одного шага для многократного ускорения выполнения всего запроса PQ.
1️⃣3️⃣ Как грамотно причесать этот один шаг до читабельного внешнего вида, чтобы можно было потом ориентироваться в списке шагов и редактировать весь запрос PQ.
1️⃣4️⃣ Буферизация пользовательских библиотек данных.
1️⃣5️⃣ На каких шагах запроса PQ с анпивотом надо объединять таблицы, а на каких — нельзя и почему.
1️⃣6️⃣ Ошибка объединения таблиц по полю с неуникальными значениями.
1️⃣7️⃣ Единая схема нейминга запросов PQ и таблиц в модели данных, чтобы не путаться на всех этапах работы.
1️⃣8️⃣ Как при объединении таблиц исключить ошибку циклической ссылки на другие запросы.
Это далеко не всё, что касается оптимизации скорости выполнения запросов PQ и скорости обновления сводных таблиц по модели данных.
Если вы уже знаете, что такое ВПР, то объединение таблиц — это ВПР на героине в степени триллион.
Если не знаете — научитесь сразу продвинутому ВПРу.
На следующих ивентах все остальные шаги будем делать с учётом перечисленных выше продвинутых способов оптимизации скорости запросов:
⚡ Делать как можно больше преобразований в PQ, а не на листе Excel.
⚡ Объединять запросы по интовым полям.
⚡ Связывать таблицы в модели данных по интовому полю.
⚡ Строить все сводные по нескольким таблицам в модели данных.
⚡ Делать джойны таблиц перед анпивотом, а не после него.
Будете сразу учиться делать правильно и результаты обработки данных получать быстро, а не страдать и ждать вечность, пока обновятся все запросы PQ.
———
Дата: вторник, 14 мая.
Время: 19:00 по МСК.
Место: турбочятик.
Памписка: 10 000 ₽/мес.
Запись: будет.
———
Дисклеймер:
Специалистом по работе с базами данных я не являюсь. И я никто, чтобы учить с ними работать безукоризненно правильно.
Я лишь проживал страданиями на практике всё описанное выше.
Поэтому не могу не придать значимость всем этим вещам и не предотвратить в вашей жизни эти стрессы заблаговременно.
via @ppc_bigbrain
