Доброго послепраздничного утра всем!

Все начинается с простого. Так подумал Rohit Patel, руководитель отдела по работе с данными в Meta* GenAI, и принялся объяснять, как работают большие языковые модели с помощью базовой арифметики. Цель статьи — демистифицировать LLM, сделав концепции доступными для всех. Несмотря на название, легким материал не назовешь. Автор рассказывает о структуре и обучении нейронных сетей и разъясняет, как машина может угадывать и генерировать предложения. Если вы давно порывались разобраться в теме, статья станет хорошим началом для первого погружения.
* деятельность организации запрещена на территории РФ

Один крупный региональный банк выкупил банк поменьше и собирается объединить две клиентские базы. Дата-инженеры переглянулись — задача ведь со звездочкой. Во-первых, нужно учесть пересечение клиентских записей. Во-вторых, избавиться от уже имеющихся внутри систем дубликатов — повторных записей с ошибками, опечатками и устаревшими данными вроде девичьих фамилий. При этом нужно умудриться не объединить братьев-близнецов с созвучными именами. В-третьих, не допустить ошибок, переписав кредит на другое имя. Ребята из HFLabs решили задачу за три месяца. Их алгоритм способен за час найти дубликаты среди 100 миллионов записей.

Опытные дата-аналитики знают все про хранение и версионирование кода, понимают разницу между Git и GitHub, правильно форматируют SQL-запросы и шарят за CI/CD. Слишком много новых слов? Не унывай! Настя Кузнецова и Дмитрий Аношин подготовили две статьи о том, как работать с SQL-запросами. Первая статья объясняет, почему хранить варианты кода в виде файлов на Google Диске — плохая идея. Вторую можно назвать гайдом по работе с Git применительно к SQL-запросам.

#дайджест