LEFT JOIN

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
🔵 Dataform для BigQuery в общем доступе
Dataform – это сервис для аналитиков и инженеров данных, который дает возможность творить SQL-чудеса в BigQuery. Ранее доступ к нему был ограничен. Теперь же и вы можете контролировать версии с помощью Git и CI/CD, обновлять таблицы без ковыряний в инфраструктуре и управлять жизненным циклом кода.

🔵 Falcon 40B LLM – новая языковая модель от AWS
AWS представила новую модель, рейтинг которой на Hugging Face уже в числе самых высоких. Натренировали «соколика» на Amazon SageMaker с помощью 1000Б токенов. Модель с 40 миллиардами параметров и открытым кодом, так что ждем новых сервисов и продуктов на ее основе!

🔵 Vision Pro: $3,499 за очки дополненной реальности — будущее уже здесь?
Apple анонсировала новый продукт, пространственный компьютер для дополненной реальности Vision Pro, который способен филигранно обогащать реальную обстановку цифровым контентом. И интернет уже, конечно, переполнен обсуждениями этого релиза…

Личное мнение
Это крутой продукт с абсолютно новым подходом и парадигмой к набившему оскомину VR. Все предыдущие попытки создать шлемы VR исходили из идеи погружения нас в альтернативную цифровую реальность, Apple же идет другим путем — их аквалангная маска расширяет присутствие цифрового контента и в большей степени конкурирует с очень крутыми мониторами, на которых можно смотреть контент.

Но не без «но»
Смущают две вещи (естественно, помимо цены):
1) Два часа работы — это как-то очень мало, у розетки что ли с ним сидеть?
2) В концепции фильмосмотрения — это, конечно, идеальный девайс для социопата-эгоиста, который смотрит кино в одиночку.

Рекламные ролики, конечно, ввергают несколько в шок, особенно в моментах, где человек с надетым шлемом на голову общается с детьми — как-то это кринжово. И, в целом, эффект сериала «Черное зеркало» достигнут.

А у вас какие мысли на счет нового продукта? Будущее ли это? Интересно было бы попробовать? (мне — очень) 😎

Фишки, которые должен знать каждый пользователь ClickHouse
ClickHouse славится тем, что не тормозит и поддерживает SQL. Но не все знают, что правильная архитектура базы может ускорить выполнение запросов до немыслимого уровня.

В своем докладе генеральный директор компании Altinity (которая занимается консалтингом по использованию и настройке ClickHouse) Роберт Ходжес расскажет несколько лайфхаков, которые могут вам пригодиться при проектировании базы данных.

Мы хотим выделить 2 лайфхака, которые показались нам особенно полезными:
🔵Во-первых — трассировка запроса. Оптимизировать запрос крайне непростая задача, которая требует богатого опыта и интуиции. Не всегда понятно до конца, какие действия производит СУБД во время обработки запроса. К счастью, в ClickHouse есть возможность увидеть трассировку запроса, то есть последовательность действий, которые были выполнены системой.

🔵Другой лайфхак может помочь при построении таблицы для данных, у которых структура не очень строгая. Если заранее не известно, какой набор полей будет в каждой записи, можно воспользоваться массивами. В одно поле записывается массив названий различных показателей, в другое - массив значений этих показателей. Такое архитектурное решение удобно за счет богатого арсенала функций для работы с массивами.

Остальное, как всегда, в самом докладе на блестящем английском!
#краткий_пересказ

На чем держится весь мир анализа данных?
Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальные понятия и аспекты матстата.

Начнем с того, что с ростом любой компании растет и объем генерируемых данных. Но какой толк от данных, если их не анализировать?

Анализом данных, как вы и сами знаете, занимаются аналитики данных. Но что на самом деле он из себя представляет? Давайте вспомним азы статистики, на которых зиждется весь анализ, чтобы эта терминология у вас отскакивала от зубов, а все понятия прочно и однозначно закрепились в голове. Как говорится, чтобы если вас ночью разбудили и спросили, вы ответили без запинки. Или, что более вероятно, если вас спросят об этом на собеседовании в компанию мечты.

P.S. Если вам это все давно хорошо знакомо, то этим постом лучше поделиться с другом, ведь лучший подарок — книга пост из канала @leftjoin.
#основы_статистики

Orb: новый криптопроект от основателя OpenAI и Worldcoin
Сэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступление цифровизации общества на еще один шажочек своим новым проектом. OpenAI — это те самые, кто ChatGPT. А, если кто не знает, Worldcoin — это криптовалюта с собственным блокчейном и открытым исходным кодом.

Orb: прибор для сканирования радужки
Сфера стального цвета, которую вы могли видеть в новостях — это и есть Orb, устройство, которое, просканировав вашу радужку, присваивает вам World ID, своеобразный цифровой паспорт, и делает доступными любые web3 сервисы. Инструмент не хранит данные о радужке: он переводит их в код, который затем привязывается к конкретному человеку и, соответственно, конкретному кошельку.

Таким образом, криптовладельцам не придётся тревожиться о возможных потерях холодного кошелька или seed-фразы. Однако уже можно встретить и критиков проекта, которые метко подмечают, что для создания системы аутентификации и идентификации владельца кошелька необязательно сканировать именно радужку глаза, если она все равно шифруется в код.

«Особое мнение» все смотрели? Orb уже готов, осталось приделать ему лапки и отправить на поиски Тома Круза...

⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️
Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которой юридическая компания в качестве примеров для суда в рамках одного дела привела кейсы, полностью выдуманные ChatGPT.

🔵 Кратко
Адвокат Стивен Шварц в деле против авиакомпании, во время рейса которой получил травмы его подзащитный, в качестве примеров аналогичных судебных тяжб привел названия, описания и имена участников дел, сгенерированные ChatGPT. Чтобы упростить суду работу (или, возможно, разъярить судью), он даже сопроводил дело скриншотами из чата.

Все могло бы показаться невинным: человек мог не знать, что ChatGPT — не поисковик и не агрегатор информации, а инструмент на основе языковой модели. Но вся соль ситуации начинает «чувствоваться», когда, читая переписку адвоката и ChatGPT, ты понимаешь, что промпты, составленные первым, вероятнее всего, были очень качественны, так как ответы, данные вторым, полны деталей и уверенности в достоверности предоставляемых фактов. Так, на вопрос адвоката: «Точно ли это существующее дело?», ChatGPT отвечает: «Да, я проверил, это дело существует в надежных юридических базах LexisNexis и Westlaw».

Следующее заседание суда, которое даст характеристику действиям Стивена и сдвинет дело с мертвой точки разбирательств по поводу использования ChatGPT, пройдет 8 июня.

💬 А нам-то оно зачем?
А лишь затем, что вся эта история довольно поучительна: ChatGPT — это инструмент для генерации текста, кода, идей и прочего. Но использовать его, не проверив полученную информацию, — так себе идея и, вероятнее всего, будет в будущем наказуема согласно регулируемым законодательством канонам.

👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике

🔵 На радость таргетологам: чат с ИИ в Google Ads
На днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на основе вашего лендинга, изменить заголовок рекламы, чтобы он больше соответствовал поисковому запросу, собрать ключевики, подходящие под ваш продукт, и многое другое. Хочется верить, что рекламные таланты ИИ не навредят обычному пользователю Google и не сделают рекламу в поисковике чем-то, для чего нужен свой AdBlock.

🔵 Новая веха для NVIDIA: капитализация превысила $1 триллион
И все благодаря золотой лихорадке, распространенной спорами ИИ: Nvidia производит чипы для генеративных моделей, и именно это семейство продуктов позволило компании покрасоваться на почетном месте среди других лидеров рынка: Apple, Microsoft, Alphabet (материнская компания Google) и Amazon.

🔵 KDnuggets: подборка сервисов, позволяющих определить контент, написанный ИИ
Про то, как важно уметь писать тексты с помощью языковых моделей, мы уже писали. В своей подборке KDnuggets собрали 10 сервисов, которые могут помочь определить, написан ли был текст человеком или ИИ. Конечно, никто не дает 100% гарантий правильности постановки «диагноза», но на случай крайней необходимости можно попробовать.
#дайджест #под_утренний_кофе

Подарок подписчикам: SQL data-аналитик вместо вас на ChatGPT 🚀
Наслушавшись курсов про промпт-инжиниринг, мы c коллегой Егором собрали небольшое решение, которое будет писать SQL-запросы для вашей базы данных вместо вас.

Как оно работает?
Используя Jupyter ноутбук и ChatGPT API, вы сможете сгенерировать структуру вашей базы данных в формате JSON с помощью нашего скрипта. А затем, используя созданный контекст и описание БД, ChatGPT начнет писать SQL-запросы, как это делает любой аналитик, прошедший курсы Яндекс.Практикума.

Круто, где можно найти решение?
Код доступен в открытом репозитории, и каждый может забрать его себе. You’re welcome!

Кстати, про подобные фишки и примеры кейсов моей компании Valiotti Analytics я чаще пишу в своем LinkedIn профиле, поэтому подписывайтесь, чтобы быть в курсе всего самого актуального из мира англоязычной аналитики данных и генеративных моделей.

Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️
Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "IT-шниками не рождаются" и "Это считается». В этом выпуске Николай и гости поделятся тем, какой путь проходит выпуск от идеи до релиза, поделятся своими фишками и личным опытом.

Вы узнаете:
🔵Почему Николай записывал первые выпуски в душном автомобиле? 😢
🔵Как набрать аудиторию и монетизировать подкаст?
🔵Что значит быть подкастером? Сколько очков популярности это дает (и дает ли вообще)?
🔵Как успевать работать, жить и делать контент? Что мотивирует команду подкаста продолжать?
🔵Какие сложности есть в ремесле ведущего подкаста?
🔵Как сделать интервью с гостем интересным и избежать неловких пауз в разговоре?

Также наши гости обязательно поделятся “подкастерскими хитростями” с теми, кто только начинает свой путь в подкастинге. Включай эпизод и погружайся в закадровую жизнь вместе с нами! 🦜

Спикеры:
🔵 Алекс — подкаст Data Coffee
🔵 Ира Пилявская — подкаст Это считается
🔵 Беслан Курашов — подкаст IT-шниками не рождаются

Слушайте подкаст на платформах: Spotify, Spotify for podcasters, Apple Podcasts, Google, Yandex, Overcast, Mave, Castbox, Telegram (↓)

#подкаст #DataHeroes

☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию и угощаем вас порцией свежих новостей.

🔵 Microsoft Fabric: новый продукт на основе ИИ
На этой неделе разработчики из Microsoft анонсировали релиз предварительной версии своего нового детища, единой интеллектуальной платформы для хранения данных и аналитики Microsoft Fabric. Намеченный в преемники PowerBI, этот многофункциональный «тяжелоатлет» объединит в себе и пространство для данных, и платформу для управления моделями, и аналитический инструмент в рамках одного интерфейса.

Звучит неплохо, но не скажется ли это на перемещении задач с плеч инженеров на аналитиков? И как это повлияет на качество работы последних?

🔵 Meta: около 6К человек уволены
Еще с ноября прошлого года, когда Meta начала сокращать сотрудников (что диковинным образом совпало с датой релиза ChatGPT), каждая волна увольнений стала повсеместным инфоповодом. Конечно, число сокращенных сотрудников поражает, но и не стоит забывать, что это компания со штатом в более чем 70К человек по всему миру.

🔵 AiDIN от Alteryx: движок генеративного ИИ
AiDIN был анонсирован во время конференции Alteryx Inspire и в качестве своих возможностей предлагает свой потенциал ИИ для аналитики данных и обнаружения закономерностей. С точки зрения концепции выглядит как продукт будущего, включающий в себя основные достижения ML последнего полугодия: автомоделирование, обработка естественного языка, умный анализ локации, компьютерное зрение. И все это с содействием ИИ.
#дайджест #под_утренний_кофе

SETTERS MEDIA — издание для тех, кто согласен на будущее
На этой неделе наши друзья @setters вышли на совершенно новый уровень создания контента — запустились как полноценное медиа о будущем.

Медиа о будущем — что это?
Теперь их обновленном сайте будут выходить материалы в рамках четырех важных тем:
🔵 Дело — истории людей, которые выбирают делать: строить карьеру, запускать бизнесы и развивать команды.
🔵 Техно — будущее технологично, поэтому стоит внимательно следить за развитием технологий.
🔵 Тренды — чтобы понять, куда катится мир, нужно наблюдать за тем, что в этом мире обсуждается ярче всего.
🔵 Смыслы — то, чего всем нам не хватает — основные идеи в искусстве, психологии и культуре.

Причем тут все-таки будущее?
Ребята объединили темы, которые они будут обсуждать в телеграм-канале и блоге, единой философией. Их манифест — видео, которое правда стоит посмотреть, чтобы прочувствовать их посыл. Посыл заключается в следующем:
«Будущее в любом случае наступит. И нам с вами выбирать, каким оно будет. Для этого стоит наблюдать и выделять из хаоса происходящего действительно важные детали, тем самым его упорядочивая».

Звучит действительно здорово (даже заставляет остановиться и подумать о важном). Спасибо, @setters, теперь будем с еще большим интересом наблюдать за вашим проектом!

Новые вакансии по вашему запросу на сайте: Prompt Engineer
Ранее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многие из наших подписчиков находятся в России.

Если вы введете название вакансии «Prompt Engineer» в поисковую строку hh.ru и снимете ограничение поиска по городу, в котором HH вас «поселил», то увидите не менее 20 подходящих вакансий.

Сейчас может быть самое удачное время для того, чтобы освоить новые навыки и влиться в индустрию, пока многочисленные онлайн школы не начали выпускать «сертифицированных» специалистов.

А если кто-то уже успел занять свое место в нише, будем рады рассказам и инсайтам!