TGViewer
Channel Public Channel
There will be no singularity

There will be no singularity

@nosingularity

Smartface, technologies and decay
@antonrevyako
Subscribers
1.96K
Photos
258
Videos
15
Links
1K

Showing posts older than #851 · Back to latest

Older Posts 20 shown
Post #849 2.15K
Ребята из JUG опять что-то мутят :) На этот раз про бигдату с джавой.



26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java.

На «IT_One Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты.

В программе:
— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;
— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;
— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.

А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁

Участие бесплатное, нужно только зарегистрироваться.
Post #848 1.67K
Алекс поделился историей про саппорт aws:
https://t.me/devfounder/112

Для меня недосягаемой вершиной саппорта всегда был Рокетбанк.
Без булщита, с живыми людьми, которые говорят с тобой на одном языке.

Вот тут коротенько написано про них.

С чем категорически не согласен, так это что саппорт это _дешевая_ замена маркетинга. Хороший саппорт - это, сцк, очень дорого.
Telegram .и в продакшен Лет восемь назад у нас взломали AWS-аккаунт и запустили гору GPU-виртуалок для криптомайнинга. Из-за чего месячный счет за одну ночь вырос c 200 баксов до $50к. У нас не был куплен платный "саппорт", мы не были большим и важным клиентом (скорее наоборот,…
Post #847 1.78K
​Firebolt зовут на Product Showdown 25 августа

Но внезапно обнаружились записи весенних сессии
https://vimeo.com/522252264
https://vimeo.com/511021032

Коротко:
- Архитектура Snowflake-like - хранение на s3, независимо запускаемые compute инстансы + слой оркестрации и метадаты.

- Хранение данных очень похоже на clickhouse: колонки, партиции и сжатие.
Колонки сортируются по PRIMARY KEY в пределах партиции (видимо). Для тех, кто не знаком с clickhouse, замечу, что PK в данном случае не имеет ничего общего с уникальностью. Это sparse index, который определяет поля, по которым будет проводиться сортировка (в пределах партиции).

- Есть еще 2 типа индексов - aggregated и join.
Aggregate похож на materialized view. Но это не точно: https://vimeo.com/512940949
Join похож на... обычный индекс: https://vimeo.com/512937916
Пока индексы нужно создавать вручную, но потом система сама начнет их рекомендовать. Почему не делать автоматически - хз.

- Есть ДВА доступных движка: read/write для general purpose (ETL) и read only для data analytics.
Движки выбираются в специальном интерфейсе (а не из SQL, как ожидалось бы) и запускаются на EC2 инстансах, размер которых нужно выбрать до запуска. Можно указать auto-stop период для каждого инстанса: 20 минут/час/никогда.

- Упоминается Firebolt ETL на SQL.
Из уникальных фич: импорт из kafka.

- Заявляется в 10 раз более эффективное расходование ресурсов aws.
$16 snowflake vs $1.54 firebot. Табличка сравнения содержит запросы #1, #2, #3, #4 и #5. Что бы это ни значило....


- Вопрос из зала #1: чем вы отличаетесь от snowflake?
- во-первых, мы быстрее
- во-вторых, мы даем вам больше свободы выбора железа
- в-третьих, мы дешевле

¯\_(ツ)_/¯

- Вопрос из зала #2: какой дилект SQL вы поддерживаете?
- Postgre-sh

- Вопрос из зала #3: сколько времени занимает изменение размера compute-инстанса?
- 2-3 минуты


Формально получается, что firebolt - это оркестратор managed баз.
Скорее всего только Posgresql. В разделе про неструктурированные данные идет речь о функции unnest, которая есть, кажется, только в Posgresql и BigQuery.

Еще возникают интересные вопросы, например, об уровне изоляции транзакций в read/write движке. Теоретически, его же можно применять не только для ETL.
Можно же, да?..

Пока рано говорить об удобстве использования, но выбор движка в интерфейсе, 3 настройки автостопа, и запуск инстанса за 2-3 минуты заставляет приуныть...
Post #845 1.58K
​Известного в 80-90х годах музыканта, когда он в сотый раз поехал с турне «лучшее за 30 лет», спросили, не собирается ли он написать новых песен, а то сколько уже можно?

Он ответил: «новые песни пишут те, у кого старые плохие»

Вот и Егор иногда стряхивает пыль со своих нетленок:

ActiveRecord Is Even Worse Than ORM
Post #844 2.36K
@здец подкрался незаметно, хоть виден был из далека...

Сложно это признавать, но не только таксистов и продавцов со дня на день заменят железные болваны, но и нас с вами. Нас, это нас - программистов, верстальщиков, тестировщиков. Всех.

Вы хочите пруфов? Их есть у меня:

https://www.youtube.com/watch?v=Mc-gWblq7K4

Ничего не будет. Ни кино, ни театра, ни книг, ни газет – одно сплошное телевидение.

Пользуясь пятницей, предлагаю отправиться в запой. В этом нас AI пока не догнал.
Но это только ПОКА...
YouTube OpenAI codex. Обзор за 15 минут. Что может делать ИИ сегодня? // Айтишники OpenAI codex - https://openai.com/blog/openai-codex/ OpenAI twitter - https://twitter.com/OpenAI Артем Ерошенко и Всеволод Брекелов поделились впечатлениями о новой разработке Open AI codex, которая умеет генерировать код и запускать его, анализируя контекст.…
Post #843 2.17K
There will be no singularity Oracle придумал ускоритель для managed mysql в своем облаке (HeatWave): oracle.com/mysql/heatwave/ Это такая in-memory ai нахлобучка, что бы все было быстрее. For analytics workloads, HeatWave is 6.5X faster than Amazon Redshift at half the cost, 7X faster…
Из нашего чатика:

https://twitter.com/andy_pavlo/status/1425277882935488518
Twitter Andy Pavlo Oracle's @MySQL Autopilot announcement is impressive. Lots of interesting things in the video. They are using ML to generate recommendations for design tasks (provisioning, placement). From what I can tell, they are not picking indexes or tuning knobs. y…
Post #842 4.7K
​Хозяйке стартаперам на заметку: в B2B все происходит ОЧЕНЬ долго.

Многие из вас знают, что мы разрабатываем несколько продуктов - holistic.dev, parsers.dev и dwh.dev

У holistic.dev есть интеграции со всеми основными клауд провайдерами в РФ.

Они сделаны в виде FaaS (function as a service) только по одной причине - облакам некогда заниматься такими интеграциями.

Но ребята из MCS (облако mailru) оказались наиболее легкими на подъем и запилили интеграцию для своих managed баз прямо к себе в админку.

Таймлайн выглядел так:
- 2020 весь год. Я ищу контакты в MCS
- 2020 декабрь. С первого разговора с нужным человеком MCS принимают решение об интеграции
- 2021 февраль. Интеграция готова
- 2021 март. Я узнаю о том, что интеграция готова, мы начинаем общаться о промо материалах
- 2021 апрель. Я рассказываю об интеграции у себя в канале
- 2021 июнь. Мы общаемся о промо материалах.
- 2021 август. Промо выходит в медиа каналах mail.ru (Новость на сайте и в телеге)


Собственно, это была подводка к новости - про нашу интеграцию с MCS объявлено официально, ура! :)

PS: если решите делать B2B стартап, ищите sales-кофаундера сразу....
Post #841 2.58K
Oracle придумал ускоритель для managed mysql в своем облаке (HeatWave):
oracle.com/mysql/heatwave/

Это такая in-memory ai нахлобучка, что бы все было быстрее.

For analytics workloads, HeatWave is 6.5X faster than Amazon Redshift at half the cost, 7X faster than Snowflake at one-fifth the cost, 9X faster than Google Big Query at one-fourth the cost, 3X faster than Azure Synapse at one-fifth the cost, and 1400X faster than Amazon Aurora at half the cost. For mixed workloads, HeatWave delivers 42 times better price performance than Amazon Aurora.

Как понимаю, это что-то похожее на ottertune.com от Andy Pavlo.
Мне кажется, что что-то похожее есть в самом оракле уже года 3-4. Но это не точно..
Oracle Quickly Develop Cloud Applications with Heatwave MySQL Oracle MySQL Database Service is a fully managed database service with an in-memory query accelerator–HeatWave.
Post #838 1.91K
Наша постоянная рубрика чего только эти зумеры ни придумают everything is saas:

secfi.com

We are a team of equity experts 100% focused on helping startup employees understand, maximize and unlock the value of their stock options and shares.
Post #837 1.55K
Если вам вдруг интересно про snowflake, но в наших чатах вам сидеть не хочется, то вот канал со snowflake-новостями

@snowflake_daily
Post #836 1.67K
Facebook похвастался своей key value (largest strongly consistent, geographically distributed) базой zippyDB на основе rocksDB, которую они пилят с 2012:

https://engineering.fb.com/2021/08/06/core-data/zippydb/

Похвастался, но сорцов не дал.

О чем тогда новость?

А новость о том, что уже есть (еще один) serverless REDIS с таким же названием, криповым лендом и зарегистрированной торговой маркой:
zippydb.com

Его зарегали в 2014.

Конечно же это всех запутало :)

Смешно будет, если они начнут судиться из-за названия бд…
Engineering at Meta How we built a general purpose key value store for Facebook with ZippyDB ZippyDB is the largest strongly consistent, geographically distributed key-value store at Facebook. Since we first deployed ZippyDB in 2013, this key-value store has expanded rapidly, and today, Zi…
Post #834 2.07K
​​Вот есть managed redis (upstash.com), но почему еще никто не сделал managed sqlite?…

UPD: конечно же не managed, а serverless
Post #832 5.55K
​Клабхаус (извините) открыл регистрацию для всех, без инвайтов.

Но дело его живет!
Если вы думаете, что оценка snowflake в $70B при выходе на IPO это верх хайпа в мире баз данных, то нет, появился еще претендент.

Знаете, есть такие коктейльные бары, в которые пускают только тех, кто в теме. Такие бары называются speakeasy. Со времен сухого закона в США, когда бары располагались за секретной дверью в глубине парикмахерской.
В Москве есть бар "Чайная", который находится в подвале в одной из подворотен около Белорусского вокзала.
В Куала-Лумпуре вход в такой бар был стилизован под электрическую подстанцию.

Так вот, теперь есть speakeasy клауд база данных!

firebolt.io

Зарегаться в ней можно, только если докажешь, что тебе очень надо!
Да, именно. Вы должны доказать, что вам надо. Не наоборот.

Нужно созвониться с сейлзами, восхитить их длинной своих пайплайнов и размером хранилища.
Мне, например, не удалось. Меня послали в конец очереди ждать паблик релиз в конце этого года.

Но все это не помешало компании с двухлетней историей поднять $164m инвестиций.

О, этот "а чо, так можно было?" moment.

Единственное что я понял, там бай дизайн есть несколько разных движков под разные нагрузки, которые можно выбирать в зависимости от того, что вы ходите сделать.
Так же в демке я заметил очень прикольные штуки:

CREATE AGGREGATE INDEX agg_ind ON fact_round (
game_code,
player_code,
count(distinct round_id),
sum(credit),
...
)
и

CREATE JOIN INDEX join_games_ind ON dim_games (
game_code, -- join column
game_studio, -- dim column
game_currency -- dim column
)

Похоже действительно пришло время подумать о своей базе данных...
Post #831 1.57K
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →