Но дедубликацию не простою (иначе просто бы взял replacing merge tree), а со сравнением с последним значением для данного ID и отбрасываниием новой строки если значение не поменялось (подобие vallid_from vallid_to табличи).
В умных местах это называют Slow Change Dimensions (SCD)
И посмотрел раз статью
Два статью
Закинул запрос в две группы по клику
И даже крутое видео нашел (где ксати рассказывается про почти похожее)
Но.... Ничего не получилось)) вот так вот)) Sad Story
Но было круто понять лучше кишки клика) рекомендую)). Особенно видео классное
Если кто-то сталкивался с похожей задачей и порядком величины нагрузки расскажите что делали))
Ps спасибо ВК видео что там нет контента, и у меня одни видео с hightload++