5 минут работы, вошли и вышлиГде-то в конце июня я писал пост про то, что отрезал от текущего кластера старрокс половину дисков. И тогда была чем-то похожая на пост выше история - все таблицы были недоступны на чтение, мета отдавала невалидные значение, а репликацию и вовсе нельзя было посмотреть. Решился вопрос достаточно просто - восстановлением всех таблиц с данными из бекапа.
Логично предположить, что таблицы с технической метой (схема
information_schema) точно так же хранятся на основных разделах данных и скорее всего-то же будут испорчены. Тогда я не проверил конкретно эту таблицу, но по остальным решил об успешности проведения работ.
Копаться было интересно, потому что сработало нагромаждение багов. Когда делаешь запрос о судьбе запущенной задачи
SELECT state, PROGRESS, ERROR_MESSAGE FROM information_schema.task_runs where task_name = 'insert-3bf372bf-7a09-11f0-9446-1223cff75f84';
на самом деле идет обращение в совсем другую таблицу (на что я не обратил сначала внимания). И все попытки удалить существующие записи или выполнить транкейт этой таблицы task_runs утыкался в то, что такая операция невозможна.
Посидев, подумав, еще раз прочитав ошибку увидел, что запрос выше внутри превращается на самом деле в запрос
SELECT history_content_json FROM _statistics_.task_run_history
Не сообразив, что это обычная таблица я подумал, что придется чистить таблеты прямо руками с диска и выполнил запрос на получение этих самых таблетов для таблички (и кстати говоря на этом пункте дипсик врёт безбожно, но спасает дока)
SHOW TABLETS FROM _statistics_.task_run_history;
И результат вы можете увидеть выше :) Путь к таблетам неизвестен, но они точно в консистентном состоянии, прямо мамой клянусь :)
Ругнул себя в очередной раз за кубернетес, в котором удаление файлов таблетов на диске не такая уж тривиальная операция вдруг подумал - а что если это обычная OLAP таблица.
Раз, и delete по таблице сработал. Раз, и транкейт по таблице сработал. И сразу после этого все и заработало. Более того, каким-то образом там появилась задача от позавчера (после транкейта то...).
Паника снята, кластер работает штатно, таски показываются. Осадочек остался, но тут и сам наделал делов (а база это кстати переварила, за что ей честь и уважуха).
ST 
