Никита Федькин - мысли, заметки, анонсы

#умныйдом

Бэкапы в HA на RPi3, я, конечно же, настроил с первого дня. Только не успел подключить интеграцию с Google Drive, чтобы они сразу в облако летели. Но разве это проблема? Щас по SSH поключусь да через scp вытащу, делов-то. В смысле ssh недоступен?.. Не понял, а веб-интерфейс почему не доступен?.. Подключив третью малину к монитору я довольно быстро обнаружил, что у меня сдохла SD-карта. А точнее побился основной раздел с данными. Я не то чтобы удивился, ей лет 15 уже было. Просто досадно, что судя по логам она сдохла буквально в тот же день, как я все настроил на пятой малине. Видимо, такая вот IoT-месть. Тут очень пригодился USB-переходник для microSD-карт, с помощью которого получилось подключить раздел в ro-режиме без проверки журнала и вытащить последний бэкап. Греат суксес, подумал я, открывая интерфейс HA на RPi5 и нажимая на кнопку "Восстановить из бэкапа". Какой такой код шифрования бэкапов?.. Где его взять?

Уже представив, как мне все придется настраивать с нуля в HA, перерыв почты, телеграмы, гугл диск и прочие места, куда бы я мог записать требуемый код, и даже успев смириться с этой мыслью и развернув чистую HA, в настройках бэкапов я нахожу кнопку для скачивания кодов шифрования. Меня спасла моя привычка следовать инструкции на таких страничках и всегда, блин, скачивать коды восстановления, если тебя настройчиво просят. Вспомнив, что первую HA я настраивал с телефона, я обнаружил заветный код в папке загрузок, которую я чищу где-то раз в пару лет. Пора бы, кстати...

Ни за что не догадаетесь, что произошло через два дня. У меня подыхает ВТОРАЯ microSD-карта. Которая вот прям свеженькая, блестящая, из набора с пятой малиной. Причем на этот раз полностью - она не определялась как блочное устройство вообще. Прокляв умных дядь из интернета, я восстановил /boot раздел на NVMe-диске, и теперь система живет полностью на NVMe. Да, может быть она чуть медленнее загружается (на какие-то сотни миллисекунд), зато у меня больше нет microSD-карт, которые могут сгореть. Место проклятое, не иначе.

Провозившись какое-то время с переездом, я снова запустил Node-RED на уже новом и мощном HA и порадовался отсутствию каких-либо тормозов в интерфейсе. Я, правда, параллельно еще настройки сети менял, но об этом в следующий раз.

У опытных ассистантоводов может возниктнуть вопрос - зачем Node-RED если в HA и так есть родные средства автоматизации сценариев? Замечание справедливое. Все "простые" сценарии у меня прописаны в автоматизациях HA. На Node-RED выбор упал из-за наличия готовой библиотеки по общению с Tado и готовых примеров. Плюс сам Node-RED не привязан непосредственно к HA, поэтому в интернете можно найти информацию и вне информационного пузыря HA.

Так что там с отправкой показаний счетчиков в Tado? Знаете, а она просто взяла, и заработала. По аналогии я помимо текущих показаний, отправляемых каждый вечер, с помощью блока преобразования истории показаний датчика в поток событий и небольшого map-reduce, загнал в Tado и данные предыдущих дней. Правда оказалось, что этих исторических данных с учетом полуразваленной сначала RPi3, а потом RPi5 было всего на пять дней, но зато я изучил что-то новое.

На скриншотах показан Node-RED. На первом скриншоте - различные интеграционные "потоки" из блока Tado - получение access token (разовое и регулярное обновление), ежедневная отправка показаний и разовый сценарий выгрузки исторических данных. Пара скриншотов настроек различных узлов из этого потока. И на сладкое - начатжопитированный сценарий обращения к Google SDM API (это который про устройства), чтобы получить данные заряда батареи и преобразовать их в датчик, привязанный к дверному звонку. А то родная гугловая интеграция почему-то не отдает в HA данные батареи. Поток с SDM работает блестяще: работает авторизация, access-token из refresh-token получается, идет обращение к гугловому апи, разбираются результаты, публикация в автообнаружение датчиков по MQTT тоже работает. Есть только маааааленький нюанс. Гугловое апи не отдает данные батареи для звонка, работающего от батареи. Ну не сволочи ли, а.

Stay tuned.

#умныйдом

Отлично, теперь у меня есть показания счетчиков в HA. Xто там ChatGPT галлюцинировал по поводу ежедневной отправки данных в Tado по API?.. Ага, нечто под названием Node-RED. Ушел гуглить...

https://nodered.org

Node-RED - это low-code платформа для автоматизации. Что-то вроде https://n8n.io, только с заточкой под умный дом и IoT. Из приятного - имеет родную интеграцию с HA и MQTT, то есть может оперировать сущностями самого HA - сенсорами, устройствами, группами и т.д. И конечно же доступно в виде аддона к HA, то есть ставится одной кнопкой из магазина дополнений.

Вот только... памяти оно жрет хорошошечно. Мегабайт так 300 на холостом ходу. А на борту моей малины всего 1 гигабайт. Так что малинка явно начала задыхаться. Пообщавшись с Егором @Segate Ивановым и покурив логи, параллельно продираясь сквозь ощутимые тормоза интерфейса, было принято решение обновить железо. Я выбирал между Raspberry Pi 5 и какой-нибудь старшей версией Orange Pi 5, но остановил свой выбор на малине - больше сообщество, больше гайдов, больше готовых скриптов, софта, обсуждений. Пускай малинка и слабее, чем апельсинка за те же деньги, но остальные плюсы для меня перевесили разницу в железе.

В качестве подарка на день рождения (<3) мне приехал готовый кит (https://www.amazon.nl/Raspberry-16GB-RAM-PCIe-NVMe/dp/B0DSSZ1ZZD) из Raspberry Pi 5 на 16 гигабайт оперативной памяти (что бы с запасом), быстрой microSD-карты, переходника с microSD-ридера в формате USB (очень мне пригодился в последствии), набора кабелей и шлейфов, плата расширения для установки NVMe-диска и сам NVMe-диск на 500 гигабайт. Еще в наборе есть корпус, но пока малинка лежит без него, т.к. кажется, что в корпусе пережимается PCI-шлейф и диск уходит в read-only режим из-за ошибок. А без корпуса такого пока ни разу не случалось. Да и вообще корпус оказался так себе, металлические винты вкручиваются непосредственно в отверстия в корпусе, но... в них не нарезана резьба. Набор метчиков я как-то не взял в Нл. Не то чтобы он у меня был в России, но тут у меня его точно нет :D

Покумекав над требованиями HAOS и железкой в руках (и початжопитировав, конечно же), решил что шить HAOS целиком на железо будет слишком жирно. Особенно с учетом того, что HAOS очень не любит, когда на хосте оказываются какие-то сторонние докер-контейнеры. В интернете была найдена инструкция по установке Proxmox VE 8 - это такая система виртуализации поверх KVM и LCX-контейнеров для линукса - на Raspberry Pi. Из неприятного, хоть это и не PiMox и уж тем более не седьмой версии, коммьюнити-скрипты по установке чего-либо на проксмокс отказываются работать со словами "дядя, не запускай нас на PiMox". Видимо проверка по архитектуре процессора. ARM пока что официально не поддерживается проксмоксом, благо сила опенсорса и какого-то чувака из интернетов подарила нам порт проксмоска под ARM. Да и чего таить, мне очень хотелось пощупать проксмокс самому, еще когда в 2017ом году мне его Женя Бессонов показал в Пуле. Красивое (с)

Умные дяди из интернета (и дьявольский чатжпт) еще посоветовали систему перенести на NVMe-диск, а на SD-карте оставить только /boot раздел. Запись на карту в такой схеме происходит редко, а загрузка по не совсем понятной мне причине вроде как идет быстрее. Что-то там связано с драйверами дисков и системным загрузчиком. Несколько промучившись с корректной настройкой всего этого добра (автор идеи монтировать boot-раздел в каталог /boot/firmware вместо обычного /boot - я очень хочу посмотреть тебе в глаза. пристально.) система завелась, HAOS установился как отдельная виртуальая машина внутри проксмокса и радостно спросил у меня: "А где бэкап системы, батенька?"

✌ Пополнение!
Новый проект от rentgengl - onescript-kernel-jupyter!

Ядро onescript для jupyter notebook

📚 Язык: Python
🍴 Это форк: Нет
📜 Лицензия: Нет
📅 Дата создания: 25 апреля 2025г.

Не забывайте ставить ⭐ понравившимся проектам

Берегись, биг дата, оскрипт идёт!

#умныйдом

#умныйдом

На помощь приходит интеграция DSMR Reader, которая и преобразует сырые данные в формате DSMR в кучу различных сенсоров, связанных с потреблением света, газа, возвратом в сеть, и которые уже можно использовать дашбордах по электроэнергии. А положив пару yaml-файлов с шаблонами и вспомогательными объектами, я получил и специализированный под SmartMeters дашборд.

Дополнив систему данными по стоимости света и газа, теперь видно не только абстрактные киловатты и кубометры, но и вполне конкретные евроценты, разложенные на время. Когда появятся солнечные батареи и/или аккумуляторы, можно будет ещё и баланс потребления смотреть. Надо ещё с показаниями воды разобраться...

#умныйдом

Home Assistant (далее HA) - это платформа для построения системы умного дома.

https://www.home-assistant.io/

Её основное отличие от прочих систем - полностью автономная работа в вашей сети и на вашем же железе. При правильном подборе компонентов ваш умный дом может вообще не иметь доступа в интернет, но скорее всего вы захотите управлять умным домом с телефона или через веб-приложение, находясь вне дома. Например, убедиться, что у вас нет на плите никакого молока :)
Или по данным геолокации автоматически закрывать окна и выключать отопление, когда вы уходите из дома, и включать его незадолго до вашего прихода.

Для тех, кому неохота разбираться с собственным железом, есть два варианта - купить готовый кит их железки с предустановленным HA, либо платить за облачный сервис. Мне не хотелось остаться без умного дома в случае обрыва интернет-кабеля, поэтому я пошёл по пути разворачивания всего на железе.

В качестве железа из ящика была вытащена старушка Raspberry Pi 3 Model B с одним гигабайтом оперативной памяти на борту и microSD десятого класса на 16 гигабайт, давным давно подаренная другом на день рождения, но не нашедшая тогда применения. Саму HA можно установить в двух вариантах - либо как полноценную операционную систему (Home Assistant OS), в которой будет демон-супервизор, управляющий дополнениями, обновлениями бэкапами и прочими радостями жизни, либо в виде core-контейнера, вокруг которого всю ту же инфраструктуру накручивать самостоятельно. По пути наименьшего сопротивления и нехитрых манипуляций в консоли я превратил Raspberry OS в HAOS...

Я бы назвал интерфейс HA интуитивным. Прошли времена, когда устройства нужно было прописывать в yaml файлах, большинство операций доступно из графического окружения. Не прочтя ни строчки документации, я без проблем в режиме мышеклика завёл в HA и систему отопления по Matter (из коробки возможность добавить устройство в несколько экосистем, помните, да?), и три брэндированные лампочки из местных магазинов, которые на проверку оказались умными лампочками Tuya со связью через интернет, и сяомишный светильник, и все гугловые устройства. Удивительно, но даже камера от Aqara, далеко славшая Google Home подключилась через интеграцию с Home Kit устройствами.

Началась эра покупки сенсоров... Ещё раз внимательно посмотрев на наш умный счётчик, початжопитировав и сверившись со спецификациями, я заказал гейтвэй от SmartMeters https://smartgateways.nl/en/product/smart-meter-wifi-gateway/, обещавший работу через Wi-Fi и родную интеграцию с HA. Звучит здорово! Простите меня, любители собирать датчики на базе ESP и ESPHome, это пока слишком для меня :)
Слава стандартизации, гейтвэй действительно был просто воткнут в P1-порт, включился и поднял Wi-Fi сеть для подключения к себе (чего я совсем не ожидал от такой милипуськи). Админка позволила перенастроить его на домашнюю Wi-Fi сеть, показала текущие показания счётчиков газа и электроэнергии, и спросила: а дальше-то что? Куда слать?

Благо в комплекте с гейтвэйем была инструкция вида "хотите а, делайте то, хотите бэ - делайте это". Среди прочего там был вариант отправки показаний по протоколу MQTT - message queuing telemetry transport - эдакий легковесный RabbitMQ для умных устройств (да, я знаю, что amqp появился позже mqtt). Я уже был наслышан, что HA и MQTT хорошо дружат, поэтому пошёл по этому пути. А значит, мне где-то нужно развернуть MQTT-брокер.

Тут HAOS раскрывает себя в полной мере. Конечно, вы можете поднять брокер где угодно. Но в HAOS есть механизм дополнений (addons) - упакованных в докер-контейнеры и преконфигурированных сервисов, которые ставятся одной кнопкой из интерфейса. Один клик, и на порту 1883 поднимается Mosquito broker, а гейтвэй начинает рапортовать об успешной отправке данных в MQTT. Дальше раскрывается сила "интеграций" HA. Во-первых, встроенная интеграция с MQTT уже показала, что какие-то данные поступают и доступны в виде сенсоров. Но эти данные достаточно сырые, и в голом виде их использовать не очень удобно.

Это дивный новый мир пердолинга. Очень качественного и интересного.

#умныйдом

В родном приложении Tado (да, ещё одном) есть несколько интересных сервисов, вроде графиков работы каждой батареи, адаптации к погоде, детектора открытых окон... В общем, всякие интересности, которые очень хочется покрутить в API. Среди прочего там есть анализ расхода газа в разрезе комнат, на основании которого некий AI что-то там предсказывает и показывает. Но чтобы он точнее работал, желательно периодически вносить текущие данные потребления газа со счётчика. В идеале - ежедневно.

Я знал, что в наших счётчиках есть какие-то мозги, так как наша электрогазовая компания считывает показания счётчиков удалённо. Ну, может быть через автоматизации Google Home можно что-то сделать? Снова открыв ChatGPT, я стал его мучать на предмет того, как это можно автоматизировать. Узнал, что у нашего счётчика (слава распознаванию фотографий!) действительно есть мозги, и даже показания счётчиков можно снимать в формате DSMRv5, докупив специальный P1-адаптер, подозрительно похожий по своему разъёму на обычный телефонный провод, вот тебе ссылочки на доступные решения. Потом эти DSMR-данные легко отправить в MQTT-брокер, подключенный к Home Assistant, ну а там же автоматизациями загнать все это в Tado через их неофициальный API...

Да что такое этот ваш Home Assistant?!

#умныйдом

Matter оказался очень удобной штукой. Даже при отсутствии прямой интеграции между Google Home и облачным сервисом Tado (наша система умного термостата и умных вентилей на батареях), и сам термостат и вентили залетели в Google Home без сучка и задоринки. Мне, как человеку, у которого ещё совсем недавно было пять приложений для контроля за умными устройствами, возможность просто просканировать штрих-код и добавить устройство в абсолютно несвязанную экосистему умного дома, показалась просто спасением.

Почитатав немного про сам Matter, я узнал, что это новый-модный-блестящий протокол уровня приложения для передачи информации между умными устройствами и координатором умного дома. Его (протокол) разрабатывает консорциум из нескольких больших корпораций, его спецификация (версии 1.4.1 на момент проверки) в core-формате (то есть без прибамбасов) занимает 1100 страниц высококачественного pdf-чтива. И в качестве благой цели заявляется уход от вендор-специфичных вещей. В описании между строк читается, что это все для исправления накопившихся проблем в более старом протоколе под названием Zigbee. Короче, классическая ситуация с 14 конкурирующими стандартами (xkcd). Из интересного - чтобы получить плашку совместимости с Matter, нужно пройти вполне себе сертификацию. Как приятный побочный эффект - полный перечь совместимых устройств в разрезе типов и вендоров.

Вообще я всячески поддерживаю ситуации, когда крупные игроки объединяются, чтобы вместе создать что-то общее, хорошее и удобное всем. Так было с docker например, и CRIO. В итоге все игроки выиграли. Конечно же, через какое-то время появится Matter 2.0, а 1.x будет смотреться так же, как сейчас смотрится Zigbee 1.3 по сравнению с 3.0. Но когда это ещё будет.

В общем, моё знакомство с Matter начиналось плодотворно. Ещё в спецификации вентилей было что-то про Thread. Чуя что-то интересное, я пошёл гуглить дальше. Нагуглил, что Thread - это протокол сетевого уровня с низким энергопотреблением и возможностью организации mesh-сети. Да, все это уже было в Zigbee (сносочка для тех, кто уже опытный), но:
* мне нравится идея разделения протоколов прикладного и сетевого уровня
* Thread построен на ipv6 сетевом стеке, тогда как Zigbee построен на велосипедах
* Matter как протокол прикладного уровня работает как поверх Thread так и поверх Wi-Fi, то есть ваши устройства имеют чуть больше свободы в вопросах построения сети. (А ещё есть Zigbee2Matter bridge, но об этом чуть позже)
* Apple HomeKit тоже умеет работать через Thread, но единственное, что я знаю про HomeKit - это что он работает.

Вот только была одна загвоздка. Для построения Thread-сети нужен... Thread border router. Ну, как wi-fi-роутер, только для Thread :) Программно thread-антенну не сэмулировать, а значит, нужна новая железка. Почитав FAQ Tado я узнал, что у них есть свой собственный Thread X-bridge, но они могут работать и с любым другим Thread-роутером. Подумав, что нет смысла покупать привязанный к конкретному вендору термостатов девайс (умная мысль), в строющуюся вокруг Google Home экосистему я решил взять Google Nest Hub 2nd gen - умный дисплей с поддержкой Thread (неумная мысль).

Google Nest Hub 2nd gen оказался на удивление тупой и тормознутой железкой для своей цены, но свою задачу - организовать Thread-сеть - он выполнил. Параллельно я узнал, что в нем нельзя выключить трансляцию видео при проигрывании музыки из YouTube Music, за что Корпорации ЧегоТамОниСейчасУжеНеРазберешь я шлю порцию лучей поноса. Вентили же и термостат успешно подключились к Thread-сети. Правда, чтобы в этом убедиться, я изрядно помучал ChatGPT и форумы гугла. Прозрачность - не самая сильная сторона Google Home.

Читая про Tado и Matter, я периодически натыкался на упоминание Home Assistant. Но без контекста не было понятно, что это такое, и чем это отличается от Google Home и Google же Assistant внутри Google Home.

И да, если вы тоже хотите обсуждать умный осмос, на какой пин gpio можно повесить фотоэлектрический датчик для снятия хим реакции, или просто тонкости разводки умного реле в квадратном подрозетнике, Костя Редькин создал чятик:

https://t.me/+x9vyets5QMw2YTRi

#умныйдом а я нет

Хочу начать серию постов про обустройство умного дома. Ну... Или пока просто дома с некоторым количеством умных устройств.

Я ещё в самом начале пути, до дашбордов в графане и сценариев вида "не выключать свет в туалете, если поднята крышка унитаза" (реальный кейс с сайта Aqara между прочим) далеко, но какие-то шаги уже предприняты, и оно даже как-то автономно работает в одной сети. В общем, буду делиться опытом потихоньку.

Ещё в России у нас были околоумные устройства: настольная лампа от Xiaomi, кондиционер, телевизор, Яндекс.Станция, весы. В последний год появилась и умная камера от Aqara. Конечно же, у каждого устройства было свое приложение для управления. Невероятно удобно. Уже представлял, как купим ещё что-нибудь, у на телефоне появится шестое приложение по управлению умными устройствами.

Уж не помню с каким именно устройством, но где-то я увидел плашку "Works with Google Home". И начал что-то подозревать...

Оказалось, что не обязательно иметь гугловые устройства, чтобы была возможность разместить их в системе умного дома. Ну и что вообще системы умного дома бывают кросс-вендорные. Получилось завести в гугловый умный дом кондиционер, телевизор и лампу. Камера не поддалась. На весы надежды особой не было. В целом уже неплохой результат, но хотелось большего.

Потом случился переезд в Нл, Яндекс.Станция осталась в России. На её замену была куплена колонка Google Nest. Опять таки _оказалось_, что Google Assistent внутри умного дома не умеет разговаривать по-русски без танцев с бубном. В последствии я выяснил, что если в телефоне установлен русский язык, то и меню с автоматизациями не открывается. Хотя если залезть в настройки Ассистента через три экрана, то их таки открыть можно. В общем, как выразился @theEvilBeaver, мы всегда знали, что "проприетарные корпораты козлы", но такой подлости я что-то не ожидал. Тем не менее, на тот момент со своей задачей оно справлялось.

Следующим шагом стала покупка умного звонка. Не очень долго думая, был взят Google Nest Doorbell, красивый по фичам в гугловой экосистеме. О своём выборе я ещё пожалею впоследствии, но об этом чуть позже. Звонок без проблем залетел в гугловый умный дом, что, впрочем, было ожидаемо.

Параллельно с выбором звонка я исследовал рынок умных термостатов. Газ дорогой, батарей много, хочется, с одной стороны, не вставая с дивана сделать потеплее, а с другой стороны мне посоветовали такую штуку как "умные вентили". До чего дошёл прогресс - батарея сама может измерять температуру в комнате и изменять напор горячей воды. Посоветовавшись с коллегами и початжипитировав, мой выбор пал на набор умных вентилей и умный же термостат от компании tado. Спойлер - этой покупкой я доволен как слон. Ещё коллеги говорили что-то про какой-то Matter, и что эти вентили можно добавить в любую систему умного дома.

И заверте...

#какэтоесть

Депрессивная нидерландская деревня (с)

Ранее я писал про alkir-rahc - web-приложение поверх java-интерфейса доступа к RAS (через библиотеку ibis). За прошедшие три года я периодически возвращался к проекту, пытался поправить родовые травмы ibis, причесать json-rpc, а этой весной даже добавил вариант запуска приложения из командной строки. Получилось что-то типа аналога rac, но под капотом ibis, а не запуск обычного 1сного rac.

К сожалению, Антону Литвинову - основному "заказчику" RAHC - не хватает того времени, которое я могу уделять проекту. Зависания и утечки памяти от ibis и общая нестабильность 1сной библиотеки под нагрузкой заставило его искать альтернативные варианты решения задачи съема данных с RAS. Была даже попытка восстановить protobuf-спецификацию и общаться с RAS напрямую, но 1С как всегда и поверх открытой спецификации наколбасила собственных врапперов/декодеров, которые, мягко говоря, не упрощают жизнь.

Так из под пера Антона родился проект alkir-web-rac. Не потому что rahc плохой сам по себе, а из-за боттлнека в виде моей доступности.
alkir-web-rac тоже использует ibis, но написан на python, который Антону роднее и доступнее джавы. Да, там тоже есть проблема с утеканием памяти внутри ibis, но у Антона получилось ее как-то решить. Или хотя бы замести под ковер.
У этой библиотеки чуть другой интерфейс, что-то среднее между v1 и v2 в RAHC, но зато там есть все методы всех сущностей (в rahc полное дерево методов я так и не затащил).

В общем, надеюсь, кому-нибудь это будет полезно. Ставьте звездочки и пишите отзывы, пожалуйста :)

https://github.com/DigiLabsru/alkir-web-rac

Кстати, а вы новый сайт оскрипта видели?

https://oscript.io/

Как говорит мой литовский коллега: ahujennaj!