Пока вы угадываете, сообщу вести с полей. Мне тут подсказали, что meta открыла sdk и я прошёл проверять, что с этим можно сделать. Итог: теперь я общаюсь напрямую с агентом голосом и он видит все, что вижу я и может отвечать на вопросы. Правда мне пока не нравится, как он это делает, но это дело настройки