Попробовал вчера Alpaca. Она запускается и работает на 16 Gb GPU, отвечает очень бодренько и по ощущениям вполне неплохо для такого размера (на уровне GPT-2 или лучше). Таким образом её можно быстро запустить в бесплатной версии Colab, так что никакого железа иметь вообще не нужно. Время инференса около 30 секунд/запрос.

Кому интересно - попробуйте! Время на запуск - 10 минут.

Так что ии, запущенный прямо на голосовой колонке или внутри vr-гарнитуры, это не утопия, а вопрос ближайшего будущего.