Называть GPT «чат-ботом» — типичная бытовая путаница. Большая языковая модель — это лишь пассивный «мотор»: у неё нет кнопок, вкладок, памяти и доступа в сеть. Это черный ящик с двумя окошками на вход и выход. 

Вбрасывать промпты в окошко «вход» — это работа кочегара. 
Есть путь получше.

Вся логика автономности, работы с базами данных, контролем ошибок реализуется в программной обвязке, взаимодействующей с «мотором». И кто-то должен создавать и настраивать эти обвязки. 

Инженеры автономных систем уже нарасхват, и в ближайшее время спрос на них не уменьшится. Поезд отправляется, в кочегарке уже тесно, а вагоны-люкс для директоров ещё не заполнены. Занимайте свои места.

Вот, написали про всё это: https://ru.hexlet.io/blog/posts/agent-assistent-chat-bot-v-chem-raznitsa 

Telegram | YouTube | AI Клуб