Три страшных слова: тестирование баз данных
Жили-были разработчики StarRocks, проекта с открытым кодом для Linux. И вздумалось им сравнить, кто лучше тестирует базы данных: SQLsmith и SQLancer или ChatGPT.

Долго ли, коротко ли, да затеяли они для ChatGPT испытание. Не подвел добрый молодец ChatGPT и сумел-таки написать сложные SQL запросы и даже сгенерировать свои аналоги Ternary Logic Partitioning (TLP), метода, применяемого в SQLancer для поиска багов в базах данных.

А если серьезно, то ребята из StarRocks действительно постарались, чтобы натренировать модель ChatGPT составлять SQL запросы, необходимые для проверки эффективности и надежности баз данных. Вот яркий пример одного из преимуществ ChatGPT по сравнению с классическими инструментами: при добавлении нового оператора или функции, необходимо также обновлять исходный код в инструменте, используемом для тестирования. В случае же с ChatGPT, разработчики просто указали в чате документы JSON, которого ранее не было в проекте, и нейросеть сгенерировала нужные SQL запросы без каких-либо дополнительных хлопот.

Конечно, в этой сказке не все так гладко: ChatGPT не защищен от ошибок и может составить некорректный запрос, однако однозначно можно сказать, что возможности этой генеративной модели в будущем трансформируют классический подход к работе с базами данных и положат начало инструментам тестирования нового поколения.