Кейс очень простой, но он повторяется настолько часто, что заслуживает упоминания.
Проблема. У клиентов есть данные в виде кучи больших Excel файлов или sql дампов. Иногда данные прямо там и живут, а иногда в таком виде их присылают. Работать с такими данными практически невозможно.
Бизнес обращается с просьбой привести это в удобоваримый формат - причесать имена, распарсить колонки. Так, чтобы было удобно дальше анализировать. Для них это настолько важно, что готовы выделить до 5 дней работы! Оно все равно потом окупится.
Решение. Делаем прямо как в кейсе про товары, которые невозможно найти.
Сначала импортируем данные. Если есть sql дампы, то скармливаем схему в ChatGPT и просим привести к формату SQlite. Если есть Excel, то конвертируем в csv формат и загружаем прямо в БД пот помощи
pd.read_csv(...).to_sql(...). Тут тоже ChatGPT может написать код.Вторым шагом показываем схему ChatGPT и просим почистить названия таблиц и колонок для удобства работы. Если данные импортировались криво, на этом шаге можно поправить.
Третьим шагом уже можно строить графики и отчеты. Либо напрямую в ChatGPT Data Analysis, либо, если данные нельза показывать опосредованно.
При использовании ChatGPT весь процесс занимает несколько часов (для пары десятков Excel таблиц общим размером в 40MB).
Кстати, если нельзя использовать ChatGPT совсем, то можно глянуть на локальный Mistral 7B OpenChat-3.5, который уже очень хорошо справляется с задачками про CSV и SQL (см табличку в бенчмарке)
Ваш, @llm_under_hood 🤗
PS: Другие посты из серии #клиентспросил:
- Персональный ассистент в компании
- Автоматическое исправление ошибок в каталогах продуктов
- Кейс с ChatGPT про 10.000 € в месяц