Как аналитику не превратиться в ии-макаку

В работе ты будешь в огромном количестве использовать LLM и я на личном опыте уже сейчас вижу, как много ребят выходят с джун позиций с почти нулевыми знаниями, не могут 2 + 2 сложить без гпт. В посте разберем как правильно пользоваться ГПТ и контролировать свой нейрослоп, чтобы не превратиться в ии-обезьяну. Кстати, помним про наш сайт с базой пет проектов, собесов, тестовых заданий и роадмапов.

1. Сначала думай сам, потом подключай LLM
Главное правило: перед моделью должна быть собственная попытка хотя бы на идейном уровне, даже если это ad hoc задача для умственно отсталых. Сначала сам сформулируй бизнес-проблему, метрику, гипотезу, нужные данные и возможные ограничения. Только после этого подключай LLM как помощника, для реализации рутинности (но здесь стоит отметить, что иногда и рутинность бывает полезно самому поделать). Если идти к модели сразу, она забирает самую ценную часть опыта - борьбу с неопределённостью (в особенности это очень важно в задачах аналитика, ведь все кейсы начинаются практически с пустого листа, и используя ллм ты именно эту творческую часть упускаешь, которую в последствии будут требовать от тебя на более старших позициях).

2. Используй LLM как ревьюера, а не автора
LLM лучше всего помогает не тогда, когда пишет за тебя, а когда критикует твою логику, более того именно на этих этапах и начинается самая полезная практика для твоего развития, ведь здесь тебе ллмка может подсказать новые методы/важные ошибки и впоследствии ты будешь их уже потом самостоятельно применять. То есть лучше подступать так: сначала напиши свой SQL, вывод или план анализа, а потом попроси модель найти слабые места: ошибки в логике, проблемы с данными, слишком сильные выводы, альтернативные объяснения и риски для интерпретации.

3. Не отдавай модели базовые навыки
Если ты учишь/чувствуешь пробелы в каких-то из этих навыков: SQL, Python, статистику или A/B-тесты - не проси LLM полностью делать это за тебя. На этапе обучения модель должна объяснять ошибки, давать обратную связь и помогать разобраться. Когда база уже есть, её можно использовать как ускоритель рутины. Автоматизировать безопасно только то, что ты хотя бы базово можешь сделать сам.

4. Любой ответ LLM - это гипотеза
Даже несмотря на все эти сильные бенчмарки, ллмка по-прежнему часто пытается загнать лажу, особенно, если дело касается реальных кейсов, а не теоретической задачи. Поэтому её ответы нужно проверять: корректна ли методология, не сломались ли данные, нет ли дублей или смещений, можно ли делать такой вывод и какие есть альтернативные объяснения. К слову, эта проверка зачастую осуществляется простыми распросами вида: докажи то/докажи это, объясни подробнее. То есть если видны какие-то сомнительные моменты необходимо их самостоятельно как-то проинтерпретировать, либо же провалидировать дополнительными распросами.

Резюмирая можно выделить главный принцип в работе с ллмкой: LLM должна увеличивать количество практики и качество обратной связи, но не уменьшать количество собственного мышления. Если после работы с LLM ты стал быстрее и самостоятельнее в тех задачах, для которых ты ее использовал - ты используешь её правильно. Советую глянуть это исследование, там прямо наглядно рассказано почему может снижаться самостоятельность, а в этом исследовании ллмка выступала в роли учителя как раз. Наш чат.

@postypashki_old