Хроники пет-проекта. Как идея выросла в data-продукт.

Привет всем, кто недавно присоединился - вас уже больше 2000 👋

Сегодня расскажу, как мы вчетвером (я, Никита, Рома и Снежана) за год превратили простую идею в полноценный data-продукт.

Если вы делаете свои пет-проекты, возможно, этот путь будет полезен. У нас - опыт работы в больших и средних IT компаниям, и мы делали все так как принято в большом IT. Большую статью про проект писали на VC.

Всё началось с простых вопросов
〰Сколько стоят IT навыки?
〰Сколько денег предлагают на конкретных ролях?

Так появился маленький пет-проект.

Со временем он вырос в полноценный data-pipeline с LLM, дашбордами, алертами и автоматическими дайджестами.
В базе - несколько миллионов data-пойнтов. По некоторым источниками собрали историю с 2012 года.
Про проект писали телеграм-каналы с общей аудиторией более 2млн человек.

Мы делали всё по выходным, и сделали то, что еще никто не делал:
〰 объединили данные из разных источников и построили ежедневно обновляемый дашборд
〰создали телеграм-канал с автоматической аналитикой вакансий.
〰 подключили нейросети к базе данных и реализовали диалог с данными почти сразу после появления MCP.

Коротко весь путь по шагам:

〰 Постановка проблемы.
Про боль рынка, и зачем всё это. Первая версия дашборда.
"Дайте вилку" или IT вакансии с зарплатами

〰 Сбор данных и автоматизация.
Строим песочницу для экспериментов с данными.
IT вакансии и автоматизация парсинга зарплат.

〰 Проект становится системой.
От "скрипта на коленке" в продукт: пайплайн, хранилище, трансформации, дизайн.
Агрегаторы IT вакансий и их сравнение
Проект VILKY. Roadmap, API, dbt и MongoDB

〰 LLM + Telegram + автоматические дайджесты
Как мы придумали дополнительные фичи
Проект VILKY. LLM, телеграм канал и дайджесты
Пет-проект VILKY. Архитектура, исследования, дизайн.

〰 Неожиданный эффект Telegram.
Как проект подхватили крупные IT-паблики
VILKY в IT пабликах и эффект Telegram

〰 Инсайты и наблюдения про рынок IT
14000 открытых IT вакансий на одном дашборде
Hard и Soft навыки в IT профессиях. Алгоритмы NLP

〰 AI-репортинг как следующий слой
AI отчёты на основе данных
Нейрорепортинг Claude + MCP и технологические тренды в IT
Локальное подключение нейросетей к БД

〰 Взгляд сверху
Проекты, продукты и продуктовый подход в пет-проекте


Что мы видим сейчас

Мы собираем данные каждый день, и теперь доступны вещи, которых не было ещё год назад:
〰динамика вакансий по дням
〰сезонность найма
〰тримодальность зарплат (три кластера компаний с разными вилками)
〰распределение грейдов по IT-направлениям
и многое другое

Мы можем:
〰считать стоимость навыков
〰строить карты эволюции профессий
〰искать вакансии по любому описанию
〰общаться с данными через Claude или ChatGPT
〰находить скрытые паттерны в истории рынка

Пространство для анализа огромное. А времени, как всегда, меньше.


〰И вопрос про будущее:

Технически мы уже можем дать доступ к данным через ChatGPT.

Например:
〰 загружать резюме и искать релевантные вакансии
〰 задавать вопросы реальному рынку
〰 получать ответы из структурированных данных

В публичном виде такого пока никто не делал. Это полноценная связь LLM с данными.

Интересно ли вам было бы общаться с рынком вакансий напрямую через ChatGPT?
Ставьте "❤️" в реакциях.

@data_bar 🍀