Реальное собеседование на стажировку продуктового аналитика в Т-банк

Наш студент сделал расшифровку записи собеса, делимся с вами! Кстати, решение экзамена уже выложено на нашем курсе аналитика про, ии агенты про и алгоритмы про.
➡️ Записаться.

1. «Расскажи, как работает этот бизнес, на чём зарабатывает?»
Речь идет про Яндекс Еду (обычно предлагают разобрать какой-то продукт, кроме Т-банка).

Для меня Яндекс Еда – классический трёхсторонний маркетплейс:
• Клиент – голодный пользователь,
• Ресторан – готовит еду,
• Курьер – доставляет.

Деньги берём из трёх источников:
• Сервисный сбор с клиента за использование приложения,
• Комиссия с ресторана (~20% от чека) за то, что мы привели ему клиентов,
• Платная доставка – она идёт на оплату курьера.
Всё это укладывается в юнит-экономику каждого заказа – выручка = комиссии + сборы + логистика.

2. «На какой стадии жизненного цикла сейчас Яндекс Еда?»
Любой продукт проходит: внедрение → рост → зрелость → спад.
Я считаю, что Яндекс Еда – в зрелости. Рынок уже поделен, новые игроки не лезут, стоимость привлечения клиента (CAC) зашкаливает.

Значит, стратегия «просто набрать новых пользователей» больше не работает. Теперь фокус на удержании (retention) и пожизненной ценности (LTV). Надо заставить старых клиентов заказывать чаще и больше, а не тратить деньги на привлечение новых.

3. «Назови ключевые метрики для нас. Какая у тебя North Star?»
Моя полярная звезда (North Star) – чистая прибыль.
Можно смотреть на число заказов или установок, но если каждый заказ убыточен – компания умрёт.

Я строю дерево метрик, где всё стягивается к LTV. Например:
Retention → повторные заказы → рост LTV → снижение доли маркетинговых расходов → увеличение маржинальности.
Важно показать связь между поведением пользователя и экономикой.

4. «Как ты строишь дашборды?»

• Валидация данных – сверяю результаты скрипта с ручными расчётами (график показывает миллион, а в кассе ноль – провал).
• Фильтры – по возрасту, полу, региону, чтобы видеть аномалии (например, в Москве упало, а в Питере выросло).
• Алерты - если метрика падает ниже нормы, прилетает уведомление – не сидеть же 24/7 у монитора.

5. «Как бы ты повысил прибыль?»
Ищем узкие места в воронке.
• Если видим, что много лояльных клиентов, предложим кнопку «Повторить заказ» – сократим путь до покупки.
• Если цель поднять средний чек, то внедрим рекомендации («С этим блюдом часто берут колу») или умные пуши с новинками из любимых ресторанов.

6. «Как приоритизировать фичи, когда разработчиков не хватает?»
Использую RICE (Reach, Impact, Confidence, Effort):

• Reach – сколько пользователей затронет фича,
• Impact – насколько сильно это поможет,
• Confidence – насколько мы уверены в оценках,
• Effort – сколько месяцев работы разработчиков.
Считаем: (Reach × Impact × Confidence) / Effort. У кого балл выше – того и запускаем.

7. «Какой статистический тест выберешь для А/Б теста?»
Всё зависит от типа метрики:

• Конверсия (купил/не купил) – пропорция → Z-тест или хи-квадрат.
• Средний чек (рубли) – непрерывная величина → t-тест (если нормальное распределение) или Манн-Уитни (если не нормальное или много выбросов).

8. «Что такое ошибка первого и второго рода? Объясни на пальцах»
Лучшая аналогия – тест на беременность:

• Ошибка первого рода (α, ложноположительный) – тест говорит «беременна», а на самом деле нет. В А/Б – мы увидели эффект, хотя его нет. Это стоит компании денег на разработку бесполезной фичи.
• Ошибка второго рода (β, ложноотрицательный) – тест говорит «не беременна», а живот уже растёт. Мы решаем, что фича не работает, а она могла бы принести миллионы.

9. «Что делать, если p-value колеблется около 0.05?»
Главный грех аналитика – подглядывание (peeking). Нельзя каждый день смотреть на p-value и ждать, пока оно станет зелёным, чтобы остановить тест.
Заранее рассчитываем размер выборки и длительность теста. И до окончания срока никаких решений. Если в конце p-value > α – гипотеза не подтвердилась, фичу не выкатываем, как бы она нам ни нравилась.

10. «Как проверить, что распределение нормальное?»

• Для маленьких выборок – критерий Шапиро-Уилка.
• Для больших – Колмогорова-Смирнова.
• И обязательно Q-Q plot – если точки ложатся на прямую, распределение нормальное.

11. «А знаешь, что такое ratio-метрики?»
Ratio-метрики – это отношения, например CTR = клики / показы.
Проблема: числитель и знаменатель – случайные величины, у них сложная дисперсия, и обычный t-тест начинает врать.
Чтобы починить, я использую дельта-метод или линеаризацию – превращаю сложное отношение в простую линейную переменную для каждого пользователя. Это позволяет корректно оценить дисперсию, сохранить чувствительность и точность p-value на больших данных.

Еще больше вопрос в нашем открытом банке собесов и тестовых заданий: смотрите на сайте.

Подписаться: @ProdAnalysis