11 вопросов по теме «аналитика данных: Статистика» на собеседовании

Короткий ответ: Среднее — сумма, делённая на количество, чувствительно к выбросам. Медиана — центральное значение упорядоченного ряда, устойчива к выбросам. Мода — самое частое значение. Для скошенных данных медиана точнее отражает «типичное» наблюдение.

Подробно:

1. Среднее (mean) — хорошо для симметричных данных и для дальнейших расчётов (дисперсия, регрессия), но один выброс сдвигает его.
2. Медиана — 50-й перцентиль; делит данные пополам и почти не реагирует на экстремумы.
3. Мода — единственная метрика для категориальных данных («самый частый тариф»).

⚠️ Частая ошибка: отчитываться средним по доходу или времени отклика. Длинный правый хвост тянет среднее вверх, и оно перестаёт описывать типичного пользователя — берите медиану.

Короткий ответ: Дисперсия — средний квадрат отклонений от среднего; стандартное отклонение — её корень, в тех же единицах, что и данные. Две группы с одинаковым средним могут сильно различаться по разбросу, поэтому одного среднего недостаточно.

Подробно:

1. Дисперсия (σ²) — насколько значения «разбросаны» вокруг среднего; в квадрате единиц.
2. Стандартное отклонение (σ) — корень из дисперсии, в исходных единицах, поэтому интерпретируется легче.
3. Выборочная оценка — деление на n−1 (поправка Бесселя, ddof=1) даёт несмещённую оценку дисперсии генеральной совокупности.
4. Зачем при сравнении групп — одинаковое среднее может скрывать разную стабильность (риск, надёжность).

import numpy as np
a = [50, 50, 50, 50]      # среднее 50, разброса нет
b = [10, 30, 70, 90]      # среднее 50, большой разброс
np.mean(a), np.mean(b)               # (50.0, 50.0)
np.std(a, ddof=1), np.std(b, ddof=1) # (0.0, 36.5)  ← ddof=1: деление на n-1

⚠️ Частая ошибка: сравнивать группы только по среднему. Одинаковое среднее при разном стандартном отклонении — это совершенно разное поведение метрики.

Короткий ответ: Нормальное (гауссово) распределение симметрично и колоколообразно. Примерно 68% значений лежат в пределах ±1σ от среднего, ~95% — в ±2σ, ~99.7% — в ±3σ. При скошенности среднее уходит в сторону длинного хвоста, и медиана становится надёжнее.

Подробно:

1. Симметрия — у идеальной нормали среднее = медиана = мода.
2. Правило 68-95-99.7 — задаёт, какая доля данных попадает в окрестности среднего, и лежит в основе z-оценок.
3. Скошенность (skew) — правый хвост (доход, выручка) тянет среднее вправо: mean > median.
4. Тяжёлые хвосты (kurtosis) — экстремальных значений больше, чем предсказывает нормаль; правило 3σ недооценивает риск.

            .-^^^-.
          .'   |   '.        нормальная кривая
         /     |     \
        |  68% ◀-+-▶  |
      95% ◀-----+-----▶
  99.7% ◀-------+-------▶
   -3σ  -2σ  -1σ  μ  +1σ  +2σ  +3σ

⚠️ Частая ошибка: считать все данные нормальными. Доход, время отклика и выручка обычно скошены — проверяйте распределение (гистограмма, Q-Q plot) до применения правил для нормали.

Короткий ответ: ЦПТ: распределение выборочного среднего стремится к нормальному с ростом размера выборки n, независимо от формы исходного распределения (при конечной дисперсии). Поэтому можно строить доверительные интервалы и проверять гипотезы о среднем. Стандартное отклонение (σ) описывает разброс отдельных наблюдений, а стандартная ошибка (SE = σ/√n) — разброс выборочного среднего.

Подробно:

1. Что утверждает ЦПТ — даже для скошенных данных распределение среднего по многим выборкам ≈ нормальное.
2. Условия — независимые наблюдения, конечная дисперсия, достаточный n (часто n ≥ 30 как эмпирическое правило).
3. σ vs SE — σ не зависит от n; SE падает с ростом выборки.
4. Следствие — точность оценки среднего растёт как √n: чтобы вдвое сузить интервал, нужно вчетверо больше данных.

σ   = разброс отдельных наблюдений (не зависит от n)
SE  = σ / √n   ← разброс среднего, падает с ростом выборки
n=100 → SE = σ/10;  уменьшить SE вдвое → нужно ×4 наблюдений

⚠️ Частая ошибка: думать, что ЦПТ делает нормальными сами данные. Нормальным становится распределение выборочного среднего, а не исходная переменная.

Короткий ответ: Нулевая гипотеза (H₀) — «эффекта нет»; альтернативная (H₁) — «эффект есть». p-значение — вероятность получить данные настолько же или более экстремальные, чем наблюдаемые, ПРИ условии, что H₀ верна. Если p < α (обычно 0.05), H₀ отвергают.

Подробно:

1. H₀ и H₁ — формулируются до сбора данных; тест ищет основания отвергнуть H₀.
2. Уровень значимости α — заранее выбранный порог и допустимая вероятность ошибки I рода.
3. p-значение — P(данные настолько экстремальные | H₀ верна), не более.
4. Решение — p < α → отвергаем H₀; иначе «недостаточно доказательств» (но не «H₀ доказана»).

      распределение статистики при H₀
           .-^^^-.
         .'       '.
        /           \▓▓▓  ← p-value = площадь хвоста
   ----+-------------+-▲--   ▲ = наблюдаемое значение
                  p < α  →  отвергаем H₀

⚠️ Частая ошибка: p-значение — это НЕ вероятность того, что H₀ верна, и НЕ вероятность «случайности» результата. Это P(данные | H₀), а не P(H₀ | данные).

Короткий ответ: Ошибка I рода (α) — отвергнуть верную H₀ (ложноположительный результат). Ошибка II рода (β) — не отвергнуть ложную H₀ (ложноотрицательный). Мощность = 1 − β — вероятность обнаружить реально существующий эффект. При фиксированной выборке снижение α повышает β.

Подробно:

1. Ошибка I рода (α) — «увидели эффект, которого нет»; контролируется выбором α.
2. Ошибка II рода (β) — «пропустили реальный эффект».
3. Мощность (1 − β) — растёт с размером эффекта, размером выборки и α.
4. Компромисс — при том же n уменьшение α увеличивает β; обе ошибки снижают увеличением выборки.

⚠️ Частая ошибка: бороться только с ложноположительными, снижая α, и забывать, что это раздувает β. Чтобы уменьшить обе ошибки одновременно, увеличивают размер выборки.

Короткий ответ: 95% доверительный интервал — это интервал, построенный процедурой, которая при многократном повторении выборок накрывает истинное значение параметра в 95% случаев. Он показывает не только оценку, но и её неопределённость (ширину), чего точечная оценка не даёт.

Подробно:

1. Правильная интерпретация — утверждение про процедуру / долгосрочную частоту, а не про конкретный посчитанный интервал.
2. Ширина — узкий ДИ = высокая точность; зависит от стандартной ошибки и размера выборки n.
3. Связь с тестом — если 95% ДИ для разности не содержит 0, эффект значим на уровне α = 0.05.

from scipy import stats
import numpy as np
data = np.array([4.1, 5.2, 3.8, 6.0, 4.7, 5.5])
# 95% ДИ для среднего (t-распределение, малая выборка)
stats.t.interval(0.95, df=len(data)-1,
                 loc=data.mean(),
                 scale=stats.sem(data))   # (4.00, 5.77)

⚠️ Частая ошибка: говорить «с вероятностью 95% истинное значение лежит в этом интервале». Параметр фиксирован, случайна процедура; 95% — доля интервалов, накрывающих истину при многократном повторении.

Короткий ответ: Корреляция измеряет силу и направление линейной связи (коэффициент r от −1 до +1), но не доказывает причинность. Наблюдаемую связь могут объяснять скрытый конфаундер, обратная причинность или случайность.

Подробно:

1. Коэффициент r — близко к ±1 = сильная линейная связь; r = 0 значит нет ЛИНЕЙНОЙ связи (нелинейная может быть).
2. Почему ≠ причинность — конфаундер (общая причина), обратная причинность, совпадение.
3. Парадокс Симпсона — направление связи в агрегате может разворачиваться на противоположное внутри подгрупп.
4. Как приблизиться к причинности — рандомизированный эксперимент (A/B-тест) или контроль конфаундеров.

⚠️ Частая ошибка: делать вывод о причине из наблюдательной корреляции. Продажи мороженого и число утоплений коррелируют, но причина — жара (конфаундер), а не мороженое.

Короткий ответ: Коэффициент при предикторе показывает, на сколько в среднем меняется отклик при росте этого предиктора на 1 единицу при прочих равных. R² — доля дисперсии отклика, объяснённая моделью (от 0 до 1). Линейная регрессия требует линейности, независимости остатков и постоянства их дисперсии.

Подробно:

1. Коэффициенты (β) — наклон; знак задаёт направление, величина — размер эффекта «при прочих равных».
2. R² — доля объяснённой дисперсии; высокий R² ≠ хорошая или причинная модель.
3. Допущения — линейность, независимость остатков, гомоскедастичность, приближённая нормальность остатков.
4. Подводные камни — мультиколлинеарность (нестабильные коэффициенты), экстраполяция за пределы данных, выбросы.

⚠️ Частая ошибка: гнаться за высоким R², добавляя предикторы. Смотрите на скорректированный R² (adjusted R²) и анализируйте остатки — высокий R² не гарантирует ни валидности, ни причинности.

Короткий ответ: t-критерий сравнивает средние при малой выборке и неизвестной σ; z-критерий сравнивает средние или доли при большой выборке и известной σ; хи-квадрат проверяет связь между категориальными переменными по частотам.

Подробно:

1. t-критерий — одновыборочный, двухвыборочный или парный; для числовых данных, когда σ генеральной совокупности неизвестна.
2. z-критерий — на практике редок для средних (σ обычно неизвестна), но это база для тестов долей и больших выборок.
3. Хи-квадрат — критерий согласия и независимости; работает с таблицами сопряжённости.

⚠️ Частая ошибка: применять t- или z-критерий к категориальным частотам, а хи-квадрат — к средним. Сначала определите тип данных (числовые vs категориальные) и число групп.

Короткий ответ: Хорошая выборка репрезентативна для генеральной совокупности. Случайная даёт каждому равный шанс попасть в выборку; стратифицированная делит популяцию на подгруппы и берёт из каждой. Смещения возникают, когда выборка систематически отличается от популяции.

Подробно:

1. Случайная (random) — равный шанс для всех; базовый эталон репрезентативности.
2. Стратифицированная (stratified) — отбор пропорционально подгруппам; точнее при неоднородной популяции.
3. Кластерная (cluster) — выбираем целые группы (магазины, города); дешевле, но грубее.

⚠️ Частая ошибка: считать большую выборку автоматически хорошей. Смещённая выборка из миллиона хуже маленькой случайной — размер не лечит систематическую ошибку (провал опроса Literary Digest в 1936 году).