Подготовка к собеседованию — Дата-сайентист

Короткий ответ: Series — это одномерный массив с индексом (один столбец), DataFrame — двумерная таблица из колонок-Series с общим индексом строк. Данные грузят через pd.read_csv() / pd.read_sql(), а первичный осмотр делают через .head(), .info(), .describe(), .dtypes, .shape.

Подробно:

1. Series vs DataFrame — df['col'] возвращает Series; df[['col']] (двойные скобки) — DataFrame из одной колонки. У обоих есть .index.
2. Загрузка — read_csv (файл/URL), read_sql (SQL-запрос + соединение), read_parquet (быстрый колоночный формат).
3. Осмотр — .head()/.tail() смотрят края, .info() даёт типы и пропуски, .describe() — статистику числовых колонок, .dtypes — типы, .shape — размер.

import pandas as pd

df = pd.read_csv("sales.csv", parse_dates=["order_date"])
df.shape          # (10000, 8) — строки, колонки
df.info()         # типы колонок и число непустых значений
df.describe()     # count/mean/std/min/quartiles/max по числовым
df["revenue"].head()   # Series — одна колонка

⚠️ Частая ошибка: забыть parse_dates= при чтении — колонка с датами останется object (строкой), и арифметика по датам/resample() работать не будут.

Короткий ответ: Среднее — сумма, делённая на количество, чувствительно к выбросам. Медиана — центральное значение упорядоченного ряда, устойчива к выбросам. Мода — самое частое значение. Для скошенных данных медиана точнее отражает «типичное» наблюдение.

Подробно:

1. Среднее (mean) — хорошо для симметричных данных и для дальнейших расчётов (дисперсия, регрессия), но один выброс сдвигает его.
2. Медиана — 50-й перцентиль; делит данные пополам и почти не реагирует на экстремумы.
3. Мода — единственная метрика для категориальных данных («самый частый тариф»).

⚠️ Частая ошибка: отчитываться средним по доходу или времени отклика. Длинный правый хвост тянет среднее вверх, и оно перестаёт описывать типичного пользователя — берите медиану.

Короткий ответ: A/B-тест — это рандомизированный эксперимент: пользователей случайно делят на контроль и тритмент, показывают разные версии и сравнивают одну заранее выбранную первичную метрику по фиксированному правилу решения.

Подробно:

1. Гипотеза — что меняем, на какую метрику влияем и почему.
2. Метрика и MDE — одна первичная метрика плюс минимально детектируемый эффект (MDE).
3. Рандомизация — случайное и устойчивое разбиение на контроль/тритмент.
4. Размер выборки и длительность — считаем и фиксируем до старта.
5. Запуск до N — крутим до набора выборки, не подглядывая в промежуточные итоги.
6. Анализ — сравниваем метрику, считаем p-значение и доверительный интервал лифта.
7. Решение — выкатываем или откатываем по заранее заданному правилу.

Гипотеза → Рандомизация → Запуск до N → Анализ → Решение
              │                                    │
       контроль / тритмент              выкатить ✓ / откатить ✗

⚠️ Частая ошибка: менять интерфейс по ходу теста или останавливать его в первый момент «значимости» — и то и другое ломает выводы.

Короткий ответ: Оконная функция считает агрегат по «окну» строк, но при этом не схлопывает строки — каждая исходная строка сохраняется и получает своё значение. GROUP BY, наоборот, сворачивает группу в одну строку.

Подробно:

1. GROUP BY — N строк группы → 1 строка результата. Деталь теряется.
2. Оконная функция — N строк остаются N строками, рядом появляется агрегат (сумма, ранг, среднее, lag).
3. Синтаксис — func() OVER (PARTITION BY ... ORDER BY ...). PARTITION BY задаёт группы, ORDER BY — порядок внутри окна (нужен для нарастающих итогов и рангов).

-- Нарастающий итог продаж по каждому пользователю
SELECT
  user_id,
  order_date,
  amount,
  SUM(amount) OVER (
    PARTITION BY user_id
    ORDER BY order_date
  ) AS running_total
FROM orders;

⚠️ Частая ошибка: пытаться отфильтровать по результату оконной функции в WHERE — окна вычисляются после WHERE/GROUP BY, поэтому заворачивайте запрос в CTE/подзапрос и фильтруйте снаружи.

Короткий ответ: Переобучение — модель выучила шум трейна вместо закономерности: на трейне ошибка низкая, на новых данных — высокая. Обнаруживают по разрыву train/validation, лечат регуляризацией, упрощением модели, ранней остановкой и бóльшим объёмом данных.

Подробно:

1. Обнаружение — сравнить ошибку на трейне и на валидации; learning curves: train-ошибка падает, validation-ошибка стоит или растёт → модель начала запоминать шум.
2. Лечение — уменьшить ёмкость или добавить сигнала, а не «крутить» метрику.

⚠️ Частая ошибка: сказать «кросс-валидация предотвращает переобучение». CV его лишь обнаруживает — честно оценивает качество. Предотвращают регуляризация, упрощение модели и данные.