Подготовка к собеседованию — Дата-сайентист

Короткий ответ: Жадно: в каждом узле перебираются фичи и пороги, выбирается сплит с максимальным снижением impurity (Джини или энтропия; для регрессии — MSE). Без ограничения глубины дерево доводит листья до чистоты — то есть запоминает трейн вместе с шумом.

Подробно:

1. Критерий сплита — прирост: impurity(родителя) − взвешенная impurity(детей); Джини G = 1 − Σpₖ², энтропия −Σpₖ·log pₖ — на практике почти взаимозаменяемы.
2. Жадность — каждый узел оптимизируется отдельно; глобально оптимальное дерево — NP-полная задача, поэтому неудачный верхний сплит никогда не пересматривается.
3. Почему переобучение — модель кусочно-константная: при неограниченной глубине каждый лист ужимается до одного объекта → нулевая ошибка на трейне, высокая дисперсия на тесте.

⚠️ Частая ошибка: считать, что дерево находит «лучшее разбиение» глобально — оно жадное, и это принципиальное ограничение, а не деталь реализации.

Короткий ответ: Precision (точность) = TP/(TP+FP) — доля настоящих позитивов среди всех, кого модель назвала позитивными. Recall (полнота) = TP/(TP+FN) — доля найденных среди всех реальных позитивов. Recall критичен там, где дорог пропуск (скрининг рака, fraud); precision — там, где дорога ложная тревога (спам-фильтр, блокировка контента).

Подробно:

1. Precision — читаем строку «прогноз: 1»: сколько из срабатываний модели настоящие. Метрика цены ложной тревоги.
2. Recall — читаем столбец «факт: 1»: какую долю реальных позитивов мы поймали. Метрика цены пропуска.
3. Trade-off через порог — понизили порог → ловим больше позитивов (recall растёт), но растут и ложные срабатывания (precision падает). Одна модель — целая кривая пар (P, R), а не одна точка.

⚠️ Частая ошибка: назвать формулы и остановиться. Сильный ответ начинается с вопроса «что дороже — пропустить или ложно сработать», и только из него следует, какая метрика главная.

Короткий ответ: Скейлинг нужен моделям, которые опираются на расстояния, скалярные произведения или градиентный спуск: kNN, SVM, k-means, PCA, линейные с регуляризацией, нейросети. Деревьям, лесам и бустингу — не нужен: они инвариантны к монотонным преобразованиям.

Подробно:

И ключевое: скейлер — часть модели. Fit только на train, transform на valid/test — иначе утечка статистик теста в обучение.

⚠️ Частая ошибка: «скейлю всё на всякий случай» до сплита — безобидная привычка превращается в лик; и наоборот, тратить время на скейлинг для XGBoost.

Короткий ответ: На обучении dropout с вероятностью p зануляет случайные активации: каждый батч тренирует свою «прореженную» подсеть, что мешает ко-адаптации нейронов и работает как ансамбль подсетей. На инференсе dropout выключен; чтобы масштаб активаций совпал, используют inverted dropout — деление на (1−p) ещё на обучении.

Подробно:

1. Механика — бинарная маска на активации, новая на каждый forward; нейрон не может полагаться на конкретных соседей и учит более робастные признаки.
2. Интерпретация — обучение экспоненциального числа подсетей с общими весами; инференс ≈ усреднение этого ансамбля.
3. Inverted dropout — активации делятся на (1−p) при обучении, поэтому на инференсе перевзвешивать ничего не нужно — слой просто отключается.
4. Где ставить — обычно после полносвязных слоёв; в свёрточных сетях чаще заменяется BatchNorm и аугментациями.

drop = nn.Dropout(p=0.3)
model.train()   # маска активна, деление на (1-p) уже внутри
model.eval()    # dropout выключен: детерминированный инференс

⚠️ Частая ошибка: забыть про разницу train/inference (и про model.eval() в PyTorch): dropout, оставленный включённым на инференсе, даёт шумные предсказания.

Короткий ответ: Эмбеддинг — плотный вектор, кодирующий смысл токена так, что близкие по смыслу объекты близки в векторном пространстве. Главный сдвиг: word2vec даёт статический вектор — один на слово всегда, а BERT-подобные модели — контекстный: вектор зависит от предложения, и полисемия наконец решена.

Подробно:

1. word2vec (skip-gram) — учится предсказывать контекст по слову; после обучения это таблица «слово → вектор». «Ключ» от двери и «ключ» в лесу получают один и тот же вектор.
2. Контекстные эмбеддинги — вектор слова считается трансформером с учётом всего предложения; «ключ» получает разные векторы в разных фразах.
3. Задачи предобучения различаются — skip-gram/CBOW у word2vec против masked LM у BERT: предсказать замаскированный токен по двустороннему контексту.

⚠️ Частая ошибка: пересказать «king − man + woman ≈ queen» и не суметь назвать главный выигрыш контекстных эмбеддингов — решение полисемии.