Подготовка к собеседованию — ML-инженер

Короткий ответ: Data parallelism — когда модель влезает на один GPU: реплика на каждом устройстве, батч делится, градиенты сводятся all-reduce. Tensor parallelism режет отдельные matmul между GPU — нужны линки класса NVLink, внутри узла. Pipeline parallelism делит слои на стадии, микробатчи борются с bubble. Крупнейшие модели комбинируют все три — 3D-параллелизм.

Подробно:

1. Порядок выбора — начинаем с data parallelism; не влезает слой → tensor внутри узла; не влезает модель целиком → pipeline между узлами.
2. Bubble — стадии простаивают в начале и конце шага; лечится нарезкой батча на микробатчи.

⚠️ Частая ошибка: смешивать tensor и pipeline parallelism: TP режет матрицы внутри слоя (все GPU считают один слой вместе), PP режет модель по слоям на последовательные стадии.

Короткий ответ: KV-cache — это сохранённые по слоям матрицы K и V всех уже обработанных токенов. Без него авторегрессионная генерация на каждом шаге пересчитывала бы K и V для всего префикса — O(n²) работы на последовательность; с кэшем каждый шаг декодирования считает K, V и Q только для одного нового токена — O(n) суммарно.

Подробно:

1. Почему это работает — K и V прошлых токенов не зависят от будущих: посчитав их один раз, можно переиспользовать на всех следующих шагах.
2. Что кэшируется — только K и V, отдельно для каждого слоя. Q текущего токена считается заново: он нужен ровно один раз — чтобы этот токен «посмотрел» на прошлое — и никогда не переиспользуется.
3. Цена — память: кэш растёт линейно с длиной контекста и размером батча и на длинных контекстах спорит по объёму с самими весами.

Без кэша:  шаг t → пересчитать K,V токенов 1..t   (O(t) на шаг, O(n²) всего)
С кэшем:   шаг t → K,V только токена t + чтение
           кэша токенов 1..t-1 из HBM             (O(1) вычислений, O(n) всего)

⚠️ Частая ошибка: сказать «кэшируются Q, K и V». Q не кэшируется — запрос токена используется ровно один раз, в момент его генерации.

Короткий ответ: Разделить детерминированное и стохастическое. Трансформы, лоссы и метрики покрываются обычными юнит-тестами на просчитываемых вручную кейсах; обучение проверяется смоук-тестами (оверфит крошечного батча, shape- и градиент-чеки) и поведенческими тестами с допуском.

Подробно:

1. Тестируем код, а не модель — детерминированные куски (фичи, лоссы) обязаны иметь точные ассерты, стохастические — допуски и инварианты.
2. Смоук в CI — короткий прогон на 2–3 шага: пайплайн собирается, лосс конечен и падает.

⚠️ Частая ошибка: «мы смотрим на test accuracy» — это оценка модели, а не тестирование кода. Баг в даталоадере может стоить пару пунктов метрики и никогда не всплыть.

Короткий ответ: Перед exp вычитаем максимум строки — уже exp(89) переполняет float32. Для лосса softmax и log не считаем по отдельности, а объединяем в log-sum-exp: CE = logsumexp(z) − z[y].

Подробно:

1. Сдвиг на максимум — softmax инвариантен к сдвигу: exp(z − m)/Σexp(z − m) — та же величина, но без overflow.
2. log-softmax одним куском — log(softmax(z)) = z − m − log Σ exp(z − m); нигде не берём log от почти-нуля.
3. CE как индексирование — минус log-softmax в позиции правильного класса, среднее по батчу.

import numpy as np

def log_softmax(z):
    z = z - z.max(axis=1, keepdims=True)  # exp(89) переполняет fp32
    return z - np.log(np.exp(z).sum(axis=1, keepdims=True))

def cross_entropy(z, y):
    # CE = logsumexp(z) - z[y]; никакого softmax -> log по отдельности
    n = len(y)
    return -log_softmax(z)[np.arange(n), y].mean()

⚠️ Частая ошибка: посчитать softmax, потом взять log — при насыщении вероятность округляется до 0 и log даёт −inf. Именно поэтому F.cross_entropy в PyTorch принимает логиты, а не вероятности.

Короткий ответ: Переобучение — модель выучила шум трейна вместо закономерности: на трейне ошибка низкая, на новых данных — высокая. Обнаруживают по разрыву train/validation, лечат регуляризацией, упрощением модели, ранней остановкой и бóльшим объёмом данных.

Подробно:

1. Обнаружение — сравнить ошибку на трейне и на валидации; learning curves: train-ошибка падает, validation-ошибка стоит или растёт → модель начала запоминать шум.
2. Лечение — уменьшить ёмкость или добавить сигнала, а не «крутить» метрику.

⚠️ Частая ошибка: сказать «кросс-валидация предотвращает переобучение». CV его лишь обнаруживает — честно оценивает качество. Предотвращают регуляризация, упрощение модели и данные.