по мотивам: К. Бишоп, С. Рассел, П. Норвигafter: C. Bishop, S. Russell, P. Norvig

Математический Аппарат ML & Pattern RecognitionML & Pattern-Recognition Math

Линейная алгебра и матричный анализ, теория вероятностей и статистика, выпуклая оптимизация и теория информации — математический фундамент под ML-алгоритмы. Каркас: 3 подраздела, 9 пунктов, страницы ещё не написаны.Linear algebra and matrix analysis, probability theory and statistics, convex optimization and information theory — the mathematical foundation under ML algorithms. Skeleton: 3 subsections, 9 items, pages not yet written.

4.1 Линейная Алгебра и Матричный Анализ4.1 Linear algebra & matrix analysis

4.1.1 Векторные пространства и преобразованияVector spaces & transformationsБазисы, собственные значения и векторы, положительно определённые матрицы.Bases, eigenvalues and eigenvectors, positive-definite matrices.interview 4.1.2 Разложения матрицMatrix decompositionsLU, QR, Cholesky, SVD (Singular Value Decomposition), PCA (Principal Component Analysis).LU, QR, Cholesky, SVD (singular value decomposition), PCA (principal component analysis).interview 4.1.3 Тензорное исчислениеTensor calculusОперации над тензорами, broadcasting, суммирование Эйнштейна (Einsum), графы вычислений.Tensor operations, broadcasting, Einstein summation (einsum), computation graphs.

4.2 Теория Вероятностей и Математическая Статистика4.2 Probability theory & mathematical statistics

4.2.1 Вывод и вероятностные моделиInference & probabilistic modelsБайесовская теорема, Maximum Likelihood Estimation (MLE), Maximum A Posteriori (MAP), плотности распределений.Bayes' theorem, maximum likelihood estimation (MLE), maximum a posteriori (MAP), probability densities.interview 4.2.2 Случайные процессы и марковские цепиStochastic processes & Markov chainsМарковские цепи, алгоритм Metropolis-Hastings, Gibbs Sampling (MCMC).Markov chains, the Metropolis-Hastings algorithm, Gibbs sampling (MCMC). 4.2.3 Статистические гипотезыStatistical hypothesis testingP-value, ошибки I и II рода, t-критерий Стьюдента, ANOVA, бутстрэппинг.P-values, type I and type II errors, Student's t-test, ANOVA, bootstrapping.

4.3 Выпуклая Оптимизация и Теория Информации4.3 Convex optimization & information theory

4.3.1 Алгоритмы оптимизацииOptimization algorithmsГрадиентный спуск (Batch, Mini-batch, SGD), Momentum, RMSProp, Adam, L-BFGS.Gradient descent (batch, mini-batch, SGD), Momentum, RMSProp, Adam, L-BFGS.interview 4.3.2 Условия оптимизацииOptimality conditionsВыпуклые множества и функции, двойственность Лагранжа, условия Куна-Таккера (KKT).Convex sets and functions, Lagrangian duality, Karush-Kuhn-Tucker (KKT) conditions. 4.3.3 Теория информацииInformation theoryЭнтропия Шеннона, взаимная информация, кросс-энтропия, расстояние Кульбака-Лейблера (KL-дивергенция).Shannon entropy, mutual information, cross-entropy, Kullback-Leibler divergence (KL divergence).interview

статусstatus

Это каркас: 3 подраздела и 9 пунктов зафиксированы, страницы ещё не написаны. Метка interview отмечает темы, которые встречаются на технических собеседованиях чаще всего. Содержание разделов адаптировано из kb/theory.md — личного высокоуровневого плана базы знаний.This is a skeleton: 3 subsections and 9 items are locked in, pages not yet written. The interview tag marks the topics that come up most often in technical interviews. Section content is adapted from kb/theory.md, a personal high-level knowledge-base outline.