Вопросы к экзамену 2021:

1. Вероятностная постановка задачи обучения с учителем. Функция потерь. Средний (ожидаемый) риск. Эмпирический риск. Регрессионная функция и байесов классификатор. Неустранимая (байесовская) ошибка. 

2. Ошибки 1-го и 2-го рода. Чувствительность, специфичность, точность, полнота. ROC-кривая. Площадь под ROC-кривой.

3. Принцип минимизации эмпирического риска. Минимизация отступа. Регуляризация.

4. Экспериментальная (эмпирическая) оценка качества обучения. Обучающая, проверочная и тестовая выборки. Метод перекрестного (скользящего) контроля. 

5. Метод k ближайших соседей в задачах классификации и восстановления регрессии. Теорема об оценке риска в методе ближайшего соседа. Идея доказательства.

6. Метод наименьших квадратов. Система нормальных уравнений. Псевдорешение. 

7. Борьба с переобучением в методе наименьших квадратов. Сокращение числа параметров. Полный перебор всех подмножеств признаков. Жадный (Forward stepwise) алгоритм. 

8. Борьба с переобучением в методе наименьших квадратов. Ридж-регрессия (регуляризация). Метод "Лассо".

9. Наивный байесовский классификатор. Сглаживание Лапласа. Использование наивного байесовского классификатора для количественых признаков.

10. Линейный дискриминантный анализ. Квадратичный дискриминантный анализ.

11. Логистическая регрессия. Логистическая функция и softmax

12. Нейронные сети. Алгоритм обучения Back-Propagation.

13. Понятие о глубоком обучении. Сверточные нейронные сети.

14. Машина опорных векторов. Формулировка задачи в виде задачи математического программирования. Двойственная задача. (Случай линейно разделимых и неразделимых классов)

15. Машина опорных векторов. Ядра и спрямляющие пространства.

16. Деревья решений. Алгоритм CART.

17. Случайный лес. Экстремально случайные деревья.

18. Алгоритм XGBoost.

19. Задача понижения размерности. Метод главных компонент. Сингулярное разложение.

20. Задача кластеризации. Метод центров тяжести. Метод медоидов.

21. Алгоритм "Ожидание-максимизация".

22. Алгоритм DBSCAN.

23. Алгоритмы иерархической кластеризации.

24. Основы теории Вапника-Червоненкиса. Теорема о равномерной сходимости эмпирического риска к ожидаемому в случае конечного класса решающих функций. 

25. Размерность Вапника-Червоненкиса. Теорема о равномерной сходимости эмпирического риска к ожидаемому в случае конечной размерности Вапника-Червоненкиса.

26. Дилемма "Смещение-разброс". Кривая обучения.