Вопросы к гос.экзамену 2017 (ФИИТ)

1) Вероятностная постановка задачи обучения с учителем. Функция потерь. Средний (ожидаемый) риск. Эмпирический риск. Регрессионная функция и байесов классификатор. Неустранимая (байесовская) ошибка. 

2) Принцип минимизации эмпирического риска. Минимизация отступа. Регуляризация.

3) Экспериментальная (эмпирическая) оценка качества обучения. Обучающая, проверочная и тестовая выборки. Метод перекрестного (скользящего) контроля. 

4) Метод k ближайших соседей в задачах классификации и восстановления регрессии. Теорема об оценке риска в методе ближайшего соседа (без доказательства).

5) Метод наименьших квадратов. Система нормальных уравнений. Псевдорешение. Борьба с переобучением в методе наименьших квадратов. Ридж-регрессия (регуляризация). Метод "Лассо"

6) Наивный байесовский классификатор. 

7) Линейный дискриминантный анализ. Квадратичный дискриминантный анализ.

8) Логистическая регрессия. Расчет параметров логистической регрессии.

9) Нейронные сети. Алгоритм обучения Forward и Back Propagation.

10) Машина опорных векторов. Формулировка задачи в виде задачи математического программирования. Ядра и спрямляющие пространства.

11) Деревья решений. Алгоритм CART.

12) Случайный лес. Экстремально случайные деревья

13) Алгоритм Adaboost. 

14) Градиентный бустинг деревьев решений.

15) Задача понижения размерности. Метод главных компонент