Основны машинного обучения и линейной регресси в Python

При подготовке использовались следующие материалы:

• Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии.
• Базовые принципы машинного обучения на примере линейной регрессии.
• Материалы курсы «Машинное обучение» на ФКН ВШЭ.
• Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow, 2nd Edition by Sebastian Raschka.
• A Course of Econometrics by D.S.G. Pollock
• и многие другие...

Машинное обучение — это подраздел искусственного интеллекта, в котором изучаются алгоритмы, способные обучаться без прямого программирования того, что нужно изучать.

Говорят, что программа обучается на опыте E относительно класса задач T в смысле меры качества L, если при решении задачи T качество, измеряемое мерой L, возрастает при демонстрации нового опыта E.

T. Mitchell "Machine learning", 1997

У нас есть задача, данные и способ оценки программы/модели. Давайте определим, что такое модель, и что значит обучить модель. Предиктивная модель – это параметрическое семейство функций (семейство гипотез): \Large \mathcal{H} = \left{ h\left(x, \theta\right) | \theta \in \Theta \right} где

• $h: X \times \Theta \rightarrow Y$
• $\Theta$ — множество параметров

Таким образом, из большого семейства гипотез мы должны выбрать какую-то одну конкретную, которая с точки зрения меры $L$ является лучшей. Процесс такого выбора назовем алгоритмом обучения.

Получается, что алгоритм обучения — это отображение из набора данных в пространство гипотез. Обычно процесс обучения с учителем состоит из двух шагов:

• обучение: $h = \mathcal{M}\left(D\right)$;
• применение: $\hat{y} = h\left(x\right)$.

Вводится функционал качества, характеризующий среднюю ошибку (эмпирический риск) алгоритма на произвольной выборке. В вероятностном подходе в роли функционала качества обычно рассматривается математическое ожидание функции потерь, называемое риском. Риск характеризует среднее качество алгоритма (решающей функции) на генеральной совокупности.

Часто для обучения модели пользуются принципом минимизации эмпирического риска. Эмпирический риск (Empirical Risk) — это средняя величина ошибки алгоритма на обучающей выборке. Для рассчёта эмпирического риска вводятся:

1. Функция потерь ${\mathcal L}(y,y')$, характеризующая величину отклонения ответа $y=a(x)$ от правильного ответа $y'=y^{*}(x)$ на произвольном объекте $x\in X$.
2. Модель зависимости $A= {a:: X\to Y}$, в рамках которой будет вестись поиск отображения, приближающего неизвестную целевую зависимость.

У данного принципа есть существенный недостаток, решения найденные таким путем будут склонны к переобучению. Мы говорим, что модель обладает обобщающей способностью, тогда, когда ошибка на новом (тестовом) наборе данных (взятом из того же распределения $P(x,y))$ мала, или же предсказуема. Переобученная модель не обладает обобщающей способностью, т.е. на обучающем наборе данных ошибка мала, а на тестовом наборе данных ошибка существенно больше.

Обучение с учителем

Обучение с учителем (Supervised learning) — один из разделов машинного обучения, посвященный решению следующей задачи. Имеется множество объектов (ситуаций) и множество возможных ответов (откликов, реакций). Существует некоторая зависимость между ответами и объектами, но она неизвестна. Известна только конечная совокупность прецедентов — пар «объект, ответ», называемая обучающей выборкой. На основе этих данных требуется восстановить зависимость, то есть построить алгоритм, способный для любого объекта выдать достаточно точный ответ. Для измерения точности ответов определённым образом вводится функционал качества. Под учителем понимается либо сама обучающая выборка, либо тот, кто указал на заданных объектах правильные ответы.

Как правило, в задачах обучения с учителем, опыт E представляется в виде множества пар признаков и целевых переменных: D=\left{ (x_i, y_i) \right}_{i=1, \ldots,n}

Регрессия

Предсказание количественного признака объекта.

Классификация

Предсказание категориального признака объекта.

Обучение без учителя

Обучение без учителя (Unsupervised learning) — один из разделов машинного обучения. Изучает широкий класс задач обработки данных, в которых известны только описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами.

Кластеризация

Кластеризация — задача разделения объектов на группы, обладающие неко- торыми свойствами. Примером может служить кластеризация документов из электронной библиотеки или кластеризация абонентов мобильного оператора.

Оценивание плотности

Оценивание плотности — задача приближения распределения объектов. При- мером может служить задача обнаружения аномалий, в которой на этапе обу- чения известны лишь примеры «правильного» поведения оборудования (или, скажем, игроков на бирже), а в дальнейшем требуется обнаруживать случаи некорректной работы (соответственно, незаконного поведения игроков). В та- ких задачах сначала оценивается распределение «правильных» объектов, а за- тем аномальными объявляются все объекты, которых в рамках этого распре- деления получают слишком низкую вероятность.

Визуализация

Визуализация — задача изображения многомерных объектов в двумерном или трехмерном пространстве таким образом, что сохранялось как можно больше зависимостей и отношений между ними.

Понижение размерности

Понижение размерности — задача генерации таких новых признаков, что их меньше, чем исходных, но при этом с их помощью задача решается не хуже (или с небольшими потерями качества, или лучше — зависит от постановки). К этой же категории относится задача построения латентных моделей, где требуется описать процесс генерации данных с помощью некоторого (как правило, неболь- шого) набора скрытых переменных. Примерами являются задачи тематическо- го моделирования и построения рекомендаций, которым будет посвящена часть курса.

Частичное обучение

Частичное обучение (semi-supervised lerning) — один из методов машинного обучения, использующий при обучении как размеченные, так и неразмеченные данные. Обычно используется небольшое количество размеченных и значительный объём неразмеченных данных. Частичное обучение является компромисом между обучением без учителя (без каких-либо размеченных обучающих данных) и обучением с учителем (с полностью размеченным набором обучения). Было замечено, что неразмеченные данные, будучи использованными совместно с небольшим количеством размеченных данных, могут обеспечить значительный прирост качества обучения.

Обучение с подкреплением

Испытуемая система (агент) обучается, взаимодействуя с некоторой средой. Откликом среды (а не специальной системы управления подкреплением, как это происходит в обучении с учителем) на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или её модель.

Идея обучения с подкреплением была почерпнута в смежной области психологии. В терминах психологии ОСП изучает, как агент должен действовать в окружении, чтобы максимизировать некоторый долговременный выигрыш. Алгоритмы с частичным обучением пытаются найти стратегию, приписывающую состояниям окружающей среды действия, которые должен предпринять агент в этих состояниях. В экономике и теории игр обучение с подкреплением рассматривается в качестве интерпретации того, как может установиться равновесие.

Теория регрессионного анализа

Модель из категории «обучение с учителем», устанавливающая связь между одним или несколькими независимыми признааками (предикторами) и завсимыми континуальным призаком.

Линейная регрессия

В линейной регрессии моделью зависимости является формула прямой линии.

Простая линейная регрессия

Простая (одномерная) линейная регрессия (модель с одним предиктором) аппроксимируется всем известной со школы функцией прямой линии $\Large y=kx+b$ с той лишь разницей, что теперь нужно добавить случайную ошибку $\epsilon$: $$\Large y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ где

• $y_i$ — зависимая переменная (отклик)
• $x_i$ — известная константа (значение объясняющей переменной, измерянной в i-ом эксперименте)
• $\beta_0$, $\beta_1$ — параметры модели (свободный член и угловой коэффициент).
• $\epsilon_i$ — случайная ошибка

Графически она выглядит следующим образом:

Множественная линейная регрессия

Для простоты примем, что $x_0 = 1$. Тогда в общем случае форма линейной регрессии выглядит следующим образом: $$\Large \begin{array}{rcl} \forall h \in \mathcal{H}, h\left(\vec{x}\right) &=& w_0 x_0 + w_1 x_1 + w_2 x_2 + \cdots + w_m x_m \\ &=& \sum_{i=0}^m w_i x_i \\ &=& \vec{x}^T \vec{w} \end{array}$$

Пример графика для линейной регрессионной модели с двумя независимыми переменными:

Метрики качества регрессионной модели

Итак, у нас имеет модель $\hat{y}= f(x)=w_0+\sum_{i=1}^n w_i x_i$

Существует несколько методов для оценки регрессионной модели:

Средняя абсолютная ошибка (MAE) — это просто усреднённое значение модулей ошибок:

$$\frac 1n\sum_{i=1}^n|y_i-\hat{y}_i|$$

Модуль отклонения не является дифференцируемым, но при этом менее чувствителен к выбросам, чем квадрат отклонения MSE.

Средняя абсолютная процентная ошибка (mean absolute percentage error, MAPE)

$$\frac 1n\sum_{i=1}^n \Bigl\lvert \frac{y_i-\hat{y}_i}{y_i} \Bigr\rvert$$ Среднеквадратическая ошибка (MSE). Для вычисления среднеквадратической ошибки все отдельные остатки регрессии возводятся в квадрат, суммируются, сумма делится на общее число ошибок:

$$\frac 1n\sum_{i=1}^n(y_i-\hat{y}_i)^2$$

Благодаря своей дифференцируемости эта функция наиболее часто используется в задачах регрессии.

Квадрат отклонения делает особый акцент на объектах с сильной ошибкой, и метод обучения будет в первую очередь стараться уменьшить отклонения на таких объектах. Если же эти объекты являются выбросами (то есть значение целевой переменной на них либо ошибочно, либо относится к другому распределению и должно быть проигнорировано), то такая расстановка акцентов приведёт к плохому качеству модели. Модуль отклонения (MAE) в этом смысле гораздо более терпим к сильным ошибкам.

Величина среднеквадратичного отклонения плохо интерпретируется, поскольку не сохраняет единицы измерения — так, если мы предсказываем цену в рублях, то MSE будет измеряться в квадратах рублей. Чтобы избежать этого, используют корень из среднеквадратичной ошибки.

Корень из среднеквадратической ошибки (RMSE):

$$\sqrt{\frac 1n\sum_{i=1}^n(y_i-\hat{y}_i)^2}$$

Эти метрики хорошо подходят для сравнения двух моделей или для контроля качества во время обучения, но не позволяют сделать выводы том, насколько хорошо данная модель решает задачу. Например, MSE = 10 является очень плохим показателем, если целевая переменная принимает значения от 0 до 1, и очень хорошим, если целевая переменная лежит в интервале (10000, 100000). В таких ситуациях вместо среднеквадратичной ошибки полезно использовать коэффициент детерминации (или коэффициент $R^2$)

Так же все эти метрики можно отнести к функциям потерь, поскольку мы хотим их минимизировать.

Функция потерь — функция, которая в теории статистических решений характеризует потери при неправильном принятии решений на основе наблюдаемых данных. Если решается задача оценки параметра сигнала на фоне помех, то функция потерь является мерой расхождения между истинным значением оцениваемого параметра и оценкой параметра.

Коэффициент детерминации $R^2$

Коэффициент детерминации измеряет долю дисперсии, объяснённую моделью, в общей дисперсии целевой переменной. $$R^2=1 - \frac{\sum_{i=1}^n(y_i-\hat{y}<em>i)^2}{\sum</em>{i=1}^n(y_i-\bar y)^2}$$ Фактически, данная мера качества — это нормированная среднеквадратичная ошибка. Если она близка к единице, то модель хорошо объясняет данные, если же она близка к нулю, то прогнозы сопоставимы по качеству с константным предсказанием.

Другими словами $R^2=\frac{SSR}{SST}=\frac{сумма \ квадратов \ регрессии}{полная \ сумма \ квадратов}=\frac{изменчивость, \ объяснимая \ линейной \ зависимостью}{изменчивость, \ объяснимая \ линейной \ зависимостью \ и \ ошибкой}$

Среднеквадратичная логарифмическая ошибка (mean squared logarithmic error, MSLE) $$MSLE=\frac{1}{n}\sum_{i=1}^n(\log(y_i+1)-log(\hat{y}_i+1))^2$$ Данная метрика подходит для задач с неотрицательной целевой переменной. За счёт логарифмирования ответов и прогнозов мы скорее штрафуем за отклонения в порядке величин, чем за отклонения в их значениях. Также следует помнить, что логарифм не является симметричной функцией, и поэтому данная функция потерь штрафует заниженные прогнозы сильнее, чем завышенные.

Осторожно! Не всегда можно полагаться на цифры. Если это возможно, лучше также построить график зависимости $y$ от $x$. Это позволит Вам избежать попадания в ловушку квадрата Энскомба. Основные числовые характеристики этих данных идентичны и все эти зависимости описываются формулой $y = 3 + 0.5x$, но, очевидно, выглядят они по-разному:

Обучение линейной регрессии

Метод наименьших квадратов

Чаще всего линейная регрессия обучается с использованием среднеквадратичной ошибки. В этом случае получаем задачу оптимизации функции стоимости (эмпирического риска) (считаем, что среди признаков есть константный, и поэтому свободный коэффициент не нужен). Оценка МНК является лучшей оценкой параметров модели, среди всех линейных и несмещенных оценок, то есть обладающей наименьшей дисперсией (из теоремы Гаусса — Маркова).

Недостатки метода наименьших квадратов Наличие явной формулы для оптимального вектора весов — это большое преимущество линейной регрессии. Но аналитическое решение не всегда возможно по ряду причин:

• Обращение матрицы — сложная операция с кубической сложностью от количества признаков. Если в выборке тысячи признаков, то вычисления могут стать слишком трудоёмкими. Решить эту проблему можно путём использования численных методов оптимизации.
• Матрица $X^T X$ может быть вырожденной (определитель равено 0 → нет обратной матрицы) или плохо обусловленной. В этом случае обращение либо невозможно, либо может привести к неустойчивым результатам. Проблема решается с помощью регуляризации.

Ограничения линейной регрессии

• Линейность: зависимая переменная может линейно аппроксимировать независимые переменные
• Нормальность распределения Y и ε
• Отсутствие избытка влиятельных наблюдений
• Гомоскадастичность распределения остатков
• Отсутсвие мультиколлинеарности

Не все эти ограничения должны соблюдаться на 100%, особенно, если Вы занимаетес машинным обучением.

Практическое занятие с Housing Dataset

Применим полученные навыки для анализа данных о ценах на недвижимость в Бостоне, опубликованных в статье 1978 г.

Ещё данные можно подгрузить из втроенной в sklearn коллекции:

Разведывательный анализ

Как всегда начинаем изучение нового набора данных с разглядывания графиков, показывающих распределение переменных.

Визуализируем матрицу корреляций и ввиде тепловой карты:

Регрессионный анализ

Приступим к построению регрессионной модели. Определим зависимые и независимые переменные:

PS: эти непонятные символы в фигурных скобках задают вид форматирования строки. В данном случае мы говорим, что хотим вывести число с плавающей точкой с точностью до двух знаков. Подробнее в Format Specification Mini-Language.

Для быстрой визуализации линейной зависимости можно также использовать функцию regplot из seaborn.

Проверка качество модели: практика

Возможные метрики для проверки качества модели в sklearn можно посмотреть в документации, а можно посчитать самим по формулам. Выберем простой путь.

Поскольку в нашей модели обычно несколько независимых переменных, мы не можем отобразить их зависимость на двумерном пространстве, но можем нанести на график связь между остатками модели и предсказанными значениями, что также поможет нам диагностировать качество модели. Это называется Residuals plot. C его помощью мы можем увидет нелинейность и выбросы, проверить случайность распределения ошибки.

Другой взгляд на построение статистических моделей — statsmodels

Statsmodels — ещё одна библиотека для построения статистических данных в Python, но выполненная в лучших традийиях R. Посмотрим, сравним реализацию линейных моделей в sklearn и statsmodels.

Использование категориальных переменных в качестве предикторов

Label Encoding

Самый простой и очевидный способ перекодировки — просто заменить строки на числа. В модуле preprocessing библиотеки sklearn именно для этой задачи реализован класс LabelEncoder.

Метод fit этого класса находит все уникальные значения и строит таблицу для соответствия каждой категории некоторому числу, а метод transform непосредственно преобразует значения в числа. После fit у label_encoder будет доступно поле classes_, содержащее все уникальные значения. Можно их пронумеровать и убедиться, что преобразование выполнено верно.

При использовании этого подхода мы всегда должны быть уверены, что признак не может принимать неизвестных ранее значений, иначе вылезет ошибка.

Однако, такое представление имеет мало смысла и, более того, не корректно, поскольку таким образом мы определяем для этой переменной недопустимые математические операции.

One-Hot Encoding

Предположим, что некоторый признак может принимать 10 разных значений. В этом случае One Hot Encoding подразумевает создание 10 признаков, все из которых равны нулю за исключением одного. На позицию, соответствующую численному значению признака мы помещаем 1.

Эта техника реализована в sklearn.preprocessing в классе OneHotEncoder. По умолчанию OneHotEncoder преобразует данные в разреженную матрицу, чтобы не расходовать память на хранение многочисленных нулей. Однако в этом примере размер данных не является для нас проблемой, поэтому мы будем использовать "плотное" представление.

Можно использовать модуль OneHotEncoder из SkLearn, но с ним не так всё просто — необходимо сначала преобразовать значения в числа как в label encoding. Проще использовать LabelBinarizer:

Пример работы с категориальными данными

Пусть это будут данные о престиже различных профессий в США.

Похожую вещь можно сделать с помощью statsmodels, и про том гораздо проще: