Focal loss for imbalanced datasets

Функция потерь (loss function) — один из основных элементов моделей машинного обучения с учителем. Она штрафует модель за принятие неправильных решений, когда наблюдаемое значение $y$ отличается от предсказанного $\hat y$. Соответственно, вид этой функции влияет на то, какие ошибки модель учится избегать в первую очередь. Каждый может придумать с десяток собственных фукнций потерь, но если брать задачу классификации, чаще и прежде всего используют перекрёстную-энтропию или, как её ещё называют — логистическую фукнцию ошибки https://dyakonov.org/2018/03/12/логистическая-функция-ошибки/. Она хороша тем, что

Однако, не всегда такая функция будет наилучшим выбором. В случае, если классы сильно несбалансированны — например, некоторые из них представлены значительно реже других — эта функция будет отдавать ...

Видео от ынга.

Иногда фунцию потерь путают с функцией стоимости (cost function), что не одно и то же. Функция потерь определяет лишь как сильно предсказанное значение отличается от реального. Функция стоимости — более общее понятие. Она может включать в себя несколько функций стоимости с разными весами, а также коэффициенты регаляризации, которые штрафуют её не только за отличие $y$ от $\hat y$, но и за другие факторы, например, за величину коэффициентов, слишком большое значение которых может привести к переобучению (L1 и L2 регуляризация).

Comments