На каких предположениях основан линейный дискриминант Фишера?
ПрограммированиеМатематика+3
Анонимный вопросМашинное обучение и Нейронные сети
· 836
Openstack DevOps and IBM/Informix Certified DBA . Phd in Math (Duality of spaces of... · 16 июн 2022
Линейный дискриминантный анализ Фишера — это алгоритм, используемый для классификации, уменьшения размерности, визуализации данных и разработки признаков. Алгоритм проецирует точки данных в новое пространство таким образом, что точки данных, принадлежащие определенному классу, собираются вместе с меньшей дисперсией внутри класса, а классы будут максимально разделены (максимальная дисперсия между классами). Когда классы будут отделены друг от друга, а точки данных, принадлежащие каждому классу, будут упакованы ближе, будет легко классифицировать точки данных. Критерий Фишера находит направление, в котором среднее значение между классами максимизируется, в то время как общая изменчивость минимизируется (общая изменчивость - это среднее значение ковариационных матриц внутри класса). И для каждых двух классов есть только одна такая линия. Вот почему, когда ваши данные имеют Х классов , LDA может предоставить вам не более Х-1 размерностей, независимо от исходной размерности данных. Если у вас есть только 2 класса A и B, вы получите одномерную проекцию, то есть линию.
Смотри детально https://informatics-ege.blogspot.com/2022/06/fishers-linear-discriminant-in-python.html
Максимизация этого выражения = цель Fischer LDA
где Xnk — n-й пример данных в k-м классе, Nk — количество примеров в k-м классе, m — общее среднее значение всех данных, а mk — среднее значение k-го класса. Теперь, используя дуальный Лагранж и условия ККТ, задачу максимизации J можно преобразовать в решение:
которая является проблемой собственных значений для матрицы inv(Sw).Sb . Таким образом, нашим окончательным решением для w будут собственные векторы приведенного выше уравнения, соответствующие наибольшим собственным значениям. Для приведения к d' измерениям мы берем d' самых больших собственных значений, так как они будут содержать больше всего информации. Также обратите внимание, что если у нас есть K классов, максимальное значение d′ может быть K−1