Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Как реализуются инварианты в нейронных сетях?

ТехнологииПрограммирование+3
  · 580
Openstack DevOps and IBM/Informix Certified DBA . Phd in Math (Duality of spaces of...  · 17 нояб 2021
Инвариантность в нейронных сетях
Инвариантность к группе преобразований в нейронных сетях может быть просто определена как инвариантность (неизменность) выходных данных нейронных сетей по отношению к этой группе, действующей на входные данные.
Отображение f: X → Y инвариантно относительно G (или G-инвариантно), если:
Здесь:
X - вход в нейронную сеть.
G - это группа преобразований, подобная двухмерному вращению изображения.
f - нейронная сеть, которая преобразует ввод в метку
Например, классификационная нейронная сеть будет называться инвариантной к вращению, если вращение входных данных не изменяет прогнозы нейронной сети.
Причинность и инвариантность
Мы сформулируем основную причинную структуру процесса генерации данных, чтобы понять, почему большинство проблем машинного обучения имеют инвариантную структуру. Давайте сначала определим домен.Домен может обозначать различные условия измерения, такие как места, время, экспериментальные условия, контексты во время сбора данных. В приведенном ниже примере знака освещение (настройки камеры и освещение), размер (масштабирование камеры) и перевод являются примерами атрибутов, которые определяют домен
На изображении выше показана структурно-причинная модель (SCM) процесса генерации данных. Соответствующий направленный ациклический график (DAG) показан слева, где серый узел обозначает наблюдаемую переменную, а белый узел обозначает скрытую (ненаблюдаемую) переменную. Здесь:
Рассмотрим процесс создания данных в контексте набора данных изображения для классификации. Каждое изображение имеет как причинные особенности, так и атрибуты предметной области. Атрибуты домена - это объекты без причинной связи с меткой. Причинные признаки имеют прямую причинно-следственную связь с ярлыком.Рассматривая причинную структуру процесса генерации данных, легко понять, почему проблема классификации изображений должна быть инвариантной для некоторых атрибутов данных. Дорожный знак останется дорожным знаком независимо от того, как изменяются атрибуты домена, такие как ротация и перевод, потому что между атрибутами метки и домена нет причинной связи! Этому феномену обязаны своей инвариантной структурой большинство задач машинного обучения.
Причинные нейронные сети
Основываясь на приведенных выше идеях, мы можем утверждать, что причинная нейронная сеть будет той, которая инвариантна для всех атрибутов предметной области. Точно так же правила принятия решений, которые он извлекает из причинных признаков, не должны изменяться в разных средах, поскольку причинные аспекты генерации данных остаются неизменными. Причинно-следственные связи неизменны по своему определению и сохраняются в разных средах. Тот факт, что правила причинно-следственных решений не должны изменяться от области к области, использовался для открытия причинных моделей в следующих исследованиях: минимизация инвариантного риска, причинный вывод с использованием инвариантного прогнозирования. Изображения, наблюдаемые нейронной сетью во время обучения, имеют как атрибуты предметной области, так и причинно-следственные связи. Правильная нейронная сеть будет учиться только на основе причинно-следственных связей и будет полностью инвариантна для всех атрибутов домена. Но, к сожалению, это бывает редко. В большинстве случаев нейронные сети никоим образом не ограничены изучением инвариантности, поэтому они будут изучать инвариантность только в том случае, если это приведет к меньшим потерям при обучении данных. Но это произойдет только в том случае, если сам набор данных инвариантен к атрибутам домена, что обычно не так. Ложные корреляции между атрибутами домена и меткой - обычное дело. Мы увидим такие примеры ниже, но давайте сначала формализуем инвариантность в наборах данных.
Далее смотри ( written English comprehension is a must )