В глубоком обучении сверточная нейронная сеть (CNN или ConvNet) представляет собой класс искусственных нейронных сетей, наиболее часто применяемых для анализа визуальных образов. Они также известны как инвариантные к сдвигу или пространственно-инвариантные искусственные нейронные сети (SIANN), основанные на архитектуре ядер свертки или фильтров с общим весом, которые скользят по входным объектам и обеспечивают эквивалентные отклики перевода, известные как карты признаков. Как это ни парадоксально, но большинство сверточных нейронных сетей только эквивариантны, а не инвариантны, по отношению к трансляции. У них есть приложения для распознавания изображений и видео, рекомендательных систем, классификации изображений, сегментации изображений, анализа медицинских изображений, обработки естественного языка , интерфейсов мозг-компьютер и финансовых временных рядов .
CNN - это регуляризованные версии многослойных персептронов. Многослойные перцептроны обычно означают полностью связанные сети, то есть каждый нейрон в одном слое связан со всеми нейронами следующего слоя. «Полная связность» этих сетей делает их склонными к переобучению данных. Типичные способы регуляризации или предотвращения переобучения включают: штрафные параметры во время обучения (например, снижение веса) или ограничение возможности подключения (пропущенные соединения, выпадение и т. д.). CNN используют другой подход к регуляризации: они используют преимущества иерархической структуры данных. и собирать узоры возрастающей сложности, используя более мелкие и простые узоры, тисненные в их фильтрах. Следовательно, по шкале подключения и сложности CNN находятся на нижнем пределе.
Сверточные сети были вдохновлены биологическими процессами в том смысле, что паттерн связи между нейронами напоминает организацию зрительной коры головного мозга животных. Отдельные нейроны коры отвечают на стимулы только в ограниченной области поля зрения, известной как рецептивное поле. Восприимчивые поля разных нейронов частично перекрываются, так что они покрывают все поле зрения.
CNN используют относительно небольшую предварительную обработку по сравнению с другими алгоритмами классификации изображений. Это означает, что сеть учится оптимизировать фильтры (или ядра) посредством автоматического обучения, тогда как в традиционных алгоритмах эти фильтры создаются вручную. Эта независимость от предшествующих знаний и вмешательства человека в извлечение признаков является большим преимуществом.
Сверточная нейронная сеть состоит из входного слоя, скрытых слоев и выходного слоя. В любой нейронной сети с прямой связью любые промежуточные слои называются скрытыми, потому что их входы и выходы маскируются функцией активации и окончательной сверткой. В сверточной нейронной сети скрытые слои включают в себя слои, которые выполняют свертки. Обычно это включает в себя слой, который выполняет скалярное произведение ядра свертки с входной матрицей слоя. Этот продукт обычно является внутренним продуктом Фробениуса, и его функцией активации обычно является ReLU. По мере того, как ядро свертки скользит по входной матрице для слоя, операция свертки генерирует карту признаков, которая, в свою очередь, вносит свой вклад во входные данные следующего слоя. За ним следуют другие слои, такие как слои объединения, полностью связанные слои и слои нормализации.