Архитектуры нейронных сетей
Архитектура нейронной сети определяет структуру и способы обработки информации внутри сети. Она состоит из взаимосвязанных нейронов, которые обрабатывают и передают информацию друг другу. Нейронная сеть учится на основе данных и принимает решения на основе опыта. Её компоненты, такие как нейроны, слои и функции активации, взаимодействуют для достижения цели. Сверточные нейронные сети - эти сети часто используются в компьютерном мире и для обработки изображений. Они имеют сверточные слои, которые позволяют им извлекать признаки изображения, и пулинговые слои, которые позволяют уменьшить размер выходных данных. Фильтры, или ядра свёртки, передают изображение, сканируя его пиксели и выявляя такие особенности, как границы, текстуры, цвета и другие. Они используют полносвязные соединения на выходе. Эти уровни объединяют все извлеченные признаки и позволяют сети делать предсказания или классифицировать объекты. Автоэндокеры - Это нейронные сети, которые обучаются восстанавливать входные данные из их сжатого представления. Они могут использоваться для уменьшения размерности данных или для генерации новых данных. Глубокие нейронные сети класс алгоритмов машинного обучения, который моделирует высокоуровневые абстракции данных с помощью составных нелинейных преобразований. Позволяет нейронным сетям автоматически изучать данные и выявлять полезные признаки самостоятельно. Это достигается благодаря использованию глубоких архитектур нейронных сетей, состоящих из множества слоев. Deep learning имеет несколько слоев для моделирования сложных и абстрактных представлений данных. Генеративные состязательные сети - это архитектура глубокого обучения. Она учит две нейронные сети конкурировать друг с другом и генерировать более реалистичные новые данные из заданного для обучения их набора. Например, можно создавать изображения или оригинальную музыку из соответствующих баз данных. В полносвязных нейронных сетях каждый нейрон передает свой
выходной сигнал остальным нейронам, в том числе и самому себе. Все
входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. В многослойных (слоистых) нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из слоев, пронумерованных слева направо. Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные 14 сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько скрытых слоев. Связи от выходов нейронов некоторого слоя q к входам нейронов следующего слоя (q+1) называются последовательными. Монотонные. Каждый слой, кроме выходного, разбит на два блока: Блоки возбуждения и торможения. Связи между блоками также разделены на два типа: Тормозящие связи и возбуждающие связи. Если между нейронами блока присутствуют только возбуждающие связи, то выходной сигнал блока будет монотонно неубывающей функцией любого выходного сигнала этого блока.Если же связи между нейронами блока являются только тормозящими, то выходной сигнал блока будет невозрастающей функцией любого выходного сигнала этого блока.Монотонные сети требуют, чтобы зависимость выходного сигнала нейрона от параметров входных сигналов была монотонной.
Сети без обратных связей. В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый 15 выходной сигнал q-го слоя подается на вход всех нейронов (q+1)-го слоя; однако возможен вариант соединения q-го слоя с произвольным -м слоем. Среди многослойных сетей без обратных связей различают полносвязные (выход каждого нейрона q–го слоя связан с входом каждого нейрона (q+1)–го слоя) и частично полносвязные.
Это рекуррентные сети - эти нейронные сети используются для обработки последовательностей данных, таких как тексты, речь или временные ряды. Они имеют петли в своей архитектуре, что позволяет им учитывать предыдущие состояния при обработке новых данных. Особенностью RNN является их внутреннее состояние или "память", которая позволяет им хранить информацию о предыдущих входах. Это позволяет моделировать долгосрочные зависимости и обрабатывать последовательности переменной длины.
Одной из наиболее широко используемых архитектур RNN является LSTM (Long Short-Term Memory) - долгая краткосрочная память. LSTM вводит специальные клетки памяти, которые помогают контролировать и хранить информацию о предыдущих состояниях сети. В сетях с обратными связями информация с последующих слоев
передается на предыдущие.
Слоисто-циклические, отличающиеся тем, что слои замкнуты в кольцо: последний слой передает свои выходные сигналы первому; все слои равноправны и могут как получать входные сигналы, так и выдавать выходные;
Слоисто-полносвязные состоят из слоев, каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; в каждом слое цикл работы распадается на три части: прием сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и передача к следующему слою;
Полносвязно-слоистые, по своей структуре аналогичные слоисто-полно-связным, но функционирующим по-другому: в них не разделяются фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев принимают сигналы от нейронов как своего слоя, так и последующих.
Нейронные сети можно разделить по типам структур нейронов на гомогенные (однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации.
Еще одна классификация делит нейронные сети на синхронные и асинхронные. В первом случае в каждый момент времени лишь один нейрон меняет свое состояние, во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Алгоритмически ход времени в нейронных сетях задается итерационным выполнением однотипных действий над нейронами.