WWW.KN.LIB-I.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Различные ресурсы
 


«УДК 621.8:681.5 М.Э. КУССУЛЬ ГРАФЫ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ Abstract: The article is devoted to theoretical problems of modular neural networks representation with ...»

УДК 621.8:681.5

М.Э. КУССУЛЬ

ГРАФЫ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ

Abstract: The article is devoted to theoretical problems of modular neural networks representation with directed

graphs. There are given definitions of cycles and the classification of cycles by proposed graph representation.

Characteristics of most practically interesting types of cycles are considered. The proposed representation is meant

for general analysis of modular neural networks architectures and in the first place for the analysis with automatic systems.

Key words: neural networks, modular neural networks, graphs of neural networks.

Анотація: Стаття присвячена теоретичним питанням опису модульних нейронних мереж за допомогою направлених графів. На основі запропонованого опису подані визначення циклів і проведена їх класифікація.

Розглянуті властивості найбільш цікавих з практичної точки зору циклів. Запропонований опис призначений для загального аналізу архітектур модульних мереж і, в першу чергу, для аналізу архітектур автоматичними системами.

Ключові слова: нейронні мережі, модульні нейронні мережі, графи нейронних мереж.

Аннотация: Статья посвящена теоретическим вопросам описания модульных нейронных сетей при помощи направленных графов. На основе предложенного представления даны определения циклов и проведена их классификация. Рассмотрены свойства наиболее интересных с практической точки зрения типов циклов. Предложенное представление предназначено для общего анализа архитектур модульных сетей и, в первую очередь, для анализа архитектур автоматическими системами.

Ключевые слова: нейронные сети, модульные нейронные сети, графы нейронных сетей.

1. Введение В последнее десятилетие в области использования искусственных нейронных сетей активно развивается модульный подход [1]. Модульные сети, в частности, позволяют разбивать сложные задачи распознавания на простые подзадачи, решаемые отдельными модулями или подсетями, и конструировать решение проблемы в целом как совокупность решенных подзадач. Под модульной нейронной сетью мы понимаем произвольный набор алгоритмов обработки данных, включая алгоритмы искусственных нейронных сетей, объединенных для решения некоторой задачи.

Применение модульных нейронных сетей требует решения нескольких проблем как частного, так и общего характера. К проблемам частного характера относятся вопросы выбора архитектуры модульной сети для решения конкретной задачи. Например, в случае разделения на подзадачи возникает вопрос наиболее приемлемого разбиения задачи с точки зрения конечного результата ее решения. К проблемам общего характера относятся способы объединения разнотипных алгоритмов в единую модульную сеть, порядок пересчета и методы обучения модульных нейронных сетей как целого. Порядком пересчета модульной сети будем называть последовательность применения алгоритмов для обработки входных данных.

Под способами объединения разнотипных алгоритмов в единую сеть мы подразумеваем, в первуюочередь, правила передачи данных между модулями сети. Использование правил обмена данными актуально, например, в тех случаях, когда разрешенный диапазон выходных значений предыдущего модуля не совпадает с разрешенным диапазоном входных значений последующего модуля. Это также относится к преобразованиям дискретных величин в непрерывные и обратно.

Проблемы передачи данных решаются, например, с помощью масштабирования, смещения и аналогичных линейных преобразований, которые могут быть представлены самостоятельными модулями и включены в сеть между соответствующими алгоритмами (модулями). Большинство

–  –  –





автоматически определять последовательность работы алгоритмов (модулей) сети.

В данной статье предлагается описание модульных нейронных сетей при помощи направленных графов. На основе предложенного описания даны определения и рассмотрены свойства наиболее интересных, с практической точки зрения, типов циклов в модульных сетях.

Графы модульных сетей и свойства рассмотренных циклов используются для анализа архитектур нейронных сетей, в частности, автоматическими системами. Вопросам применения предлагаемого подхода будут посвящены последующие статьи по этой теме.

2. Представление модульных сетей в виде направленных графов G( V, E ), Модульная сеть может быть описана с помощью некоторого ориентированного графа v V которого соответствуют модулям сети, а ребра e E – связям между модулями.

вершины

–  –  –

каждое из которых также является путем согласно принятому определению.

Для дальнейшего изложения нам необходимо ввести два понятия: проекции одного модуля P и степень неопределенности, или неопределенность модуля по входам U.

на другой P( b, a ) (projection) вершины (модуля) a V на вершину (модуль) Определение 1: Проекцией

–  –  –

t( v ) = 1 в том случае, если выходы соответствующего модуля сети на данном шаге еще не вычислены, и равен нулю, если модуль уже посчитан, то неопределенностью (uncertainty) вершины a будем называть сумму

–  –  –

виртуальный, то считаем, что его выходы всегда определены (вычислены).

Необходимость введения понятия «неопределенность» непосредственно следует из поставленных целей. Для проверки модульных архитектур на непротиворечивость и построение

–  –  –

3. Циклы в модульных сетях С точки зрения прикладных задач, циклы представляют особый интерес. Если исходные данные организованы в виде временных последовательностей, можно говорить о «рекуррентных» циклах.

Кроме того, если входящие в цикл модули реализуют ассоциативные поля или другие алгоритмы, для работы которых требуется несколько итераций с одним входным вектором данных, то можно говорить об итерационных циклах. Таким образом, кроме различия в архитектурах, цикл может быть «рекуррентным» либо «итерационным».

Для описания рекуррентных циклов необходимо вводить понятия такта работы сети, для итерационных достаточно говорить о количестве «обходов» цикла, где под обходом цикла подразумевается однократный пересчет всех модулей, входящих в этот цикл. Обсуждение работы модульных сетей с временными последовательностями требует введения дополнительных определений и правил. Поэтому в данной работе ограничимся обсуждением общих определений типов циклов, возможных при разработках архитектур модульных сетей. Подробное исследование свойств таких циклов будет обсуждаться в последующих статьях. В дальнейшем везде, где рассматриваются вопросы построения очередей для установления порядка пересчета модулей в сети и алгоритмы построения очередей, предполагается, что речь идет об итерационных циклах.

3.1. Основные типы циклов и базовые определения В первую очередь нам понадобится общее определение цикла в модульных сетях.

–  –  –

d, требуется посчитать оба модуля b и c. Заметим, что такой же порядок счета требует и Аксиома 1.

Из определения цикла непосредственно следует, что виртуальные модули (входы и выходы) никогда не входят ни в один цикл, поскольку модуль входов не имеет входящих ребер, а модуль выходов – выходящих. Кроме того, согласно условиям, накладываемым на граф, представляющий модульную сеть, любой цикл обязательно имеет как входящие, так и выходящие внешние ребра. То есть такие ребра, которые связывают вершины цикла с вершинами, не принадлежащими этому циклу.

Для любого цикла в модульной нейронной сети можно выделить три группы особых вершин. Вершины, которые имеют входящие ребра от вершин, не принадлежащих этому циклу.

Вершины, имеющие выходящие ребра, которые входят в вершины за пределами цикла. И вершины, выходящие ребра которых являются входящими ребрами начальной вершины цикла.

Особый интерес представляют некоторые из перечисленных вершин. Например, из всех возможных циклов для анализа и работы с модульными сетями интерес представляют те, у которых начальная вершина является первой, в которую поступают данные от входов модульной сети.

Дадим формальное определение вершин, которые будут использоваться в дальнейшем.

d ( w ), которое в данном случае будем считать Для этого воспользуемся понятием длины пути

–  –  –

Обыкновенный цикл может быть представлен только единственным образом, в отличие от циклов общего вида, которые тождественны с точностью до выбора начальной вершины.

Перекрестные циклы этим свойством не обладают.

3.2. Свойства циклов и дополнительные определения Разработка правил для анализа архитектур модульных сетей автоматической системой существенно упрощается, если строить правила анализа на основе свойств, присущих графам модульных сетей. Общие свойства циклов будут подробно рассмотрены в следующей статье.

Здесь же рассматриваются определения и свойства некоторых частных случаев, имеющих особое значение при проектировании модульных нейронных сетей, содержащих циклы. Рассматриваемые ISSN 1028-9763. Математичні машини і системи, 2005, № 1 частные случаи представляют самостоятельный интерес с точки зрения построения правил для пересчета таких сетей.

Определение 6: Простым циклом будем называть такой обыкновенный цикл, для всех вершин которого любой замкнутый путь проходит через начальную вершину этого цикла. То есть цикл

–  –  –

определению простого цикла. Таким образом, в простом цикле все пути из начальной вершины в нее же являются элементарными и, по определению, образуют проекцию. То есть, простой цикл совпадает с проекцией начальной вершины на саму себя.

Определение 7: Триггерным циклом (trigger cycle) будем называть такой цикл, который содержит

–  –  –

Тривиальный пример такого цикла представлен на рис. 1.

3.2.1. Пересечения простых циклов Самостоятельный интерес представляют некоторые виды циклов, которые можно представить как совокупность пересекающихся простых циклов. Такое представление существует, если вершины и ребра исходного цикла можно разбить на два или более множества, удовлетворяющих четырем условиям:

1) каждая вершина и ребро исходного цикла принадлежит хотя бы одному из этих множеств;

2) каждое множество вершин и ребер образует простой цикл, если удалить все ребра исходного цикла, которые не принадлежат данному множеству;

3) каждое множество имеет непустое пересечение не менее чем с одним другим множеством (имеет общие вершины и ребра);

4) ни одно из этих множеств не является подмножеством другого.

Условие, что каждое из этих множеств вершин и ребер должно представлять собой цикл, является принципиальным с точки зрения анализа модульной сети автоматической системой. При несоблюдении данного условия и использовании методики замещения циклов «метавершинами»

можно получить непредсказуемые результаты. Методика замещения обсуждается в последующих статьях.

–  –  –

V2 = { b, d, e, f }. Очевидно, что при любом другом выделении вершин в получаемые простые циклы не попадут одно или два ребра исходного цикла, что не удовлетворяет условиям представления в виде пересекающихся простых циклов.

–  –  –

Не любые пересечения простых циклов представляют интерес с точки зрения анализа модульных нейронных сетей. Рис. 5.2 иллюстрирует случай, когда произвольное разбиение на простые циклы приводит к нарушению Аксиомы 1. Действительно, с точки зрения выполнения a или b будет посчитан раньше. Однако прежде чем Аксиомы 1 неважно, который из модулей

–  –  –

Примером сцепленных циклов является цикл, показанный на рис. 5. Однако чтобы рассматривать данный цикл как случай сцепленных простых циклов согласно Определению 8, допустимо лишь разделение, показанное на рис. 5.3, то есть сцепленными являются простые V1 = { a, c, d, e, f } и V2 = { b, c, d,e, f }.

циклы, содержащие вершины ISSN 1028-9763. Математичні машини і системи, 2005, № 1 35 Как для сцепленных, так и для вложенных циклов, не важно, в проекцию какой из множества возможных граничных вершин попадают общие вершины пересекающихся циклов.

Рис. 7 иллюстрирует простейшие архитектуры различных типов циклов.

Введение понятия сцепленных циклов в первую очередь связано с возможностью представления Ассоциативно-Проективных Нейронных Сетей (АПНС) в виде модульной нейронной сети, где каждый модуль представляет собой ассоциативное или проективное поле [6]. Поскольку в АПНС предусмотрена как возможность композиции, так и декомпозиции, то сцепленные циклы и предоставляют возможность описать распространение возбуждения нейронной сети в обе стороны.

В свою очередь вложенные циклы позволяют моделировать, например, рекуррентные циклы, включающие итеративные ассоциативные сети.

3.2.2. Основные свойства сцепленных и вложенных циклов Теорема 1: Если начальная вершина одного из сцепленных циклов принадлежит другому, то такие циклы образуют обыкновенный цикл.

Доказательство: Чтобы цикл был обыкновенным, необходимо показать, что в цикле не существует никаких двух вершин, принадлежащих проекциям друг друга на входы.

C f, образованный двумя сцепленными простыми циклами Пусть существует цикл Co f 1 ( V f 1, E f 1 ) и Co f 2 (V f 2, E f 2 ), причем начальная вершина второго цикла принадлежит

–  –  –

есть любая замкнутая цепь включает хотя бы одну вершину пересечения, а, следовательно, и общую начальную вершину.

Следствие 1.2: Если пересечение двух простых циклов содержит цикл, то этот цикл простой и начальные вершины пересекающихся циклов совпадают:

–  –  –

C g Co f 1 I Co f 2, который является подмножеством вершин и ребер каждого из них. Поскольку Co f 1 простой, то все замкнутые пути проходят через начальную вершину f 1, и эта вершина

–  –  –

Утверждение 2: Если два простых цикла сцеплены и ни одна из начальных вершин не принадлежит пересечению этих циклов, то такие сцепленные циклы образуют перекрестный цикл.

Доказательство этого утверждения следует из общих свойств обыкновенных циклов и будет приведено в следующей статье. Заметим, что из Теоремы 1 непосредственно следует, что вложенные циклы образуют один обыкновенный цикл.

4. Выводы В статье приведены новые теоретические результаты, полученные на основе представления модульных нейронных сетей в виде направленных графов. Особое значение предлагаемое описание имеет для систем автоматического анализа архитектур нейронных сетей и, в частности, систем автоматического проектирования. Наиболее интересные результаты относятся, к архитектурам модульных сетей, содержащих циклы. Очевидно, что для счета приведенных архитектур требуются различные допущения о правилах и порядке обхода циклов. В качестве основы таких правил могут быть использованы свойства предложенных типов циклов.

В модульных нейронных сетях циклы различаются не только по типам архитектур, но также по типам обрабатываемых данных и используемым алгоритмам нейронных сетей. Рассмотренные в статье виды циклов позволяют учесть специфику обрабатываемых данных и нейросетевых алгоритмов в виде соответствующих модульных архитектур.

Предложенная теория была успешно использована в подсистеме автоматического анализа модульных архитектур САПР МНН [2]. Общие свойства циклов, алгоритмы обнаружения и анализа циклов, алгоритмы построения очередей счета модулей в сетях и другие вопросы практического применения предложенной теории будут изложены в последующих публикациях.

СПИСОК ЛИТЕРАТУРЫ

1. Галинская А.А. Модульные нейронные сети: обзор современного состояния разработок // Математические машины и системы. – 2003. – № 3, 4. – С. 87 – 102.

2. Резник А.М., Куссуль М.Э., Сычев А.С., Садовая Е.Г., Калина Е.А. Система проектирования модульных нейронных сетей САПР МНС // Математические машины и системы. – 2002. – № 3. – С. 28 – 37.

3. Kussul M.E., Galinskaya A.A. Comparative study of modular classifiers and its training // Proc. of the X-th International Conference “Knowledge – Dialog – Solution” KDS 2003. – Varna, Bulgaria. – 2003. – 16-26 June. – P.168 – 174.

4. Галинская А.А. Архитектура и обучение модульных классификаторов для прикладных задач // Математические машины и системы. – 2003. – № 2. – С. 77 – 86.

5. Дистель Р. Теория графов. – Новосибирск: Изд-во Ин-та математики, 2002. – 336 с.

6. Куссуль Э.М. Ассоциативные нейроподобные структуры. – Киев: Наукова думка, 1992. – 143 с.




Похожие работы:

«ЎЗБЕКИСТОН ССР МАТБУОТИ СОЛНОМАСИ ЛЕТО ПИСЬ ПЕЧАТИ УЗБЕКСКОЙ С С Р Ў зС С Р М И Н И СТРЛАР СОВЕТИ МАТБУОТ Д АВЛАТ КОМИТЕТИ Г О С У Д А Р С Т В Е Н Н ЫЙ КОМИТЕТ СОВЕТА М И Н И С Т РО В УзССР ПО ПЕЧАТИ Ў ЗБЕ К И С Т О Н ССР ДАВЛА...»

«Электронный научно-образовательный журнал ВГПУ "Грани познания". №4 (14). Декабрь 2011 www.grani.vspu.ru к.а. ЕлисТраТоВа (Череповец) сказочный дискурс в поэзии веры полозковой Рассматривается функционирование сказочного дискурса в поэтических текстах Веры Полозковой. Доминанта выделенного дискурса – "энергетически сильные макроте...»

«WinTronic – 28 I. Описание Регулятор температуры WinTronic 28 предназначен для котлов центрального отопления. Он управляет циркуляционным насосом воды ЦО, насосом горячей воды ГХВ и наддувом (вентилятор).Контролле...»

«– " "–,.,,.,,,,.,. " " :,,,,., " " :,,,, Содержание Введение 1. Алеппо как цель и повод 2. Вызов или упрямство 3. Расширяющееся влияние 4. Новый старый вопрос 5. Смешанная война 6. Два конфликтных проекта 7. Нынешние стандарты Вв...»

«1. Герф С. До підсумків перевірки вишівських осередків КП(б)У// студент революції. – 1930. – №15. – С.4–6.2. Гуревич З. Шлюбне життя студентства // Студент революції. – 1927. – №2–3 – С.53–58.3. Гуревич З.А. Полове життя студентства // Студент революції...»

«В. Э. Гончаров, В. П. Елизаров КАЗУС НАВАЛЬНОГО: СЕТЕВОЙ ФАНДРАЙЗИНГ КАК ИНСТРУМЕНТ ПОЛИТИЧЕСКОЙ МОБИЛИЗАЦИИ Предметом статьи являются новые тенденции политического фандрайзинга, связанные с использованием сети Интернет как средства политической коммуникации и мобилизации. Анализ американской практики фандрайзинга последнего десятиле...»

«ДОГОВОР на оказание услуг по обращению с твердыми коммунальными отходами г. Калуга "_" _ 20 г. Общество с ограниченной ответственностью "Калужский завод по производству альтернативного топлива" (ООО "КЗПАТ"), именуемое в дальнейшем оператором по обращению с твердыми коммунальными отходами, в лице генерального директора Квача Дмитр...»

«Елена Арсеньева Ядовитая орхидея (Си Тайхоу (Цыси), Китай) Серия "Преступления страсти. Жажда власти" Издательский текст http://www.litres.ru/pages/biblio_book/?art=167783 Преступления страсти. Жажда власти: Эксмо; М.; 2008 ISBN 978-5-699-2882...»

«ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ МОСКОВСКИЙ ГОРОДСКОЙ УНИВЕРСИТЕТ УПРАВЛЕНИЯ ПРАВИТЕЛЬСТВА МОСКВЫ УТВЕРЖДАЮ Ректор МГУУ Правительства Москвы Профессор _ А.М. Марголин "_"2013 г. Рабочая программа учебной дисциплины послевузовского профессионального образовани...»

«Чистая вода очень важна для человеческого существования, но в настоящее время она стала глобальной проблемой. Более полумиллиарда людей умирают ежегодно от недостатка воды или ее плохого качества. По данным Всемирной организации здравоохранения 80 % всех заболеваний людей связаны с ненадлежащим...»








 
2017 www.kn.lib-i.ru - «Бесплатная электронная библиотека - различные ресурсы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.