Просмотр кода страницы Нейроуправление

'''Нейроуправление''' ({{lang-en|Neurocontrol}}) — частный случай [[Интеллектуальное управление|интеллектуального управления]], использующий [[Искусственная нейронная сеть|искусственные нейронные сети]] для решения задач управления динамическими объектами. Нейроуправление находится на стыке таких дисциплин, как [[искусственный интеллект]], [[нейрофизиология]], [[теория автоматического управления]], [[робототехника]]. [[Искусственная нейронная сеть|Нейронные сети]] обладают рядом уникальных свойств, которые делают их мощным инструментом для создания систем управления: способностью к обучению на примерах и обобщению данных, способностью адаптироваться к изменению свойств объекта управления и внешней среды, пригодностью для синтеза нелинейных регуляторов, высокой устойчивость к повреждениям своих элементов в силу изначально заложенного в нейросетевую архитектуру параллелизма. Термин «нейроуправление» впервые был использован одним из авторов [[Метод обратного распространения ошибки|метода обратного распространения ошибки]] Полом Дж. Вербосом в 1976 году<ref>{{Cite web |url=http://users.kpi.kharkov.ua/Mahotilo/Docs/Book1/book1.html |title=Вороновский Г. К., Генетические алгоритмы, искусственные нейронные сети, 1997 |accessdate=2011-09-03 |archiveurl=https://web.archive.org/web/20110819104235/http://users.kpi.kharkov.ua/mahotilo/Docs/Book1/book1.html |archivedate=2011-08-19 |deadlink=yes }}</ref><ref>[http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=118583 Werbos, P.J. Backpropagation and neurocontrol: a review and prospectus // International Joint Conference on Neural Networks, Vol. 1. — P. 209—216. — Washington, DC , USA, 18-22 Jun 1989]</ref>.
Известны многочисленные примеры практического применения нейронных сетей для решения задач управление самолётом<ref>{{Cite web |url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.98.2481&rep=rep1&type=pdf |title=Gundy-Burlet K., Krishnakumar K., Limes G., Bryant D. Augmentation of an Intelligent Flight Control System for a Simulated C-17 Aircraft // J. of Aerospace Computing, Information, and Communication. — 2004. — Vol. 1, N 12. — P. 526—542 |access-date=2011-08-26 |archive-date=2016-03-06 |archive-url=https://web.archive.org/web/20160306150045/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.98.2481&rep=rep1&type=pdf |deadlink=no }}</ref><ref>{{Cite web |url=http://library.mephi.ru/data/scientific-sessions/2010/neiroinform/ch2/5-1-1.doc |title=Кондратьев А. И., Тюменцев Ю. В. Нейросетевое адаптивное отказоустойчивое управление движением маневренного самолета // XII Всероссийская научно-техническая конференция «Нейроинформатика — 2010»: Часть 2. — М.: НИЯУ МИФИ, 2010. — С. 262—273. |access-date=2011-10-28 |archive-date=2016-03-04 |archive-url=https://web.archive.org/web/20160304185549/http://library.mephi.ru/data/scientific-sessions/2010/neiroinform/ch2/5-1-1.doc |deadlink=no }}</ref>, вертолётом<ref>{{Cite web |url=http://www.iai.dn.ua/public/JournalAI_2000_3/2/290-298.pdf |title=Никифорова Л. Н., Петросян Э. А., Якеменко Г. В. Нейрокомпьютеры в управлении вертолетами // Искусственный интеллект. — 2000. — № 3. — С. 290—298 |access-date=2011-10-28 |archive-date=2015-10-10 |archive-url=https://web.archive.org/web/20151010054758/http://www.iai.dn.ua/public/JournalAI_2000_3/2/290-298.pdf |deadlink=no }}</ref>, автомобилем-роботом<ref>[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.2.6654&rep=rep1&type=pdf D. Gu and H. Hu. Neural Predictive Control for a Car-like Mobile Robot // International Journal of Robotics and Autonomous Systems, Vol. 39, No. 2-3, May, 2002]</ref>, скоростью вращения вала двигателя<ref>Терехов В. А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления: Учеб. пособие для вузов. — М.: Высш. школа 2002. — 183 с.</ref>, гибридным двигателем автомобиля<ref name=autogenerated2>{{Cite web |url=http://home.comcast.net/~dvp/ProkhorovNN07web.pdf |title=Danil V. Prokhorov. Toyota Prius HEV Neurocontrol and Diagnostics // Neural Networks. — 2008. — No. 21. — P. 458—465 |access-date=2011-09-02 |archive-date=2009-07-31 |archive-url=https://web.archive.org/web/20090731081955/http://home.comcast.net/~dvp/ProkhorovNN07web.pdf |deadlink=no }}</ref>, электропечью<ref>{{Cite web |url=http://cee.uma.pt/morgado/Down/DIAS401.PDF |title=Dias F.M., Mota A.M. Comparison between Different Control Strategies using Neural Networks // 9th Mediterranean Conference on Control and Automation. — Dubrovnik, Croatia, 2001 |access-date=2011-08-26 |archive-date=2016-09-27 |archive-url=https://web.archive.org/web/20160927170053/http://cee.uma.pt/morgado/Down/DIAS401.PDF |deadlink=no }}</ref>, турбогенератором<ref>{{Cite web |url=http://web.mst.edu/~ganeshv/Implementation_of_Adaptive_Critic_Based_Neurocontrollers_for_Turbogenerators_in_a_Multimachine_Power_System.pdf |title=Venayagamoorthy G.K., Harley R.G., Wunsch D.C. Implementation of Adaptive Critic-based Neurocontrollers for Turbogenerators in a Multimachine Power System, IEEE Transactions on Neural Networks. — 2003. — Vol. 14, Issue 5. — P. 1047—1064. |accessdate=2011-08-26 |archiveurl=https://web.archive.org/web/20100612174308/http://web.mst.edu/~ganeshv/Implementation_of_Adaptive_Critic_Based_Neurocontrollers_for_Turbogenerators_in_a_Multimachine_Power_System.pdf |archivedate=2010-06-12 |deadlink=yes }}</ref>, сварочным аппаратом<ref>[http://www.sciencedirect.com/science/article/pii/S0736584506000378 D’Emilia G., Marrab A., Natalea E. Use of neural networks for quick and accurate auto-tuning of PID controller // Robotics and Computer-Integrated Manufacturing. — 2007. — Vol. 23. — P. 170—179.]</ref>, пневмоцилиндром<ref>{{Cite web |url=http://ics.khstu.ru/media/2010/N21_14.pdf |title=Змеу К. В., Марков Н. А., Шипитько И. А., Ноткин Б. С. Безмодельное прогнозирующее инверсное нейроуправление с регенерируемым эталонным переходным процессом // Интеллектуальные системы. — 2009. — № 3. — С. 109—117. |access-date=2011-08-26 |archive-date=2016-09-27 |archive-url=https://web.archive.org/web/20160927111517/http://ics.khstu.ru/media/2010/N21_14.pdf |deadlink=no }}</ref>, системой управления вооружением легкобронированных машин<ref>{{Cite web |url=http://www.kpi.kharkiv.edu/eie/pdf/eie_2008-3.pdf |title=Кузнецов Б. И., Василец Т. Е., Варфоломеев А. А. Синтез нейроконтроллера с предсказанием для двухмассовой электромеханической системы //Электротехника и электромеханика. — 2008. — Т. 3. — С. 27 — 32. |accessdate=2011-10-28 |archiveurl=https://web.archive.org/web/20151026122728/http://www.kpi.kharkiv.edu/eie/pdf/eie_2008-3.pdf#page=27 |archivedate=2015-10-26 |deadlink=yes }}</ref>, моделью перевернутого маятника<ref>{{Cite web |url=http://www.immsp.kiev.ua/publications/articles/2011/2011_1/01_2011_Dziuba.pdf |title=Д. А. Дзюба, А. Н. Чернодуб. Применение метода контролируемого возмущения для модификации нейроконтроллеров в реальном времени // Математические Машины и Системы. — 2010. — № 4. — С. 20 — 28.  |access-date=2011-08-26 |archive-date=2011-04-28 |archive-url=https://web.archive.org/web/20110428135826/http://www.immsp.kiev.ua/publications/articles/2011/2011_1/01_2011_Dziuba.pdf |deadlink=no }}</ref>.

== Методы нейроуправления ==
[[Файл:Схема прямого нейроуправления с обратной связью.png|мини|400пкс|Схема прямого нейроуправления с обратной связью. На такте k нейроконтроллер получает на вход уставочное значение r(k+1) и оценку текущего состояния объекта S(k) и генерирует управляющее воздействие u(k), переводя объект управления в новое положение y(k+1).]]
По способу использования нейронных сетей методы нейроуправления делятся на ''прямые'' и ''непрямые''. В ''прямых методах'' нейронная сеть обучается непосредственно генерировать управляющие воздействия на объект, в ''непрямых методах'' нейронная сеть обучается выполнять вспомогательные функции: [[Идентификация систем|идентификация объекта управления]], [[подавление шума]], оперативная настройка коэффициентов [[ПИД-регулятор|ПИД-контроллера]]. В зависимости от числа нейросетей, составляющих нейроконтроллер, системы нейроуправления делятся на ''одномодульные'' и ''многомодульные''. Системы нейроуправления, которые применяются совместно с традиционными регуляторами, называются ''гибридными''.

В области управления искусственные нейронные системы (ИНС) находят применение в задачах идентификации объектов, в алгоритмах прогнозирования и диагностики, а также для синтеза оптимальных Автоматических Систем Регулирования (АСР). Для реализации АСР на основе ИНС в настоящее время интенсивно развивается производство ''нейрочипов и нейроконтроллеров'' (НК).

В определённом смысле ИНС является имитатором мозга, обладающего способностью к обучению и ориентации в условиях неопределенности. Искусственная нейросеть сходна с мозгом в двух аспектах. Сеть приобретает знания в процессе обучения, а для сохранения знаний использует не сами объекты, а их связи — значения коэффициентов межнейронных связей, называемые ''синаптическими весами'' или ''синаптическими коэффициентами''<ref>Сабании В.Р. Автоматические системы регулирования на основе нейросетевых технологий / В.Р Сабанин, Н.И Смирнов, А.И. Репин // Труды Международной научной конференции Control-2003. М.: Издательство МЭИ, 2003.С. 45—51.</ref>''.''

В задачах нейроуправления для представления объекта управления используют модель чёрного ящика, в котором наблюдаемыми являются текущие значения входа и выхода. Состояние объекта считается недоступным для внешнего наблюдения, хотя размерность вектора состояний обычно считается фиксированной. Динамику поведения объекта управления можно представить в дискретном виде:

: <math> \begin{matrix}S(k+1)=\Phi(S(k), u(k))) \\ y(k+1)=\Psi(S(k)) \end{matrix} </math>
где: <math>S(k)\in\mathbb{R}^N</math> — состояние объекта управления порядка <math>N</math> на такте <math>k</math>; <math>u(k)\in\mathbb{R}^P</math> — значение <math>P</math>-мерного вектора управления на такте <math>k</math>, <math>y(k+1)\in\mathbb{R}^V</math> — значение <math>V</math>-мерного выхода объекта управления на такте <math>k+1</math>.

Для оценки текущего [[Переменные состояния|состояния]] объекта управления <math>S(k)</math>может быть использована модель NARX, состоящая из прошлых положений объекта <math>y</math> и задержанных сигналов управления <math>u</math>:
: <math>
S(k) = [y(k)~y(k-1)~y(k-2)~\ldots~y(k-N)~u(k-1)~u(k-2)~\ldots~u(k-Q)]^T
</math>

Вектор оценки состояния <math>S</math> может быть также представлен без использования задержанных сигналов:
: <math>
S(k) = [y(k)~y(k-1)~y(k-2)~\ldots~y(k-N)]^T
</math>

Также возможно представить состояние объекта как мгновенный снимок его фазовой траектории:
: <math>
S(k) = [y(k)~y(k)'~\ldots~y(k)^{(N)}]^T
</math>

=== Подражающее нейроуправление ===

[[Файл:Схема подражающего нейроуправления.png|мини|600пкс|Схема подражающего нейроуправления: слева — режим обучения нейронной сети; справа — режим управления]]

'''Подражающее нейроуправление'''<ref>[Widrow B., Smith F.W. Pattern-recognizing control systems // Proceedings of Computer and Information Sciences. — Washington, USA — 1964. — Vol. 12. — P. 288—317.]</ref><ref>Omidvar O., Elliott D.L. eds. Neural Systems for Control // Academic Press, New York, 1997. — 358 с.</ref><ref>Ronco E. Incremental Polynomial Controller Networks: Two Self-Organising Non-Linear Controllers // Ph.D. Disseration Thesis, Glasgow, 1997. — 207 p.</ref> (Neurocontrol learning based on mimic, controller modeling, supervised learning using an existing controller) охватывает системы нейроуправления, в которых нейроконтроллер [[Машинное обучение|обучается]] на примерах динамики обычного контроллера по [[Обратная связь (техника)|обратной связи]], построенного, например, на основе обычной [[ПИД-регулятор|ПИД-схемы управления]]. После обучения [[Искусственная нейронная сеть|нейронная сеть]] в точности воспроизводит функции исходного контроллера. В качестве примеров динамики контроллера может быть использована запись поведения человека-оператора.
Обычный контроллер по обратной связи (или человек-оператор) управляет объектом управления в штатном режиме. Значения величин на входе и выходе контроллера протоколируются, и на основе протокола формируется обучающая выборка <math>U = \{P_i, T_i\}_{i=1}^M </math> для нейронной сети, содержащая <math>M</math> пар значений входа <math>P_i</math> и ожидаемых реакций <math>T_i</math> нейросети:

: <math> \begin{matrix}P_i = [r(i+1)~S(i)]^T \\ T_i = u(i) \end{matrix} </math>

После обучения с помощью, например, [[Метод обратного распространения ошибки|метода обратного распространения ошибки]], нейронная сеть подключается вместо исходного контроллера. Полученный нейроконтроллер может заменить человека в управлении устройством, а также быть более выгодным экономически, чем исходный контроллер.

=== Обобщённое инверсное нейроуправление ===
[[Файл:Схема обобщенного инверсного нейроуправления.png|мини|600пкс|Схема обобщённого инверсного нейроуправления: слева — режим обучения инверсного нейроэмулятора; справа — режим управления объектом]]

В схеме '''обобщённого инверсного нейроуправления''' (generalized inverse neurocontrol, direct inverse neurocontrol, adaptive inverse control)<ref name=autogenerated1>[Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения: пер. с англ. — М.: ИПРЖР, 2000. — 272 с.]</ref><ref name=autogenerated3>[http://lo.epfl.ch/webdav/site/lo/shared/1988/IEEE_8_17_Apr1988.pdf Psaltis D., Sideris A., Yamamura A.A. A Multilayered Neural Network Controller // IEEE Control Systems Magazine — 1988. — Vol. 8, Issue 2. — P. 17 — 21.]{{Недоступная ссылка|date=Май 2019 |bot=InternetArchiveBot }}</ref> в качестве контроллера используется нейронная модель инверсной динамики объекта управления, называемая ''инверсный нейроэмулятор''. Инверсный нейроэмулятор представляет собой [[Искусственная нейронная сеть|нейронную сеть]], [[Машинное обучение|обученную]] в режиме офлайн имитировать обратную динамику [[Объект управления|объекта управления]] на основе записанных траекторий поведения динамического объекта. Для получения таких траекторий на объект управления в качестве управляющего сигнала подают некоторый случайный процесс. Значения управляющих сигналов и ответных реакций объекта протоколируют и на этой основе формируют обучающую выборку <math>U = \{P_i, T_i\}_{i=1}^M </math>:

: <math> \begin{matrix}P_i = [y(i)~S(i-1)]^T \\ T_i = u(i) \end{matrix} </math>

В ходе обучения [[Искусственная нейронная сеть|нейронная сеть]] должна уловить и запомнить зависимость значений управляющего сигнала <math>u(k-1)</math> от последующего значения реакции объекта управления <math>y(k)</math>, находящегося перед этим в состоянии <math>S(k-1)</math>.
При управлении объектом инверсный нейроэмулятор подключается как контроллер, получая при этом на вход <math>x(k)</math> значения ''уставки'' (некоторой величины или параметра, по достижении которого происходит изменение состояния системы) <math>r(k+1)</math> и состояния объекта управления <math>S(k)</math>, поступающего по каналу [[Обратная связь (техника)|обратной связи]]:

: <math>x(k)=[r(k+1)~S(k)]^T</math>
Предполагается, что сформированная при обучении инверсная модель объекта управления является адекватной, следовательно, сигнал управления, выдаваемый нейронной сетью, обеспечит переход объекта в положение, заданное уставкой.

=== Специализированное инверсное нейроуправление ===
'''Специализированное инверсное нейроуправление''' (specialised inverse neurocontrol)<ref name=autogenerated1 /><ref name=autogenerated3 /> использует методику обучения нейроконтроллера в режиме онлайн, используя текущую ошибку отклонения положения объекта от уставки <math>e(k)=r(k)-y(k)</math>. Схема подключения нейроконтроллера такая же, как в [[Нейроуправление#Обобщенное инверсное нейроуправление|методе обобщённого инверсного нейроуправления]]. На вход сети подается вектор <math>x(k)</math>:
: <math>x(k)=[r(k+1)~S(k)]^T</math>
Нейронная сеть генерирует управляющий вектор <math>u(k)</math>, который переводит объект управления в положение <math>y(k+1)</math>. Далее вычисляется текущая ошибка работы нейроконтроллера
: <math>e(k)=r(k+1)-y(k+1)</math>
Вычисляется градиент изменения весов
: <math>\Delta w = e(k) \frac{\partial y(k+1)}{\partial u(k)} \frac{\partial u(k)}{\partial w(k)}</math>
Затем производится коррекция весов нейроконтроллера по [[метод градиента|методу наискорейшего спуска]] или каким-либо другим [[Градиентные методы|градиентным методом]].

Производная <math>\frac{\partial y(k+1)}{\partial u(k)}</math> представляет собой [[якобиан]] объекта управления, значение которого задается аналитически по заданной математической модели объекта управления. Однако, на практике, для получения приемлемого качества управления часто бывает достаточно вычислить лишь знак якобиана. Итерации коррекции значений коэффициентов продолжаются до достижения приемлемого качества управления.

=== Метод обратного пропуска ошибки через прямой нейроэмулятор ===
[[Файл:Метод обратного пропуска ошибки через прямой нейроэмулятор.png|мини|600пкс|Метод обратного пропуска ошибки через прямой нейроэмулятор: слева — схема обучения прямого нейроэмулятора; справа — схема обучения нейроконтроллера]]

'''Метод обратного пропуска ошибки через прямой нейроэмулятор''' (backpropagation through time, model reference adaptive control, internal model control)<ref name=autogenerated2 /><ref>{{Cite web |url=http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf |title=Werbos P. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE. — October 1990. — Vol. 78, N. 10. — P. 1550—1560 |accessdate=2011-09-24 |archiveurl=https://web.archive.org/web/20100613225733/http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf |archivedate=2010-06-13 |deadlink=yes }}</ref><ref>[Jordan M.I. and Rumelhart D.E. Forwardmodels: Supervised learning with a distal teacher // Cognitive Science — 1990. — Vol. 16. — P. 313—355.]</ref><ref name=autogenerated6>[Narendra K.S., Parthasarathy K.K. Identification and control of dynamical systems using neural networks // IEEE Transactions on Neural Networks. — 1990. — N 1. — P. 4 — 27.]</ref> основан на идее применения тандема из двух [[Искусственная нейронная сеть|нейронных сетей]], одна из которых выполняет функцию [[Регулятор (теория управления)|контроллера]], а вторая — модели [[Объект управления|объекта управления]], которая носит название ''прямой нейроэмулятор''. Прямой нейроэмулятор служит для вычисления градиента ошибки нейроконтроллера в процессе его обучения и далее не используется. Можно сказать, что нейроконтроллер и нейроэмулятор представляют собой единую нейросеть, при этом при обучении нейроконтроллера веса прямого нейроэмулятора «замораживаются».
Прямой нейроэмулятор обучается первым. Для этого на вход объекта управления подаётся случайный управляющий сигнал <math>u</math>, изменяющий положение объекта управления <math>y</math>, и формируется обучающая выборка <math>U = \{P_i, T_i\}_{i=1}^M </math>:

: <math>\begin{matrix} P_i = [u(i)~S(i-1)]^T \\ T_i = y(i) \end{matrix}</math>

[[Машинное обучение|Обучение]] прямого нейроэмулятора выполняется в режиме офлайн. Прямой нейроэмулятор считается обученным, если при одинаковых значениях на входах нейроэмулятора и реального объекта отличие между значениями их выходов становится незначительным. После завершения обучения прямого нейроэмулятора проводится обучение нейроконтроллера. Обучение выполняется в режиме онлайн по такой же схеме, как и в случае [[Нейроуправление#Специализированное инверсное нейроуправление|специализированного инверсного нейроуправления]]. Сначала (на такте <math>k</math>) на вход нейроконтроллера поступает желаемое положение объекта управления для следующего такта <math>r(k+1)</math>. Нейроконтроллер генерирует сигнал управления <math>u(k)</math>, который поступает на входы объекта управления и нейроэмулятора. В результате управляемый объект переходит в положение <math>y(k+1)</math>, а нейроэмулятор генерирует реакцию <math>\hat{y}(k+1)</math>. Далее вычисляется ошибка управления <math>e(k)=\widehat{y}(k+1)-y(k+1)</math> и пропускается в обратном направлении по правилу обратного распространения. Весовые коэффициенты связей нейроэмулятора при этом не корректируются. Механизм [[Метод обратного распространения ошибки|обратного прохождения ошибки]] через прямой нейроэмулятор реализует локальную инверсную модель в текущей точке пространства состояний объекта управления. Пройдя через нейроэмулятор, ошибка далее распространяется через нейроконтроллер, но теперь её прохождение сопровождается коррекцией весовых коэффициентов нейроконтроллера. Прямой нейроэмулятор при этом выполняет функции дополнительных слоев нейроной сети нейроконтроллера, в которых веса связей не корректируются.

=== Метод нейроуправления с эталонной моделью ===
[[Файл:Нейроуправление с эталонной моделью.png|мини|400пкс|Нейроуправление с эталонной моделью]]

'''Метод нейроуправления с эталонной моделью''' (model reference adaptive control, neural adaptive control)<ref name=autogenerated6 /><ref>{{Cite web |url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.9376&rep=rep1&type=pdf |title=Venelinov Topalov, A. Kaynak. Online learning in adaptive neurocontrol schemes with a sliding mode algorithm // IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics. — 2001. — V. 31. — I. 3. — P. 445—450 |access-date=2011-10-28 |archive-date=2017-11-18 |archive-url=https://web.archive.org/web/20171118233427/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.9376&rep=rep1&type=pdf |deadlink=no }}</ref><ref>[http://www.nbuv.gov.ua/portal/natural/ii/2012/AI_2012_4%5C7/Chernodu.pdf А. Н. Чернодуб. Обучение нейроэмуляторов с использованием псевдорегуляризации для метода нейроуправления с эталонной моделью // Искусственный Интеллект. — 2012. — No. 4. — C. 602—614]{{Недоступная ссылка|date=Октябрь 2018 |bot=InternetArchiveBot }}</ref> — вариант нейроуправления по [[Нейроуправление#Метод обратного пропуска ошибки через прямой нейроэмулятор|методу обратного пропуска ошибки через прямой нейроэмулятор]] с дополнительно внедрённой в схему эталонной моделью (reference model) динамической системы, имитировать поведение которой обучается нейроконтроллер. Это делается в целях повышения качества переходного процесса: в случае, когда переход объекта в целевое положение за один такт невозможен, траектория движения и время осуществления переходного процесса становятся плохо прогнозируемыми величинами и могут привести к неустойчивости переходного процесса. Для уменьшения этой неопределенности вводится эталонная модель, представляющая собой, как правило, устойчивую линейную динамическую систему первого или второго порядка. В ходе обучения эталонная модель на такте <math>k</math> получает на вход уставку <math>r(k+1)</math> и генерирует опорную траекторию <math>y'(k+1)</math>, которая сравнивается с положением объекта управления <math>y(k+1)</math> с целью получить ошибку управления <math>e(k+1)</math>, минимизировать которую обучается нейроконтроллер.

=== Метод нейросетевой фильтрации внешних возмущений ===
[[Файл:Схема метода нейросетевой фильтрации внешних возмущений.png|мини|450пкс|Схема метода нейросетевой фильтрации внешних возмущений]]

'''Метод нейросетевой фильтрации внешних возмущений''' (adaptive inverse control based on linear and nonlinear adaptive filtering, internal model control)<ref name=autogenerated4>{{Cite web |url=http://cee.uma.pt/morgado/Down/DIAS401.PDF |title=Dias F.M., Mota A.M. Comparison between Different Control Strategies using Neural Networks // 9th Mediterranean Conference on Control and Automation. — Dubrovnik, Croatia, 2001. |access-date=2011-08-26 |archive-date=2016-09-27 |archive-url=https://web.archive.org/web/20160927170053/http://cee.uma.pt/morgado/Down/DIAS401.PDF |deadlink=no }}</ref> служит для улучшения качества работы [[Регулятор (теория управления)|контроллера]] в цепи управления. Изначально эта схема была предложена [[Уидроу|Б. Уидроу]] для использования совместно с нейроконтроллерами, обученными по методу [[Нейроуправление#Обобщенное инверсное нейроуправление|обобщенного инверсного нейроуправления]]<ref>{{Cite web |url=http://isl-www.stanford.edu/~widrow/papers/c1986adaptiveinverse.pdf |title=Widrow B., Adaptive Inverse Control // Proceedings of the 2nd IFAC Workshop on Adaptive Systems in Control and Signal Processing — Lund, Sweden, July 1986. — P. 1 — 5. |access-date=2011-09-24 |archive-date=2016-03-06 |archive-url=https://web.archive.org/web/20160306041459/http://isl-www.stanford.edu/~widrow/papers/c1986adaptiveinverse.pdf |deadlink=no }}</ref>. В более поздней работе<ref>[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.44.3107&rep=rep1&type=pdf Widrow B., Plett G.L. Adaptive Inverse Control based on Linear and Nonlinear Adaptive Filtering // Proceedings of International Workshop on Neural Networks for Identification, Control, Robotics, and Signal/Image Processing — 21 23 Aug 1996, Venice, Italy. — P. 30 — 38.]</ref> им были применены нейроконтроллеры, обученные по [[Нейроуправление#Метод обратного пропуска ошибки через прямой нейроэмулятор|методу обратного распространения ошибки через прямой нейроэмулятор]]. В принципе, нейросетевую фильтрацию ошибок можно использовать для повышения качества работы контроллера любого типа, не обязательно [[Искусственная нейронная сеть|нейросетевого]]. В этой схеме используется две предварительно обученных нейронных сети: инверсный нейроэмулятор, обученный так же, как это делается в [[Нейроуправление#Обобщенное инверсное нейроуправление|методе обобщенного инверсного нейроуправления]] и прямой нейроэмулятор, обученный так же, как это делается в [[Нейроуправление#Метод обратного пропуска ошибки через прямой нейроэмулятор|методе обратного распространения ошибки через прямой нейроэмулятор]].
Пусть на объект управления поступает управляющий сигнал <math>\hat{u}_F(k)</math>, явившийся результатом суммирования сигнала контроллера <math>\hat{u}(k)</math> и корректирующего сигнала системы фильтрации внешних возмущений <math>\hat{u}_C(k)</math>, вычисленного на предыдущем такте. Сигнал направляется на прямой нейроэмулятор объекта управления, а реакция прямого нейроэмулятора сравнивается с реальным положением системы <math>y(k)</math>. Разница этих величин <math>e(k)</math> трактуется как нежелательное отклонение системы, вызванное внешним возмущением. Для подавления нежелательного эффекта сигнал поступает на инверсный нейроэмулятор, который рассчитывает корректирующий сигнал <math>\hat{u}_C(k+1)</math> для корректировки управляющего сигнала нейроконтроллера <math>\hat{u}(k+1)</math> на следующем такте. 

Для использования этого метода объект управления должен обладать обращаемой динамикой, а также необходимо иметь адекватную математическую или имитационную модель объекта управления для обучения прямого и инверсного нейроэмуляторов.

=== Прогнозирующее модельное нейроуправление ===
[[Файл:Схема прогнозирующего модельного нейроуправления.png|мини|300пкс|Схема прогнозирующего
модельного нейроуправления]]

'''Прогнозирующее модельное нейроуправление''' (NN predictive control, model predictive control, neural generalized predictive control)<ref name=autogenerated5>{{cite doi|10.1109/ACC.1999.786109}}</ref><ref>{{cite doi|10.1201/9781315272610}}</ref> минимизирует функционал стоимости интегральной ошибки <math>Q(k)</math>, прогнозируемой на <math>L=max(L_2, L_3)</math>, <math>0\le L_1\le L_2</math> тактов вперед:

<math>Q(k) = \sum_{i=L_1}^{L_2}e(k+i)^2+\rho \sum_{i=0}^{L_3}(u(k+i)-u(k+i-1))^2.</math>

Здесь <math>e(k)</math> — ошибка выхода системы, <math>\rho</math> — вклад изменения управляющего сигнала в общий функционал стоимости <math>Q(k)</math>. Для прогнозирования будущего поведения системы и вычисления ошибок используется прямой нейроэмулятор, обученный так же, как в [[Нейроуправление#Метод обратного пропуска ошибки через прямой нейроэмулятор|методе обратного распространения ошибки через прямой нейроэмулятор]]. Примечательность рассматриваемого метода состоит в том, что в нём отсутствует обучаемый нейроконтроллер. Его место занимает [[Оптимизация (математика)|оптимизационный]] модуль, работающий в режиме реального времени, в котором может быть использован, например, [[симплекс-метод]]<ref>{{cite doi|10.1109/ICNN.1993.298772}}</ref> или [[Квазиньютоновские методы|квази-Ньютоновский алгоритм]]<ref>{{cite doi|10.1109/ISIC.1996.556214}}</ref>.

Оптимизационный модуль получает на такте целевую траекторию на <math>L</math> тактов вперед, а если её нет, то <math>L</math> раз дублирует значение текущей уставки <math>r(k+1)</math> и использует это в качестве целевой траектории. Далее, для выбора оптимального управляющего воздействия, вычисления происходят во внутреннем цикле системы нейроуправления (его итерации обозначаются как <math>j</math>). За время одного такта управления оптимизационный модуль подаёт на вход нейроэмулятора серию различных воздействий <math>\hat{u}(k+t,j)</math>, где <math>t</math> — глубина прогнозирования, <math>0\le t \le L-1</math> , получает различные варианты поведения системы, вычисляет для них функцию стоимости <math>Q(k)</math> и определяет наилучшую стратегию управления <math>ST=\{\hat{u}(k, j_1)~\hat{u}(k, j_2)~\ldots~~\hat{u}(k, j_L)\}</math>. В итоге, на объект подается управляющий сигнал <math>\hat{u}(k, j_1)</math>. На следующем такте стратегия <math>ST</math> пересчитывается заново.

=== Адаптивные критики ===
[[Файл:Схема адаптивной критики.png|мини|600пкс|Схема адаптивной критики: слева — этап управления; справа — этап обучения]]

Методы нейроуправления на основе '''адаптивной критики''' (adaptive critics), которые также известны как ''приближенное динамическое программирование'' (''approximated dynamic programming'', ''ADP''), в последние годы весьма популярны<ref>{{Cite web |url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.49.1270&rep=rep1&type=pdf |title=Prokhorov D. and Wunsch D. Adaptive Critic Designs // IEEE Transactions on Neural Networks. — 1997. — Vol. 8, N 5. — P. 997—1007. |access-date=2011-09-25 |archive-date=2013-07-08 |archive-url=https://web.archive.org/web/20130708220956/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.49.1270&rep=rep1&type=pdf |deadlink=no }}</ref><ref>{{Cite web |url=http://web.mst.edu/~ganeshv/Implementation_of_Adaptive_Critic_Based_Neurocontrollers_for_Turbogenerators_in_a_Multimachine_Power_System.pdf |title=Venayagamoorthy G.K., Harley R.G., Wunsch D.C. Implementation of Adaptive Critic-based Neurocontrollers for Turbogenerators in a Multimachine Power System", IEEE Transactions on Neural Networks. — 2003. — Vol. 14, Issue 5. — P. 1047—1064. |accessdate=2011-08-26 |archiveurl=https://web.archive.org/web/20100612174308/http://web.mst.edu/~ganeshv/Implementation_of_Adaptive_Critic_Based_Neurocontrollers_for_Turbogenerators_in_a_Multimachine_Power_System.pdf |archivedate=2010-06-12 |deadlink=yes }}</ref><ref>{{Cite web |url=http://www.princeton.edu/~stengel/ADPch3.pdf |title=Ferrari S., Stengel R.F. Model-Based Adaptive Critic Designs // Learning and Approximated Dynamic Programming, J. Si, A. Barto, W. Powell, and D. Wunsch, Eds. New York: Wiley, 2004, Chapter. 3 |access-date=2011-09-25 |archive-date=2012-04-17 |archive-url=https://web.archive.org/web/20120417054841/http://www.princeton.edu/~stengel/ADPch3.pdf |deadlink=no }}</ref><ref>{{Cite web |url=http://www.niisi.ru/iont/projects/rfbr/90197/rvgpdv.pdf |title=Редько В. Г., Прохоров Д. В. Нейросетевые адаптивные критики // VI Всероссийская научно-техническая конференция «Нейроинформатика-2004». Сборник научных трудов. Часть 2. М.: МИФИ, 2004. — C. 77 — 84. |access-date=2011-09-25 |archive-date=2011-05-11 |archive-url=https://web.archive.org/web/20110511131916/http://www.niisi.ru/iont/projects/rfbr/90197/rvgpdv.pdf |deadlink=no }}</ref>. Системы адаптивной критики выбирают управляющий сигнал на основе минимизации функционала оценок ошибок будущего с бесконечным горизонтом:
: <math>
J(k) = \sum_{i=0}^{\infty}\gamma^ie(k+i)^2.
</math>

Здесь <math>\gamma</math> — коэффициент забывания, <math>0<\gamma\le1</math>, <math>e(k)=r(k+1)-y(k+1)</math> — отклонение траектории объекта управления от уставки, вычисляемое на каждом такте работы системы.
Система включает два нейронных модуля: ''нейроконтроллер'' и ''модуль критики'' (''критик''). Модуль критики выполняет аппроксимацию значений функционала стоимости <math>J(k)</math>, нейроконтроллер обучают минимизировать функционал стоимости <math>J(k)</math>.

В режиме управления объектом на вход нейроконтроллера поступает вектор <math>x(k) = [r(k+1)~S(k)]^T</math>, вызывающий появление на его выходе сигнала управления <math>u(k)</math>, в результате чего [[объект управления]] переходит в положение <math>y(k+1)</math>. Далее производится вычисление значения текущей ошибки управления <math>e(k)</math>.
Модуль критики, получая на входе вектор <math>z(k)=[r(k+1)~u(k)~S(k)]^T</math>, производит оценку функции стоимости <math>J(k)</math>. На следующем такте процесс повторяется: вычисляются новые значения <math>e(k+1)</math> и <math>J(k+1)</math>.
[[Машинное обучение|Обучение]] системы нейроуправления происходит в режиме онлайн и состоит из двух этапов: обучения модуля критики и обучения нейроконтроллера. Сначала рассчитывается ошибка временной разности <math>\delta w(k) = e(k) + \gamma J(k+1) - J(k)</math>.
Затем по [[Метод градиента|методу наискорейшего спуска]] выполняется коррекция веса связей для модуля критики <math>w_{critic}</math>:
: <math>\Delta w_{critic}(k) = -{\alpha}_1 \delta (k) \frac{\partial J(k)}{\partial w_{critic}(k)}</math>
Значение градиента <math>\frac{\partial J(k)}{\partial w_{critic}(k)}</math> рассчитывается по [[Метод обратного распространения ошибки|методу обратного распространения ошибки]]. Коррекция веса связей нейроконтроллера <math>\Delta w_{control}</math> производится аналогично:

<math>
\Delta w_{control}(k) = -{\alpha}_2 \frac{\partial J(k)}{\partial u(k)} \frac{\partial u(k)}{ \partial w_{control}(k)}
</math>

Значение производной <math>\frac{\partial J(k)}{\partial u(k)}</math> находят путём обратного распространения величины через модуль критики, а значение градиента <math>\frac{\partial u(k)}{ \partial w_{control}(k)}</math> — путём обратного распространения ошибки через модуль контроллера. Коррекция весов продолжается, пока система не достигнет требуемого уровня качества управления. Таким образом, на каждом шаге улучшается закон управления, путём обучения нейроконтроллера (итерация по стратегиям, policy iteration), а также повышается способность системы оценивать ситуацию, путём обучения критика (итерация по значениям, value iteration).
Конкретная схема построения системы адаптивной критики может отличаться от вышеописанной, носящей название ''эвристическое динамическое программирование'' (''heuristic dynamic programming'', ''HDP''). В методе ''дуального эвристического программирования'' (''dual heuristic programming'', ''DHP'') модуль критики вычисляет производную функционала глобальной стоимости <math>\frac{\partial J}{\partial t}</math>, а в методе ''глобального дуального эвристического программирования'' (''global dual heuristic programming'', ''GHDP'') критиком вычисляются как сам функционал функции стоимости <math>J</math>, так и его производная <math>\frac{\partial J}{\partial t}</math>. Известны модификации метода, в которых модуль критики принимает решения исключительно на основе управляющего сигнала. Их англоязычные аббревиатуры имеют приставку AD (''action dependent''): ''ADHDP'', ''ADDHP'', ''ADGDHP''. В некоторых версиях адаптивной критики модуль критики состоит из двух частей: собственно, модуля критики и прямого нейроэмулятора. Последний выдает предсказания поведение объекта управления, на основе которых критик формирует оценку функции стоимости <math>J</math>. Такие версии носят название ''основанные на модели'' (''model based'').

=== Гибридное нейро-ПИД управление ===
[[Файл:Схема гибридного нейро-ПИД управления.png|мини|450пкс|Схема гибридного нейро-ПИД управления]]

'''Гибридное нейро-ПИД управление''' (NNPID auto-tuning, neuromorphic PID self-tuning)<ref>{{cite doi|10.1016/j.rcim.2006.04.001}}</ref><ref>{{cite doi|10.1109/ICNN.1993.298617}}</ref> позволяет осуществлять самонастройку [[ПИД-регулятор]]а в режиме онлайн путём использованием [[Искусственная нейронная сеть|нейронных сетей]]. Настройка ПИД-регулятора выполняется в режиме онлайн, по текущей ошибке управления <math>e(k)=r(k+1)-y(k+1)</math>.
На такте <math>k</math> нейронная сеть получает уставку <math>r(k+1)</math> и генерирует коэффициенты управления ПИД-контроллера <math>K_1</math> (пропорциональный), <math>K_2</math> (интегральный), <math>K_3</math> (дифференциальный), которые поступают на ПИД-контроллер вместе со значением текущей ошибки [[Обратная связь (техника)|обратной связи]] <math>e(k)</math>. В ходе работы, ПИД-контроллер рассчитывает текущий управляющий сигнал <math>u(k)</math> по рекуррентной формуле:
: <math>
u(k) = u(k-1) + K_1(k)(e(k)-e(k-1)) + K_2(k)e(k) + K_3(k)(e(k) - 2e(k-1) + e(k-2)) 
</math>
применяемой для дискретных ПИД-контроллеров и подает его на объект управления.

Обучение нейросети происходит в режиме реального времени по ошибке обратной связи, [[метод градиента|методом наискорейшего спуска]].
: <math>
\Delta w(k) = -\alpha e(k) \frac{\partial y(k+1)}{\partial u(k)}  \frac{\partial u(k)}{\partial K(k)} \frac{\partial K(k)}{\partial w(k)} 
</math>

Здесь <math>K(k)=[K_1(k)~K_2(k)~K_3(k)]^T</math> — вектор выходов нейронной сети, поступающий на ПИД-контроллер.

: <math>
\frac{\partial u(k)}{\partial K_i(k)} = \Bigg \{ \begin{matrix} e(k) - e(k-1) & for~i = 1; \\ e(k) & for~i = 2; \\ e(k) - 2e(k-1) + e(k-2) & for~i = 3. \end{matrix} </math>

Градиенты <math>\frac{\partial K_i(k)}{\partial w(k)}</math> вычисляют [[Метод обратного распространения ошибки|методом обратного распространения ошибки]]. [[Якобиан]] объекта управления <math>\frac{\partial y(k+1)}{\partial u(k)}</math> ли его знак находится аналитически, на основе математической модели объекта управления.

=== Гибридное параллельное нейроуправление ===
[[Файл:Схема гибридного параллельного нейроуправления.png|мини|450пкс|Схема гибридного параллельного нейроуправления]]

Методы '''гибридного параллельного нейроуправления''' (parallel neurocontrol, stable direct adaptive control, additive feedforward control)<ref name=autogenerated4 /><ref name=autogenerated5 /> предусматривают параллельное использование нейроконтроллеров и обычных контроллеров для управления динамическими объектами. При этом нейроконтроллер и обычный контроллер, в роли которого выступает, например, [[ПИД-регулятор|ПИД-контроллер]], получают одинаковые значения уставки.
Возможны следующие варианты совместного подключения обычного контроллера и нейроконтроллера:
# к объекту управления подключается обычный контроллер, после чего нейроконтроллер обучается управлять уже замкнутой обычным контроллером системой. После обучения нейроконтроллер подключается к системе, а управляющие сигналы обоих контроллеров суммируются;
# нейроконтроллер учится управлять объектом управления, после обучения начинает функционировать в штатном режиме. Далее для управления замкнутой нейроконтроллером системой настраивается обычный контроллер. После настройки обычный контроллер подключается к системе, управляющий сигнал обоих контроллеров суммируется;
# области действия обычного контроллера и нейроконтроллера разграничиваются. Например, в пространстве состояний объекта управления для нейроконтроллера выделяется отдельная область <math>LS</math>:
: <math>LS=[(y_1-d_1;y_1+d_1)~\ldots~(y_N-d_N;y_N+d_N)]^T</math>

При этом обычный контроллер рассчитывается на управление объектом вне этой области пространства состояния. При параллельной работе обоих контроллеров управляющий сигнал поступает на объект либо от нейроконтроллера, если текущее состояние системы находится в пределах области <math>LS</math>, либо, в противном случае, от обычного контроллера.
Гибридное параллельное нейроуправление представляет компромиссное решение для внедрения нейроуправления в промышленность и перехода от обычных контроллеров к нейросетевым.

== Примечания ==
{{примечания|2}}

== Ссылки ==
* [http://dspace.nbuv.gov.ua/bitstream/handle/123456789/50964/8_s_79_94.pdf А. Н. Чернодуб, Д. А. Дзюба. Обзор методов нейроуправления // Проблемы программирования. — 2011. — No 2. — С. 79-94.]
* [https://web.archive.org/web/20160412013534/http://hagan.okstate.edu/HaganDemuthACC99.pdf Hagan M.T., Demuth H.B. Neural networks for control // Proceedings of the American Control Conference. — San Diego, USA, 1999. — Vol. 3. — P. 1642—1656.]

== Литература ==
* {{книга	 
|заглавие = Нейроуправление и его приложения
|оригинал = Neuro-Control and its Applications 	 
|автор = Сигеру Омату, Марзуки Халид, Рубия Юсоф 
|ссылка = 	 
|isbn = ISBN 5-93108-006-6 
|страницы = 272	 
|год = 2000
|издание = 2-е	 
|место = М.	 
|издательство = [[Издательское предприятие редакции журнала "Радиотехника")|ИПРЖР]]	 
}}
* {{книга	 
|заглавие = Нейросетевые системы управления	 
|оригинал = 	 
|автор = В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин	 
|ссылка = 	 
|isbn = 5-06-004094-1	 
|страницы = 184	 
|год = 2002	 
|издание = 1-е	 
|место = 	 
|издательство = [[Высшая школа (издательство)|Высшая школа]]	 
}}
* {{книга	 
|заглавие = Нейронные сети: полный курс	 
|оригинал = Neural Networks: A Comprehensive Foundation	 
|автор = Хайкин С.
|ссылка =          https://archive.org/details/isbn_5845908906
|isbn = 0-13-273350-1	 
|страницы = [https://archive.org/details/isbn_5845908906/page/n1104 1104]
|год = 2006	 
|издание = 2-е	 
|место = М.	 
|издательство = [[Вильямс (издательство)|«Вильямс»]]	 
}}
* {{книга	 
|заглавие =  Neural Systems for Control  
|оригинал = 
|автор = Omidvar O., Elliott D.L. eds.	 
|ссылка =          https://archive.org/details/isbn_0125264305/page/358
|isbn = 0-12-526430-5
|страницы = 358 
|год = 1997	 
|издание =
|место = New York	 
|издательство = [[Academic Press]]	 
}}

[[Категория:Интеллектуальная робототехника]]
[[Категория:Теория управления]]
[[Категория:Искусственные нейронные сети]]