第二部分 時變問題神經網絡求解項目申請、評議與進展

第二章 時變問題求解的神經動力學新方法、模型及理論分析

為了突出本書的項目申報重點，本部分（第二章和第三章）以作者團隊2010年申報成功的國家自然科學基金（NSFC）面上項目為例，詳細介紹項目的課題選題分析、課題總結、申報和與該項目相關的同行評審意見及其對應思考和進展等。在本章的開始，我們先對該項目課題的選題進行回顧與總結。

到目前為止，國內外較少見有全面、系統和準確求解時變問題的模型和方法。神經網絡模型和方法由于具有并行處理能力和硬件實現潛力而被用于求解時變問題，但其中常見的基于梯度法的神經網絡模型和方法在求解時變問題時屬于被動追蹤的模型和方法，存在較大的實時求解誤差。這些問題的存在驅動我們對時變問題求解進行較為深入的思考，結合作者在神經網絡方面已有的研究成果和在時變問題求解方面已有的研究經驗，作者及團隊對神經動力學新方法和模型進行了大膽嘗試，鋪墊了一定的研究基礎和理論準備。本章因此總結和主要介紹求解時變問題的一種新型神經動力學方法以及它的建模和相關理論基礎的研究。這種神經網絡模型和方法的最大特點是在于它利用了問題的時變系數的導數信息，因而具有預測能力，能大幅降低實時求解誤差。根據這種新型神經網絡設計方法，作者分析研究該類能實時在線求解時變問題的遞歸神經網絡求解器，并將之應用于不同類型的時變問題求解且獲得了成功。作者團隊以這種新型的神經網絡模型與方法的研究為內容，申請了2010年國家自然科學基金（NSFC）面上項目，并最終獲得立項和資助。由于該項目還未進行到中期報告和結題階段，本章只是介紹該2010年國家自然科學基金面上項目申請書，然后總結該基金申請及其帶給我們的一些新啟發和思考。

第一節 申請書原稿

摘要：在本項目中，我們提出一種能實時在線求解時變問題的新型神經網絡求解模型。不同于傳統梯度神經網絡模型與方法（其僅能準確求解時不變/靜態問題），新模型與方法具有如下創新之處。首先，相對于梯度法一般采用的正定或下有界的能量函數概念，新方法則可采用不定無界的誤差函數作為神經動力學系統設計的開始。其次，新方法產生的神經網絡求解器多為自然界中更為普遍存在的隱動力學模型描述（而梯度法神經網絡多為顯動力學描述）。另外，新方法產生的神經網絡求解器可從方法和系統層面上充分利用各時變參數的導數信息，因此對問題求解具有一定預測指導能力，可實時逼近問題正確解（而傳統梯度法神經網絡在時變情況下僅是一種追蹤求解模式）。利用新型神經網絡方法，我們已很好地解決了矩陣/向量/代數/優化等多種時變問題，并將其應用于機器手臂運動規劃的解析之中。另外，我們還可由此開發實時問題求解的計算機輔助電路/協處理器，從而加快計算速度。

關鍵詞：時變、梯度法、神經網絡、導數信息、新方法。

一、立項依據與研究內容

（一）項目的立項依據

1. 研究意義

計算神經科學（又稱為神經計算科學）是使用數學理論和計算機模擬的方法在生物神經細胞層次上模擬腦結構和腦功能的科學，是關于人工神經系統（Artificial Neural System）或人工神經網絡（Artificial Neural Network）的結構、原理和功能的科學。人工神經網絡（以下如無特別指出，則簡稱神經網絡），是模擬生物神經系統的組織結構、處理方式和系統功能的簡化系統[1]；是一門始于20世紀40年代的新興交叉學科，是人類智能研究的重要組成部分；已成為腦科學、神經科學、認知科學、心理學、計算機科學、數學、物理學等共同關注的熱點問題之一[2]。

20世紀80年代初期，美國物理學家John J.Hopfield博士提出了一種全連接神經網絡（即Hopfield類型神經網絡）的動力學模型，并用電路硬件實現了這個動力學系統，且通過廣義能量及Lasalle不變性原理等給出了該類神經網絡的狀態（即動力學模型中的流量）最終收斂于平衡點集這一重要的動力學分析結果[3]。這為聯想記憶及優化的性能與功效的提高提供了強有力的理論基礎，對神經網絡研究的復興起到了重大影響作用[1]。目前，神經網絡不僅成為一種求解實際問題的思想方法，而且是實踐中一種方便有效的數學建模工具。

實時（數學）問題的求解在科學、工程和經濟等領域中應用較為廣泛，例如與矩陣/向量/代數運算相關的問題[4～12]、最優化計算[9～11]、自動控制[12]、信號處理[13]、模式識別[14]、機器人運動學[6,11,12,15,16]等。近年來，隨著對神經網絡的不斷深入研究，人們已經研究和開發了許多基于梯度法的遞歸神經網絡動力學模型[14～19]，且一些模型已經在模擬電路上獲得實現，用以實時在線求解數學問題[18～20]。由于神經網絡固有的并行性和硬件實現的便捷性等優點，神經動力學方法如今已成為一種有力的實時計算途徑與工具之一。

然而，傳統的梯度神經動力學方法對于實時（數學）問題的求解基本上都是考慮定常（即靜態）情況的[14～19]，或將時變問題借助于短時不變性假設而近似為定常/靜態問題去處理。但是，在實踐過程中我們發現該類梯度神經網絡對于時變問題（尤其是快時變問題）的求解，所得結果往往不能令人滿意，還有待提高。究其原因，我們發現，基于梯度法的遞歸神經網絡在求解過程中沒有充分利用各時變參數的時間導數信息，因此，所求解的結果與理想結果總是存在著一定的滯后誤差[5,6,9]。鑒于此，梯度神經網絡求解時變問題可以看成一種追蹤的求解模式，導致所得結果總會滯后于理想結果。而在實際的科學和工程應用中，時變問題經常出現。如高速飛行的飛機空氣動力學系統的系數、電路系統中的變參數、機械工程中的運動參數等[21]。為了獲得更高的準確率或更好的計算質量，就需要考慮各時變因素給時變系統所帶來的影響。如果仍采用基于傳統梯度法的動力學模型來求解此類時變問題，我們的前期工作表明，即使對該動力學系統/網絡模型的設計參數提出更高的要求，也不一定能準確有效地求解該類時變問題[5,6,9]。所以，為了能準確有效地求解時變問題，提出一種能實時求解時變問題的神經動力學模型將具有較重要的理論及工程實踐意義和較廣泛的應用前景。我們正是在這樣一種實際需求（機器臂運動規劃和時變極點配置）的推動下，探索、設計和開發出了一類新型的實時在線求解時變問題的神經動力學模型（即張等神經網絡方法）[5,6,9,22～27]。該新型神經動力學模型能夠準確有效地應用于時變系統中求解各類時變問題，如時變Sylvester矩陣方程和時變Lyapunov矩陣方程的求解、時變矩陣的求逆[5,6,23]、時變優化問題求解[9]、時變非線性矩陣方程（如時變矩陣開平方根）的求解[24]、時變非線性方程問題求解[25]、機器臂冗余度解析[26]及時變線性方程組的求解[27]等。另外，在新型神經網絡計算機仿真模擬的基礎上[27]，其研究成果可以應用于面向實時矩陣求逆、實時線性方程組和實時優化問題求解的計算機輔助電路/協處理器的開發，從而加快數字計算機的科學計算速度。

2. 國內外研究現狀

許多國內外專家學者一直以來都在努力研究如何高效準確地求解實時（數學）問題，并提出了許多計算方法和方案。一般而言，可將這些計算方法/方案大致歸為兩大類型：其一是運行在數字計算機（如個人計算機）中的數值算法[4,7]。但是，數值算法由于其串行計算的特性使得計算復雜度相對較高且耗時，如在矩陣運算中，最小的算術運算復雜度一般也是矩陣維數的三次方[28]。因此，如果將這些串行數值算法運用到大規模的實時在線應用問題的求解中時，計算效率會較低。第二種計算方法/方案是運行在某些特定結構中的并行算法。近年來，逐漸引起人們研究興趣的神經動力學方法就是其中一種重要的并行方法之一；而神經網絡由于具有并行計算的優點和硬件實現方便的特點，已經成為一種有利的實時計算工具，如在文獻[14～19]中提出了多種基于梯度法的遞歸神經網絡（動力學）模型以在線求解實時問題。

然而，無論是經典的數值算法，還是傳統的梯度法神經動力學模型，它們一般而言多是針對定常（靜態）問題而設計的，而非針對時變情況的。這些算法/方法僅能準確有效地求解定常/靜態問題。一般而言，這些算法/方法基本上是基于負梯度或其變形方向而優化設計的；首先構造一個正的（至少是下有界的）基于范數的標量取值的能量函數，其最低點對應問題的解。然后，令此能量函數沿著經典的梯度下降的方向遞減，直至達到能量函數的最低點，即所求問題的解[14～19]。

對于時變問題的實時求解，據我們所知，目前國內外幾乎沒有相關的、完備的理論及實踐研究方法和工作（多是將梯度法直接應用于時變問題）。在本項目中，根據我們提出的新型神經網絡方法[5,6,9,22～27]，設計、開發、仿真模擬和分析研究一類能實時在線求解時變問題的遞歸神經網絡求解器。該神經網絡求解器的設計方法及模型與以往傳統的梯度神經動力學方法具有較大的/一定的不同和新穎性，主要表現在[5,6,9,22～27]：

（1）新方法的誤差函數是基于矩陣/向量取值的、不定無界的（即可正可負可上下無界）的誤差函數，而梯度法是基于標量范數（或平方）取值的、正的（或至少是下有界的）能量函數（一般而言，該能量函數大于零）。

（2）新方法的神經網絡模型一般是用隱性動力學方程來表述的，這與自然界和實踐中的模型更相一致（如分別符合Kirchhoff和Newton定律的模擬電路和機械系統均可以是隱性動力學描述[5,6,9]），而基于梯度法的神經動力學方程是顯性的（如Hopfield類型神經網絡[18～20]）。

（3）在時變問題的求解過程中，新方法從方法和系統層面上充分利用了各時變參數的導數信息，從而對時變問題的求解具有一定的預測指導能力，而梯度法卻沒有利用這一重要的導數信息，使得它在時變問題的求解過程中只是一種被動追蹤的求解模式。這也是梯度法無法準確有效地求解時變問題的主要原因之一。

（4）正如以下即將介紹的第二部分內容的研究和分析所示，采用新方法所得到的解可收斂至理論時變解，而采用梯度法時所得的解與理論時變解總是存在較為明顯的滯后誤差。

（5）新方法屬于一種預測的方法，它的設計可以充分利用各時變參數的導數信息。因此采用新方法時所得的網絡解能收斂至實時變化的理論解上，而傳統梯度法屬于跟蹤的方法，被動地適應各時變參數的變化而滯后地調整。因此，理論上采用梯度法所得到的神經網絡解總是不能跟上時變運動的理論解。

（6）從文獻[22]中可知新方法的離散模型與牛頓（迭代）法之間存在著某種聯系，求解靜態問題的牛頓法可以看成本項目的新方法在靜態問題求解時的一種線性激勵離散形式（且僅當迭代步長固定為1時）。

（7）新方法的整個推導過程較為簡單，如只需本科生程度的數學知識，而梯度法的推導（尤其是涉及矩陣/向量時）會是一個比較復雜的過程，它需要更復雜、更深層次的數學知識背景（如要用到碩士甚至博士生的數學知識）。

3. 主要參考文獻

[1] 阮曉鋼. 神經計算科學：在細胞的水平上模擬腦功能. 北京：國防工業出版社,2006.

[2] F. M. Ham, I. Kostanic. Principles of Neuraocomputing for Science & Engineering, McGraw-HilCompanies,Inc.2001.

[3] 阮炯, 顧凡及, 蔡志杰. 神經動力學型方法和應用. 北京：科學出版社,2002.

[4] 周金土, 樓玫. 三階矩陣的平方根. 數學理論與應用,2008,28（2）:31-37.

[5] Y. Zhang, S. S. Ge,“Design and analysis of a general recurrent neural network model for time-varying matrix inversion”. IEEE Transactions on Neural Networks, 2005, 16（6）:1477-1490.

[6] Y. Zhang, H. Peng,“Zhang neural network for linear time-varying equation solving and its robotic application,”in:Proceedings of the 6th International Conference on Machine Learning and Cybernetics,2007,pp.3543-3548.

[7] A. Wu, G. Duan,“Explicit general solution to the matrix equation AV+BW=EVF+R”. IET Control and Theory Application,2008,2（1）:56-60.

[8] F.Ding,T.Chen,“Gradient based iterative algorithms for solving a class of matrix equations”. IEEE Transactions on Automatic Control,2005,50（8）:1216-1221.

[9] Y. Zhang, Z.Li, C. Yi, K. Chen.“Zhang neural network versus gradient neural network for online time-varying quadratic function minimization”.Lecture Notes in Artificial Intelligence, 2008,vol.5227,pp.807-814.

[10] N.Truhar.“An efficient algorithm for damper optimization for linear vibrating systems using Lyapunov equation”. Journal of Computational and Applied Mathematics, 2004, 172:169-182.

[11] Y. Zhang.“Dual neural network:design,analysis,and application to redundant robotics,”in book Progress in Neurocomputing Research,Gerald B.Kang（eds.）,Nova Science Publishers, Inc.:New York,2007,pp.41-81.

[12] 李優新, 毛宗源, 田聯房. 基于圖像矩與神經網絡的機器人四自由度視覺伺服. 控制理論與應用,2009,10（26）:1162-1166.

[13] 王艷聰, 胡中豫, 張云飛. 基于譜相關特性和組合神經網絡的數字調制信號識別. 計算機應用研究,2009,11（26）:4234-4236.

[14] G. Ou, Y. Murphey.“Multi-class pattern classification using neural networks”. Pattern Recognition,2007,40:4-18.

[15] Y. Zhang.“Inverse-free computation for infinity-norm torque minimization of robot manipulators,”Mechatronics,2006,16:177-184.

[16] J. Wang, Y. Zhang.“Recurrent neural networks for real-time computation of inverse kinematics of redundant manipulators”.in book Machine Intelligence:Quo Vadis?P.Sincak,J. Vascak,and K.Hirota（eds.）,World Scientific:Singapore,2004,pp.299-319.

[17] Q. Song, J. Cao.“Stability analysis of Cohen-Grossberg neural network with both time-varying and continuously distributed delays”. Journal of Computational and Applied Mathematics,2006,197:188-203.

[18] Y. Maeda, M. Wakamura.“Simultaneous perturbation learning rule for recurrent neural networks and its FPGA implementation”. IEEE Transactions on Neural Networks, 2005, 16（6）:1664-1672.

[19] D.W.Tank,J.J.Hopfield.“Simple‘neural’optimization networks:An A/D converter,signal decision circuit, and a linear programming circuit”. IEEE Transactions on Circuits System, 1986,CAS-33:533-541.

[20] 宋紹民, 王耀南, 姚勝興，等. 基于細胞集合的隱層冗余BP神經網絡及其性能研究. 儀器儀表學報,2009,1（30）:103-108.

[21] H. C. Lee, J. W. Choi.“Linear time-varying eigenstructure assignment with flight control application”.IEEE Transactions on Aerospace and Electronic Systems,2004,40（1）:145-157.

[22] Y.Zhang,W.Ma,C.Yi.“The link between Newton iteration for matrix inversion and Zhang neural network（ZNN）”. in: Proceedings of IEEE International Conference on Industrial Technology,2008,pp.1-6.

[23] Y.Zhang,X.Guo,W.Ma,K.Chen,B.Cai.“MATLAB Simulink modeling and simulation of Zhang neural network for online time-varying matrix inversion”. in: Proceedings of IEEE International Conference on Networking,Sensing and Control,2008,pp.1480-1485.

[24] Y.Zhang,Y.Yang.“Simulation and comparison of Zhang neural network and gradient neural network solving for time-varying matrix square roots”. in: Proceedings of Intelligent Information Technology Application,2008,pp.966-970.

[25] Y.Zhang,C.Yi,W.Ma.“Comparison on gradient-based neural dynamics and Zhang neural dynamics for online solution of nonlinear equations”. in: Proceedings of International symposium on Intelligence Computation and Applications,2008,pp.269-279.

[26] K.Chen,L.Zhang,Y.Zhang.“Cyclic motion generation of multi-link planar robot performing square end-effector trajectory analyzed via gradient-descent and Zhang et al’s neural dynamic methods”. in: Proceedings of the 2nd International Symposium on Systems and Control in Aeronautics and Astronautics,2008.

[27] Y. Zhang, X. Guo, W. Ma,“Modeling and simulation of Zhang neural network for online linear time-varying equations solving based on MATLAB Simulink”. in: Proceedings of the 7th International Conference on Machine Learning and Cybernetics,2008,pp.805-810.

[28] W.E.Leithead,Y.Zhang,“O（N^2）-operation approximation of covariance matrix inverse in Gaussian Process regression based on quasi-Newton BFGS methods”. Communications in Statistics-Simulation and Computation,2007,36（2）:367-380.

（二）項目的研究內容、研究目標以及擬解決的關鍵科學問題

在這部分內容中，我們對本項目中的研究內容（主要以時變矩陣求逆為例陳述）、研究目標，以及擬解決的關鍵科學問題進行更為詳細和完備的闡述。

1．研究內容

在本項目中，充分利用時變參數導數信息的思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我們設計了一種隱性動力學方程描述的新型遞歸神經網絡（即ZNN）來實時求解時變問題。這種新型遞歸神經網絡巧妙地構造了一種矩陣/向量取值、不定無界的誤差函數，而不再像傳統梯度神經網絡模型那樣基于標量范數（或平方）取值的正的能量函數。當該誤差函數（全局指數）收斂到零時，即誤差矩陣/向量函數中的每個元素均（全局指數）收斂到零時，所得網絡解就是（全局指數）收斂到時變的理論解。另外，在求解過程中，即使采用線性激勵函數，在硬件實現過程中非線性現象也總是存在的。為了得到更好的網絡收斂性和魯棒性，本項目還研究了不同的激勵函數組（或稱陣列），如線性函數、S型函數、冪函數或者它們的變形函數組（如冪S型函數組）等，以增益所構造的新型神經網絡模型[ZYN26～ZYN29]。以下我們將分別用新型神經網絡（即ZNN模型）與傳統梯度神經網絡（即GNN模型）求解時變逆矩陣問題及兩者之間的比較為例來闡述我們在本項目中的研究方法和部分研究內容，如時變Sylvester和Lyapunov矩陣方程求解（離散模型）、時變線性方程組求解（離散模型）、時變非線性矩陣方程（如時變矩陣開平方根）的求解、時變非線性方程問題求解、時變優化問題求解及機器臂冗余度解析等。

1）ZNN神經網絡模型與GNN神經網絡模型

我們將開發并利用張等神經網絡（ZNN）模型與梯度神經網絡（GNN）模型來求解時變逆矩陣問題，并分析研究相應的理論結果及ZNN的離散模型等內容。

（1）ZNN神經網絡模型[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]。

給出光滑變化的可逆矩陣A（t）∈Rn×n，我們需要求解到一個X（t）∈Rn×n使得下列矩陣方程成立：

其中，I∈Rn×n表示一個單位矩陣。求解時變矩陣方程（2.1），實際上就等價于實時求解時變矩陣A（t）∈Rn×n的逆矩陣，從而達到求解A?1（t）∈Rn×n的目的。不失一般性，假定矩陣A（t）∈Rn×n 和它的時間導數 A.（t）∈Rn×n 已知或可以通過各種方式之一（如微分電路[ZYN26～ZYN29,ZYN55]）測量而得。為了比較和討論的方便，我們簡記矩陣方程（2.1）的理論時變解，即矩陣A（t）∈Rn×n的逆矩陣為X*（t）=A?1（t）∈Rn×n。為了理論分析證明的需要，我們給出如下關于時變矩陣A（t）∈Rn×n可逆的條件以確保逆矩陣A?1（t）∈Rn×n存在。

時變矩陣可逆條件[ZYN26]：總是存在一個正常實數α>0，使得

其中λi（·）表示時變矩陣A（t）∈Rn×n在t時刻的第 i 個特征值。可以證明，如果可逆條件（2.2）成立，那么矩陣方程（2.1）將會有唯一解，即時變逆矩陣A?1（t）∈Rn×n存在且唯一。值得指出的是，可逆條件（2.2）中的α只是為了分析而引入的，實際上并不需要知道它的具體值。

按照新型神經網絡設計思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我們可以首先定義一個矩陣取值、不定無界的誤差函數E(X（t）,t):=A（t）X（t）?I。為使該矩陣誤差函數E(X（t）,t)中的每一個元素eij（t）,?i,j=1,…,n均收斂到零，可令該誤差函數的時間導數.(X（t）,t)滿足如下神經動力學設計公式（ZNN design form

其中，Γ表示一個正定矩陣，用來控制網絡的收斂率，F（·）:Rn×n→Rn×n表示神經網絡的激勵陣列。

展開神經動力學設計公式（2.3）便可以得到用于時變矩陣求逆的、通用的新型神經網絡模型（也即ZNN模型），它用如下隱動力學系統方程來描述：

其中，X（t）∈Rn×n表示從某初始值X（0）=X0∈Rn×n出發，與矩陣方程（2.1）中的時變逆矩陣X*（t）=A?1（t）∈Rn×n相對應的神經網絡狀態矩陣；矩陣參數Γ表示為一組電感參數或電容參數的倒數，其取值設置在硬件所允許的范圍或滿足實驗仿真需求[ZYN26～ZYN29]。為了使ZNN（2.4）和Γ的表述更簡潔，一般可令Γ=γI，其中常數γ>0是神經網絡的一個標量設計參數，用來調節網絡求解的速度/收斂率。值得指出的是，不同于傳統的Hopfield類型或梯度類型遞歸神經網絡用一組顯性微分方程所描述，我們提出的新型神經網絡ZNN模型（一般而言）用一組隱性動力學方程描述，即=…，當然也可以改造后用顯性動力學方程=…描述 [ZYN26～ZYN29,ZYN47～ZYN56]。

根據Kirchhoff定律，這種隱性動力學方程經常出現在模擬電路系統中，也更匹配我們欲將ZNN模型（2.4）付諸電路實現的目的。更重要的是，ZNN模型（2.4）充分利用了待解方程（2.1）中矩陣A（t）在求解過程中對時間的導數信息。我們從ZNN（2.4）可得到該新型神經網絡模型求解A（t）逆矩陣的方框圖，如圖2.1所示。根據ZNN模型（2.4）和圖2.1，我們可以選擇不同的設計參數γ>0和激勵函數陣列F（·）:Rn×n→Rn×n來獲得不同的/較好的網絡收斂特性。一般而言，任意單調遞增的奇函數f（·）（即，激勵陣列F（·）的第ij個元素處理單元）都可以用來作為該類神經網絡的激勵函數。圖2.2 中給出了三種常見的激勵函數[ZYN26～ZYN29]：① 線性激勵函數 f（u）=u；②雙極S形激勵函數f（u）=(1?exp（?ξu）)/(1+exp（?ξu）)；③ 冪激勵函數 f（u）=u p，其中ξ≥1，p≥3。

對于ZNN（2.4），我們有以下重要的理論分析結果[ZYN2,ZYN3,ZYN26,ZYN53,ZYN56]。

定理 給定一個光滑變化的時變矩陣A（t）∈Rn×n滿足可逆條件（2.2），如果采用一個單調遞增的奇函數激勵陣列F（·）來構造新型神經網絡模型ZNN（2.4），那么ZNN（2.4）的狀態矩陣X（t）∈Rn×n，從任意一個初始值X（0）=X0∈Rn×n出發，都能（全局）收斂至時變逆矩陣X*（t）=A?1（t）∈Rn×n。另外，ZNN（2.4）還具有以下收斂特性。

①如果采用線性激勵函數陣列，ZNN（2.4）將具有收斂率為γ的全局指數收斂性。

②若采用雙極S形激勵函數陣列，ZNN（2.4）在誤差界（?ln2/ξ,+∞）具有收斂率為ξγ/2的指數收斂。

③如果采用冪激勵函數陣列，相比于①和②，ZNN（2.4）在誤差界|eij（t）|>1上具有更好的收斂特性。

注解1 從上述定理和相關文獻可以知道，我們可以依據切換點|eij（t）|=1開發設計出一種性能更好的神經網絡模型，可以采用如下冪S形激勵函數（陣列）：

其中ξ和p必須是合適的參數。采用冪S形激勵函數優于線性激勵函數的原因在于其對誤差信號的放大作用，且多了一個可選擇的設計參數ξ（它是改善指數收斂率的一個因子）；即在硬件實現時，如果設計參數γ已經達到了物理上界，我們還可以通過增大設計參數ξ來改善（或提高）網絡收斂率。

注解2 在工程實踐應用中非線性現象總是存在的。這是我們研究非線性激勵函數（如雙極S形激勵函數、冪激勵函數、冪S形函數等）的原因之一。而且，即使采用線性激勵函數，非線性現象還是可能存在的，比如在硬件實現時可能出現的元器件飽和特性或其他非線性現象，具體到數字電路實現時也存在截斷誤差。研究結果表明，采用非線性激勵函數（如S形函數和冪S形函數等）相比于線性激勵函數，將能更好地減免非線性負面影響及其產生的不精確實現問題。

（2）GNN神經網絡模型[ZYN1～ZYN3,ZYN6,ZYN26～ZYN29]。

為了更好地與我們提出的新型ZNN神經網絡模型進行比較，我們將給出梯度神經網絡（GNN）實時求解時變矩陣A（t）的逆矩陣的網絡模型。與其他梯度神經網絡的設計方法相類似，可以首先定義一個標量范數取值的正的能量函數ε=||AX（t）?I||2 /2；然后，令該能量函數ε沿著梯度?ε/?X =AT（AX（t）?I）的負方向下降并將其運用于時變系統的情形下，即可得到傳統梯度法神經網絡求解時變逆矩陣的線性GNN模型：

和延展的非線性GNN模型：

其中，參數γ和激勵陣列F（·）:Rn×n→Rn×n的定義與公式（2.4）中所定義的一樣。

（3）ZNN與GNN的設計方法與模型比較。

從上述ZNN和GNN設計方法及模型的分析研究中，我們可以得出以下兩者明顯的區別之處[ZYN47～ZYN56]。

①ZNN（2.4）的設計是使矩陣取值、不定無界的誤差函數E(X（t）,t)=A（t）X（t）?I中的每一個元素eij（t）,?i,j=1,…,n都趨于零，其中每一個元素誤差eij（t）理論上可正可負，也可無界。而GNN（2.6）使標量范數取值的正的能量函數ε=||AX（t）?I||2 /2沿負梯度方向趨于零；一般而言，該GNN能量函數ε大于零或至少有下界。

②ZNN（2.4）的神經網絡模型是用隱（當然也可用顯性的）動力學方程來表述的，即A（t）（t）=…。這與自然界和實踐更一致（如分別符合Kirchhoff和Newton定律的模擬電路和機械系統均可以用隱動力學系統方程描述）。而GNN（2.6）的動力學方程是顯性表述的，即X.（t）=…，如Hopfield類型人工神經網絡或梯度類型人工神經網絡。

③在時變問題的求解過程中，ZNN（2.4）從方法和系統層面上可以充分利用各時變參數的導數信息，從而對時變問題的求解具有一定的預測指導能力。而GNN（2.6）卻沒有利用這一重要的導數信息，使得它在時變問題的求解過程中，只是一種被動追蹤的求解模式；這也是GNN（2.6）無法準確有效地求解時變問題的主要原因之一。

④正如前面的理論分析和如下的仿真驗證內容所示，采用ZNN（2.4）所得的神經網絡解X（t）能全局指數收斂到時變逆矩陣A?1（t）上。而采用GNN（2.6）所得的神經網絡解X（t）只能近似趨近于時變逆矩陣A?1（t），且總是存在較為明顯的滯后誤差。

⑤ZNN（2.4）屬于一種預測的方法，它的設計方法充分利用了時變參數的導數信息；因此ZNN（2.4）所得的神經網絡解X（t）能收斂到實時“運動”的逆矩陣A?1（t）上去。而GNN（2.6）屬于傳統上的跟蹤方法，它滯后地適應時變矩陣A（t）的變化而被動地調整；因此，GNN（2.6）所得的神經網絡解X（t）總是不能跟上實時“運動”逆矩陣A?1（t）。

⑥從文獻[ZYN1]和[ZYN50]中可知：新型神經網絡方法的離散模型與牛頓迭代法之間存在著一定程度上的聯系，求解靜態方程/問題的牛頓法可以看成我們提出的新方法在采用線性激勵函數且迭代步長固定為1時針對靜態方程/問題求解的一種特定離散形式。

⑦新方法，如ZNN（2.4）的整個推導過程比較簡單，比如只需要本科階段高等數學知識。而梯度神經網絡如GNN（2.6）的推導，相對而言，是一個比較復雜的過程，它需要更復雜、更深層次的數學知識背景，比如可能需要用到碩士階段（甚至博士階段）的知識，如檢查GNN（2.5）的矩陣推導。

（4）仿真驗證。

根據上述給出的ZNN和GNN模型及其理論分析，我們將分別用ZNN（2.4）和GNN（2.6）求解一個給定時變矩陣 A（t）的逆矩陣來驗證上述理論分析結果。假設給定A（t）=[sin t,cos t;?cos t,sin t]，為了方便比較這兩種神經網絡模型所求解的狀態矩陣X（t）∈R2×2與時變逆矩陣X*（t）=A?1（t）∈R2×2是否一致，可以通過簡單的數學運算（或可借助MATLAB命令）給出該光滑變化的時變可逆矩陣 A（t）∈R2×2 的時變逆矩陣為X*（t）=A?1（t）=AT =[sin t,?cos t;cos t,sin t]。仿真結果如圖2.3所示，其中兩個子圖分別對應采用ZNN（2.4）和GNN（2.6）從隨機產生的初始值X（0）∈[?2,2]2×2出發所得的神經網絡解的曲線圖，兩者都是采用冪S形激勵函數（p=3,ξ=4）和設計參數γ=1，其中，紅色的點線表示時變逆矩陣/理論解X*（t）=A?1（t），藍色的實線表示分別采用ZNN和GNN模型所得的神經網絡解X（t）。當采用ZNN（2.4）求解A（t）逆矩陣時，其神經網絡解X（t）能很好地全局收斂到時變逆矩陣A?1（t）上，如圖2.3（a）所示。而用GNN（2.6）求解該同一個A（t）的逆矩陣時，所得的神經網絡解X（t）與時變逆矩陣/理論解X*（t）=A?1（t）總是不一致（即兩者穩態曲線未能重合），且明顯滯后于理論上的時變逆矩陣，如圖2.3（b）所示；簡言之，GNN神經網絡解與時變逆矩陣之間存在較大的誤差。另外，我們也可以從求解誤差||X（t）?A?1（t）||的角度來分析兩種神經網絡模型求解A（t）逆矩陣的收斂情況（其中||·||表示矩陣/向量范數）。從圖2.4（a）中可以看出，采用ZNN（2.4）求解A（t）逆矩陣時的求解誤差||X（t）?A?1（t）||大概在5s左右就會全局指數收斂到0；而對應地從圖2.4（b）中可知，當采用GNN（2.6）求解同一時變矩陣A（t）的逆矩陣時，其求解誤差||X（t）?A?1（t）||一直都存在且較大，這可能正是由于GNN（2.6）沒有充分利用時變矩陣A（t）的導數這一重要信息的緣故。

2）ZNN模型的建模與仿真[ZYN3,ZYN52,ZYN53,ZYN56]

對于時變矩陣求逆的連續ZNN模型（2.4），我們也可以借助MATLAB Simulink仿真平臺進行建模與仿真，從而為硬件實現奠定相關基礎[ZYN84]。從ZNN（2.4）我們可得其第ij個神經元動力學方程為：

式中，xij表示ZNN（2.4）的第ij個神經元或對應于狀態矩陣X（t）的第ij個元素，i,j=1,2,…,n；aij和分別表示矩陣A（t）的第ij個元素和它的時間導數；δij表示Kronecker Delta（定義為單位陣I的第ij個元素），且vij =δij?aij。因此，ZNN（2.4）的第j列神經元的電路原理圖如圖2.5所示。根據ZNN模型（2.4）和圖2.1，我們利用MATLAB Simulink工具對其進行建模/仿真，如圖2.6所示。

其建模/仿真輸出結果如圖2.7和圖2.8所示[注：采用冪S形激勵函數（p=3,ξ=4）和γ=1]。圖2.7展示的是采用圖2.6所示的Simulink建模仿真圖對ZNN（2.4）模擬仿真時輸出的網絡解X（t）=[x11（t）,x12（t）;x21（t）,x22（t）]的曲線圖，其中矩陣A（t）=[sin t,cos t;?cos t,sin t]，其理論上的時變逆矩陣A?1（t）=AT =[sin t,?cos t;cos t,sin t]。因此可見，Simulink建模/仿真輸出的神經網絡解X（t）與理論上的時變逆矩陣X*（t）=A?1（t）（穩態上）相一致。圖2.8展示的是對應于圖2.7的ZNN神經網絡求解誤差||X（t）?A?1（t）||的收斂情況。很明顯，式（2.1）的求解誤差||X（t）?A?1（t）||在5s左右就收斂到0[或者說，穩態時/5s之后X（t）=X*（t）=A?1（t）]。

3）離散ZNN模型研究[ZYN1,ZYN36,ZYN50,ZYN52]

在前面的小節中，我們重點展示和討論了求解時變逆矩陣A?1（t）∈Rn×n的新型連續神經網絡模型。考慮到定常/靜態矩陣求逆A?1∈Rn×n可以看成時變矩陣求逆A?1（t）∈Rn×n的一個特例，根據前文類似的設計方法[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我們可獲得定常/靜態情況下的ZNN連續模型：

其中，參數γ>0和激勵陣列F（·）:Rn×n→Rn×n和前面的定義相同。根據Euler前向差分法則，我們可將上述定常連續ZNN模型離散化為：

其中，0<h≤1表示Xk收斂于逆矩陣A?1時的一個合適的迭代步長（或稱學習率、學習步長）。鑒于矩陣A是可逆的，為了后面方程推導的需要，我們可將ZNN離散模型（2.7）寫成如下形式：

當t足夠大時，考慮到有X k ≈A?1，上式因此可以改寫成下列ZNN離散/差分/迭代方程：

另外，若F（·）采用線性激勵函數陣列且迭代步長h=1，ZNN離散模型（2.8）可進一步簡寫為：

值得注意的是，式（2.9）也正是矩陣求逆的牛頓迭代公式。換句話說，我們利用Euler法則可從連續定常的ZNN模型得到其離散的迭代公式，其中一種最簡形式正是牛頓公式；或者說，ZNN（2.8）是牛頓迭代公式的廣義/推廣模型，且我們可以選擇不同的激勵函數陣列（或改變迭代步長）以減免非線性因素的影響。另外，為了便于理解，離散ZNN模型（2.8）的方框圖如圖2.9所示。值得指出的是，時變矩陣開平方根、時變非線性方程求解的ZNN模型的離散化也可以類似地導出牛頓法（這一部

分的研究工作還在探討中）。

2. 研究目標

根據我們關于時變問題的神經動力學設計思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，首先定義一個矩陣取值、不定無界的誤差函數E(X（t）,t)；為使得E(X（t）,t)中的每一個元素誤差eij（t）,?i,j=1,…,n均能（全局指數）收斂于零，我們可利用與展開ZNN設計公式d E(X（t）,t)/d t:=?ΓF(E（X（t）,t）)推導得到求解相應時變問題的一般隱動力學模型，從而建立一套不同于梯度法/Hopfield類型的神經網絡新模型、新方法與新理論。

我們在本項目的研究目標主要是提出、探討、分析和利用新型神經網絡（ZNN）模型來求解多類在工程實踐應用中可能經常出現的時變問題（也包括定常/靜態問題作為特例研究與分析）。

1）時變線性方程組問題

線性方程組的求解是一個基礎問題。它在科學和工程中應用廣泛，如在優化、信號處理、電磁場系統及機器人逆運動學等方面。在數學上一般可表示為Ax（t）=b，其中系數A∈Rn×n和b∈Rn是定常（即時不變）的。在先前的研究成果中[ZYN6,ZYN54,ZYN56]，按照ZNN設計公式（2.3）展開，我們可得求解時變方程A（t）x（t）=b（t）新型ZNN神經網絡模型，其中，系數A（t）∈Rn×n和b（t）∈Rn均為時間t的函數。我們在這一時變問題的求解分析的主要研究目標如下。

（1）深入探討該模型的魯棒性問題。

因為在系統硬件實現的過程中，總是不可避免地會出現誤差，如系數的微分誤差及模型誤差?R（t），其中也包含微分誤差。則其擾動系統動力學方程為

通過對系統的魯棒性分析有助于我們在實際的硬件實現過程中如何減少（甚或避免）誤差（或擾動）因素所帶來的負面影響。

（2）在線求解機器人逆運動學問題。在速度層上，需要找到角度軌跡θ（t）和末端軌跡r（t），使得末端速度和角速度滿足如下機器人的逆運動學方程：

其中，J（θ）∈Rn×n表示Jacobian矩陣。很明顯，上述機器人逆運動學問題可以表述為一組時變線性方程組A（t）x（t）=b（t）的實時在線求解，其中系數A（t）:=J（θ,t），及。

2）時變凸二次優化問題

凸二次優化問題在優化控制設計、功率分配、機械臂運動規劃和數字信號處理等方面都有廣泛的應用。在數學上，不帶約束的時變二次優化問題可以表示為

minimize f（x）:=xT（t）P（t）x（t）/2+qT（t）x（t）∈R

和帶有時變等式約束的二次優化問題：

minimize f（x）:=xT（t）P（t）x（t）/2+qT（t）x（t）∈R

subject to A（t）x（t）=b（t）

其中Hessian矩陣P（t）∈Rn×n是時變正定的，向量q（t）∈Rn和b（t）∈Rn也是時變的，且假設時變矩陣A（t）∈Rm×n是行滿秩的。在此子問題中，我們將主要研究如何在線求解此類時變凸二次優化問題及進一步探討研究帶有時變不等式約束時的優化問題求解模型。

3）時變矩陣平方根問題

矩陣平方根問題廣泛應用于科學與工程領域，如控制、優化及信號處理等。時變矩陣平方根的求解可轉變為求解如下時變非線性矩陣方程：

X2（t）?A（t）=0, t∈[0,+∞]

其中時變矩陣A（t）∈Rn×n是正定的。與研究其他非線性方程類似，在這個時變問題的研究上，我們需要研究它的求解條件及模型。由于其應用的普遍性及為了便于硬件實現的目的，我們將在連續時變模型的基礎上進一步研究矩陣平方根的離散求解模型及其與經典牛頓迭代法（求解平方根時）之間的聯系。

4）時變非線性標量方程問題

時變非線性標量方程問題可用如下數學表達式表示：

f（x（t）,t）=0

根據ZNN的設計方法，我們將實時在線求解上述時變非線性標量方程的解。例如，如何實時找到時變非線性方程 f（x（t）,t）=x2?2sin（1.8t）x+sin2（1.8t）?1=0的解，并與傳統梯度法神經動力學模型所得結果進行比較分析。而且，在此基礎上，將進一步探討多次時變方根的連續求解模型及其相應的定常（或時變）離散模型。

5）定常（標量和矩陣/向量）問題

定常（即時不變）問題可以看成時變問題的一種特例。這一類問題的求解已經有很多方法提出。而我們主要是根據ZNN的設計方法得到相關問題求解的連續和離散模型。與經典牛頓迭代法不同的是（其僅有一種離散形式），我們可以得到一種通用的ZNN離散模型；比如，求解非線性定常標量方程 f（x）=0時，其ZNN離散模型為

在求解（或硬件實現）時，我們可以通過選擇不同的迭代步長h和激勵函數φ（·）來改善（或提高）網絡模型的求解性能（如加快收斂速度或改善誤差性能等）。特別地，當我們選取h=1和線性激勵函數φ（x）=x時，即可得到采用牛頓法求解方程 f（x）=0的迭代模型。因此，牛頓迭代模型可以看成ZNN定常離散模型的一種特例。這或許找到了牛頓迭代模型不同于泰勒展開式（或其他方法）的另外一種詮釋。在今后的研究中，我們將根據需要（如硬件實現和實際應用等）繼續研究更多的（定常或時變）ZNN離散模型，更深入地研究與牛頓迭代模型的聯系。另一方面，我們也或將ZNN離散模型運用到更多的實踐工程應用（如機器人運動規劃與分析）和電路實現中。

3．擬解決的關鍵問題

我們在求解各類時變問題時，可能會遇到如下待解決的關鍵問題。

1）求解條件問題

我們已經準確、有效地求解了一些基本的時變問題，如時變矩陣求逆、時變Sylvester方程求解、時變Lyapunov方程求解等。但是在我們對相應的（隱）神經動力學模型/系統進行理論分析時，需要通過詳細的數學理論推導來獲取具體時變問題的求解條件，以確保所求解的時變問題有解。特別值得指出的是，非線性時變問題由于有多解的緣故，更須仔細推導問題的有解/無解/唯一解/孤立解/多解條件。因此，合適求解條件的探討將成為我們本項目研究的一個關鍵問題。

2）初始值問題

對于非線性時變問題的求解，根據理論分析和仿真實驗可見，選擇一個合適的初始值能使新型ZNN神經網絡模型的解更有效、更快地收斂到求解的時變問題的理論解上去。因此，初始值的選取也將是本項目研究的關鍵問題之一，決定著非線性時變方程/問題的解決成效。

3）網絡模型研究

在求解某一具體時變問題或應用時，我們需要推導獲得解決該時變問題的ZNN神經網絡模型（連續的和/或離散的），并與傳統梯度/Hopfield神經網絡模型進行對比，各取所長、綜合利用，不斷發掘、改進和完善新型神經動力學模型，這也是能否成功求解時變問題和新問題的關鍵因素之一。因此，我們需要建立完備的神經網絡模型設計方法以獲得用于實時問題求解的各類有效隱/顯神經動力學模型。

4）理論分析與實驗仿真

即使理論上推得了求解某時變問題的神經網絡模型后，并不能因此以為所得的模型一定能使其網絡解收斂到真實理論解上。我們還需要根據上述求解條件和初始值從理論上加以更多、更詳細的證明和分析，并結合計算機模擬/仿真的方法和工具來驗證該神經網絡模型求解該時變問題時的有效性、準確性、優缺點、奇異情況等。

（三）擬采取的研究方案及可行性分析

上述以時變矩陣求逆為例詳述了本項目的研究內容及方法。現將我們的研究工作方法簡單總結如下。

（1）首先分析所求解的具體時變問題的有解/唯一解/孤立解條件，以確保我們的方法適用于所求解的特定問題。

（2）根據新型神經網絡模型的設計思想，首先構造一個矩陣取值的、不定無界的誤差函數E(X（t）,t)。然后，使E(X（t）,t)中的每一個元素誤差eij（t）,?i,j=1,…,n均收斂于零，我們可利用該新型神經網絡設計公式d E（X（t）,t）d t=?ΓF（E（X（t）,t））。

（3）根據所求解的具體時變問題（如時變矩陣求逆、時變Sylvester方程求解、時變矩陣平方根和時變優化問題求解、機器人解析等時變問題），按照第（2）步的設計公式展開，便可得到一個隱神經動力學新型模型/系統，即為時變問題求解的新型神經網絡模型。

（4）從理論上分析和證明所獲得的神經網絡求解器的（全局）穩定收斂特性，并借助于MATLAB的實驗仿真平臺（含Simulink）從建模/仿真實驗的角度進一步測試驗證所得的理論分析結果，即驗證生成的新型神經網絡能否準確有效地收斂到理論的時變解上去。

（5）更進一步地借助于Simulink仿真軟件，按照上述所得到的新型神經網絡模型進行更系統化和更接近于電路實現的Simulink仿真（含硬件描述語言HDL coder的編碼與測試），這可為今后（數字）電路硬件實現該類時變問題求解的神經網絡模型奠定堅實基礎，以及證實該類時變問題求解的數字硬件實現/協處理器開發的可行性。

在可行性分析方面，我們已開展了部分的基礎研究工作，積累了較多的經驗，并成功地求解了一些時變問題，比如，時變的矩陣求逆、時變Sylvester方程求解、時變Lyapunov方程求解、時變矩陣開平方根等矩陣/向量方程問題，時變方程 f（x（t）,t）=0問題，時變二次型優化問題以及機器人運動分析問題等。部分工作可參考我們已發表的文獻[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，這些研究成果可說明我們提出的新型神經動力學方法能夠準確有效地求解該一大類時變問題。在這些研究工作的基礎上，我們將進一步研究該神經動力學新方法的多類時變問題的求解及其在實踐工程中的應用。

（四）本項目的特色與創新之處

在工程實踐應用中，時變問題的求解是一個無法避免且經常遇到的問題。目前在許多工程應用過程中，基本上是借助短時不變性假設而近似為定常問題來處理的。這對于精度要求不是很高的工程項目，或許可以通過一些措施（如對相關設計參數提高要求）得以改善。但與此同時也可能需要付出額外的代價（如軟硬件成本升高、分析/測試/運算時間加長和計算精度下降等）；有些時候付出了上述代價也不一定能克服因時變因素所帶來的負面影響。因此，對于能否實時、在線、準確、有效地求解時變問題將具有一定重要的理論研究和工程實踐意義。但據我們所知，目前國內外幾乎很少有其他學者的相關文獻完備地探討關于如何解決時變問題的系統化方案（或方法）。所以，在本項目中，我們對該時變問題求解的研究內容和工作具有以下突出的特色和創新之處。

（1）神經動力學新方法的誤差函數是一個矩陣取值的、不定無界（即可正、可負，也可無界）的誤差函數。由于該新方法充分利用了各時變參數的時間導數信息，因而能準確有效地求解多類時變問題。另外，新型神經網絡模型一般采用隱動力學方程描述。根據Kirchhoff和Newton定律，這種模型在自然界中比用顯性動力學方程描述的Hopfield類神經網絡更具普遍意義。

（2）傳統梯度法的能量函數是標量范數（或平方）取值的，且是正的或至少是有下界的。梯度神經動力學模型能夠準確有效地求解定常/靜態問題。但應用于時變問題的求解時，由于沒有利用各時變參數的導數信息，使得基于該方法的神經動力學模型/系統所得的網絡解總是與時變問題的理論解（準確解）存在著一定的滯后誤差。即基于梯度法的神經動力學系統模型不能準確有效地求解時變/動態問題。

（3）定常/靜態問題可以看成時變問題的一種特例。神經動力學新方法也能準確有效地求解該類定常/靜態問題。在用該新方法求解定常問題時，可以不用考慮定常系數的導數信息（或考慮到其定常系數的導數為0）。值得指出的是，基于新方法的神經動力學系統模型在定常的情況下一般而言仍采用隱動力學方程表述，不同于用顯性動力學方程描述的傳統的基于梯度法的神經動力學系統模型。

（4）神經動力學新方法屬于一種預測的方法，它的設計方法從方法和系統層面上充分利用了各時變參數的導數信息，具有一定的預測指導能力。因此采用新型神經動力學系統模型時所得的神經網絡解可以收斂到實時“運動”的理論解上去。而基于梯度法的神經網絡模型屬于傳統上的跟蹤方法，它僅能滯后地去適應各時變參數的變化而被動地調整。因此，采用梯度神經網絡模型所得的神經網絡解不能跟上實時“運動”的理論解。

（5）從文獻[ZYN28]和[ZYN33]中可知，在求解定常問題的情況下，新型神經網絡方法的離散模型與牛頓迭代法之間存在著一定程度上的密切關系。求解靜態問題的牛頓法可以看成新型神經動力學系統在求解定常問題情況下采用線性激勵函數時的一種離散形式（且迭代步長固定為1時）。

（6）新型神經動力學方法的整個推導過程可以比較簡單，比如只需本科階段的一些高等數學知識即可。而梯度神經網絡模型的推導則是一個相對較為復雜的過程，它需要更多更深層次的數學知識背景（比如可能需要用到碩士階段甚至博士階段的數學背景知識）。

（五）年度研究計劃及預期研究結果

1. 年度研究計劃

2011.1～2011.5：主要是進行國內外文獻的整理工作。查找、跟蹤和超越國內外最新的關于時變問題求解的相關文獻和技術，并對國內外關于時變問題的研究現狀進行分析。

2011.6～2011.12：按照我們提出的新方法設計思想，將所要求解的時變問題轉化成神經動力學模型/系統進行求解、分析和驗證，主要是解決一些待解決的關鍵問題，如求解條件問題、初始值問題及網絡模型研究等。期間，至少參加兩次國內國際會議，在國內外重要期刊和學術會議上投稿兩篇以上的相關學術論文。

2012.1～2012.6：針對提出的網絡模型進行深入研究。主要是分析動力學系統模型的收斂性和魯棒性。期間，也將更積極地參與國內外學術會議（兩次以上），同國內外專家學者就時變求解交流合作，并加強與國際國內學者的交流合作。我們計劃與清華大學、北京大學、華南理工大學、華中科技大學、上海交通大學、新加坡國立大學等高校的導師/學長/同行開展更多學術交流、探討及學術會議的合作組織。

2012.7～2012.12：將根據我們獲得的理論結果進行更深入的仿真實踐工作（主要是基于MATLAB/Simulink平臺上），同時將這一新型神經動力學新方法初步應用到具體的實例應用中，比如將其所得的網絡求解器用硬件實現，或將其應用到機器人控制中。目前，該方法已經應用到基于時變偽逆的冗余機械臂解析及機器人重復運動規劃的分析之中，并在這些應用實例方面都取得了一些初步研究成果和研究進展。期間，將參加兩次以上的國際國內會議，撰寫達到世界先進水平的高質量學術論文3～5篇，同時擬邀請國內國際在這一相關研究領域的知名專家學者與本項目組成員交流合作。

2013.1～2013.10：根據前兩年的理論分析、仿真驗證及實例應用，嘗試將該新型神經動力學模型應用到我們深圳產學研的一個實際項目（編號為SY200806270111A）當中。期間，我們將把相關的研究結果投稿4～6篇論文于國內外重要的學術期刊和會議上，并申請專利1～2項。同時加強項目組成員與國內外相關研究人員（含國際會議交流3～5人次）和其他（高校）教師學生之間的探討、交流與合作，共同交流和探討時變問題的各種有效的求解方案，以促進該新型神經動力學方法進一步完備化和系統化。

2013.11～2013.12：歸納整理本項目的研究成果和實驗仿真結果，并整理與項目相關的材料，以確保按時驗收項目。期間，將盡可能參加1～2次學術會議，投稿兩篇以上達到國際先進水平的高質量學術論文及編寫1部英文專著。

2．預期研究成果

在本項目中，我們預期取得以下研究成果。

（1）理論研究方面：開發、分析、研究及建立一套較完整、系統和規范的關于求解時變問題的理論成果，并開發出特定時變問題的新型神經網絡求解器及對其進行建模仿真，嘗試對生成的神經網絡求解器進行電路層仿真和實現。

（2）工程應用方面：將這些最新的研究成果能很好地應用于實際的工程項目中（比如我們的一個關于機械臂應用及其控制的產學研項目）。

（3）論著發表方面：在此項目結題前后，我們將在國內外重要的學術雜志/會議上發表相關的學術論文6～10篇和撰寫1部英文著作。

（4）人才培養方面：培養（或協助培養）至少兩名博士生、6名碩士生和8名本科生。

二、研究基礎與工作條件

（一）工作基礎

自1996年碩士入學起，課題第一申請人張雨濃即開始從事與本課題相關問題的人工神經網絡研究，積極地參加相關領域的學術會議（從當時廣東省/中南五省學術會議開始逐漸地延伸到國內國際學術會議），注重同導師、專家、同行和學術大師們的交流和對話，充分把握、跟蹤和提升該研究領域的研究進展。通過十余年的研究積累，申請人從理論創新到工程應用已逐步形成了自己的研究風格和體系。從研究思想的提出，到課題的實施、推進直至完成，均能獨立地按照國際國內相關標準和項目管理流程運作，確保研究工作的規范性和前瞻性。

值得指出的是，從前文也可以看到，在時變問題的研究上，從2001年3月起，張雨濃就與其導師、同事正式提出用于解決時變矩陣/向量/代數/優化/機器人問題的新型神經網絡方法和各類相關的神經動力學模型，先后發表直接相關科研論文30余篇，其中IEEE Transactions論文4篇、SCI雜志論文10篇、EI論文20余篇。這表明申請者及其團隊在時變問題研究上已經做了較多的基礎工作，反映了本團隊對該項目新內容[如時變Sylvester和Lyapunov矩陣方程求解（離散模型）、時變線性方程組求解（離散模型）、時變非線性矩陣方程（如時變矩陣開平方根）的求解、時變非線性方程問題求解、時變優化問題求解及機器臂冗余度解析等]的研究能力較強。

（二）工作條件

第一申請人所在的中山大學信息科學與技術學院擁有“信息安全技術”和“軟件技術”兩個廣東省重點實驗室，具有良好的科研軟硬件環境。作為學校“211工程”和“國家985工程”的重點建設學科，學院具有充足的計算機工作站、微型計算機及多種實驗儀器設備。申請人所在的實驗室與網絡中心直接用光纜連接，這對國內外科研信息查詢、交流提供了極為有利的條件。申請人所在單位建有大型計算中心、仿真中心和測試中心，這些對本課題的順利開展都有重要的幫助。項目也將依托于“985工程”一期建設的“信息安全技術”廣東省重點實驗室。

申請人學術交流活躍，經常參加國際學術會議，并與華南理工大學、新加坡國立大學、英國Strathclyde大學、愛爾蘭國立大學等學校的相關單位個人建立了密切的合作關系，能及時了解該項目和本研究方向的最新成果和發展動態。

（三）申請人簡介

在本項目中，申請人張雨濃將全面主持負責本項目的全面研究工作，并參與到本項目中所涉及的各項理論分析研究及仿真驗證等具體、細致的科研工作中。

1．申請人張雨濃簡歷

張雨濃，男，博士、教授、博士生導師，1973年10月出生。

1992—1996年在華中理工大學攻讀學士學位，專業為自動控制工程，畢業論文為《汽車遙控防盜自動化系統》。1996年考入華南理工大學攻讀碩士學位，指導導師為毛宗源教授，專業為自動控制工程，畢業論文為《人工神經網絡的面向對象軟件實現》，期間榮獲多項獎勵，如西門子獎學金和南粵優秀研究生獎學金。1999—2002年在中國香港中文大學攻讀博士學位，導師為王鈞教授，專業為機械與自動化工程，畢業論文為《遞歸神經網絡的分析設計及其在控制與機器人系統上的應用》，期間榮獲中國香港Lee Hysan研究生獎學金，發表6篇IEEE Transactions論文和3篇其他雜志論文或書章。

2003年取得博士學位后，申請人在新加坡國立大學電力與計算機工程系做博士后研究，合作導師為葛樹志教授，職位為博士后研究員（Post-doc Research Fellow），主要研究領域為時變求逆的神經網絡和冗余機器人系統。2004 年申請人在多位老師的推薦下，前往英國Strathclyde大學工作，指導老師為W.E.Leithead教授，職位為研究員（Research Fellow），主要研究領域為高斯過程回歸及其快速算法。由于項目的安排，自2005 年，申請人由英國Strathclyde大學轉往愛爾蘭國立大學Maynooth分校哈密頓研究所工作，合作導師仍為W. E. Leithead教授，職位為研究科學家/研究員（Research Scientist/Research Fellow）。2006年中回國，受聘于中山大學信息科學與技術學院，任“百人計劃”教授，9 月開始正式授課，并于2007年入選教育部“新世紀優秀人才支持計劃”（編號為NCET-07-0887），主要研究領域為人工神經網絡、科學計算及優化研究和冗余機器手臂。

申請人多次參加和參與組織國際學術會議并擔任組委會成員和小組主席。迄今，共發表（和錄用）與本項目相關的中英文論著近140余篇。其中，英文期刊30余篇（含10篇IEEE Transactions論文，其中6篇是IEEE Transactions長文），國際會議70余篇。另外有兩章書中章節、兩本專著、兩本譯著和30余篇中文雜志論文。博士論文《遞歸神經網絡的分析設計及其在控制與機器人系統上的應用》也已經在ACM Portal上發布。

1）申請人參與組織的國際學術會議及專業服務

①小組主席，第6屆神經網絡國際論壇（ISNN），中國武漢，2009.5。

②小組主席，2008年神經網絡國際聯合會（IJCNN），中國香港，2008.6。

③出版副主席（Publications co-Chair），第5屆神經網絡國際論壇（ISNN），中國，2008。

④小組主席，2008年網絡、傳感及控制國際會議（ICNSC），中國三亞，2008。

⑤程序委員會成員（Program Committee Member），IEEE智能控制國際論壇，新加坡，2007。

⑥程序委員會成員，IEEE智能控制國際論壇（ISIC），德國慕尼黑，2006.10。

⑦程序委員會成員，通信，電路與系統國際會議（ICCCAS），中國桂林，2006.6。

⑧程序委員會成員，IEEE機器人自動化國際會議（ICRA），美國佛羅里達，2006.5。

⑨程序委員會成員，第3屆神經網絡國際論壇（ISNN），中國成都，2006.5。

⑩小組主席，第4屆網絡傳感與控制國際會議（ICNSC），美國佛羅里達，2006.4。

? 小組主席，第15屆機器人控制國際論壇（ISMCR），比利時布魯塞爾，2005.11。

2）申請人參與的和/或受資助的項目

①“冗余機器人實時運動規劃的統一理論”，60775050，國家自然科學基金委員會，中國，2008.1～2010.12。

②教育部“新世紀優秀人才支持計劃”，NCET-07-0887，教育部，2008.1～2010.12。

③“機器手臂的基于二次規劃的冗余度解析方案”，60643004，國家自然科學基金委員會，中國，2007.1～2007.12。

④“冗余機器手臂的二次規劃解析”，4105337，教育部留學回國人員基金項目，2009.1～2011.12。

⑤“百人計劃”，3171311，中山大學引進人才科研啟動費，2006.6～2009.6。

⑥“The Optimization Part of Gaussian Process Regression”, Supported by the Science Foundation Ireland Grant, 00/PI.1/C067, Ireland, and by the EPSRC, GR/M76379/01, UK, 2001-2006.

⑦“Multilayer Recurrent Neural Networks for Real-Time Optimization and their Applications to Optimal Control of Kinematically Redundant Manipulators”, Funded by the Hong Kong Research Grants Council（CUHK4165/98E）,China,1998-2001.

⑧“Multilayer Recurrent Neural Networks for Synthesizing and Optimizing Robust Linear and Nonlinear Control Systems”,funded by the Hong Kong Research Grants Council（CUHK4150/97E）, China,1997-2000.

3）申請人已發表（含錄用）與本課題研究相關的論著88篇

這里不再給出相關論文情況，讀者可根據申請課題的需要，分類給出相關論文。

2. 項目組成員簡歷

（1）易稱福，男，博士生，1978年9月出生。2007年7月畢業于江西理工大學，獲計算機應用技術碩士學位。現為中山大學信息科學與技術學院通信與信息系統專業在讀博士生。參與多個基金項目助研工作。在重要刊物和相關國際會議上已發表多篇論文（論文略）。

（2）蔡炳煌，男，博士研究生，1981年9月出生。2000年9月至2004年6月在汕頭大學電子工程系電子信息工程專業攻讀學士學位，畢業設計導師崔巖副教授，畢業論文被評為汕頭大學優秀畢業論文，多次獲得獎學金和各種榮譽，汕頭大學優秀畢業生。2004年9月至2007年6月在汕頭大學電子工程系信號與信息處理專業攻讀碩士學位，導師沈民奮教授，期間發表了4篇學術論文，參與了多個科研項目的研究工作，2006年汕頭大學優秀研究生，廣東省2006年南粵優秀研究生。2007年9月至今在中山大學信息科學與技術學院通信與信息系統專業攻讀博士學位，導師張雨濃教授，參與到冗余機械臂相關的國家基金項目的研究工作中，已在重要刊物和國際會議上發表（含錄用）論文成果十余篇，2008 年10 月獲得中山大學2007—2008學年度優秀研究生獎學金，2008年12月獲得The 2nd International Symposium on Systems and Control in Aeronautics and Astronautics（ISSCAA 2008）最佳論文獎。已發表的與本項目相關的論文略。

（3）李克訥，男，博士研究生，1978年4月出生。2002年7月畢業于華南理工大學，獲高分子材料科學與工程專業工學學士學位。在企業工作一年多之后，2004年起在廣東工業大學攻讀碩士學位，于2007年7月獲信號與信息處理專業工學碩士學位，現為中山大學信息科學與技術學院通信與信息系統專業在讀博士生。李克訥參與了多個基金項目的助研工作，在重要學術刊物上發表論文多篇（論文略）。

（4）阮恭勤，男，碩士生，1985年6月出生。2008年7月畢業于廣東工業大學，獲電子信息工程學士學位。現為中山大學信息科學與技術學院通信與信息系統專業在讀碩士生。參與多個基金項目助研工作。現已發表一篇國際學術會議論文，并投稿兩篇論文（論文略）。

許朋，男，碩士生，1985年10月出生。2008年7月畢業于華北水利水電學院，獲信息與計算科學學士學位。現為中山大學信息科學與技術學院檢測技術與自動化裝置專業在讀碩士生。現已發表（含錄用）兩篇國際會議論文（論文略）。

（5）李展，男，1987 年11 月出生。現為中山大學信息科學與技術學院通信與信息系統專業碩士研究生。已發表相關的學術論文3篇（論文略）。

（6）李學忠，男，本科生，1986年9月出生。現為中山大學軟件學院通信軟件專業在讀碩士研究生。參與實驗室神經網絡硬件研究工作。發表兩篇國際會議論文（論文略）。

（四）承擔科研項目情況

項目名稱：冗余機器人實時運動規劃的統一理論，60775050，國家自然科學基金，2008年1月～2010年12月。

主要內容：機器手臂是一個末端能動機械裝置，其運動任務包括焊接、油漆、組裝等，有著廣泛的工業生產應用背景。冗余機器手臂因為其多余的自由度而擁有更大的操作空間和能滿足更多的約束，比如它可以躲避自身物理極限和環境障礙物。但實時控制冗余機器人存在一個關鍵問題，即冗余度的實時解析（或稱實時運動規劃）。通過對基于偽逆的解析方法的優缺點分析，我們提出一套基于二次型優化的統一的冗余度解析方案及理論框架。該統一理論能將各種深含物理意義的目標函數歸納為一個二次型優化目標；并以等式、不等式和雙端約束來分別表述機器人末端運動、環境及自身的物理約束。我們應用遞歸神經網絡，正在開發二次優化問題的實時求解器。這個將各方案統一為優化問題并實時求解的機器人運動規劃理論有利于我們對現有工作的更深刻系統的理解，也有利于我們對未來工作更遠的展望。這個研究工作有其相應的生物學背景和意義，比如用于分析人手、象鼻、蛇等自然冗余系統的運動。

與本項目關系：①都與數學有著緊密的關系；②都是利用遞歸神經網絡來求解；③在未來的研究工作中，我們也可利用新型神經網絡模型來求解具有等式、不等式約束的動態優化問題；④我們也在嘗試用新型神經網絡來求解控制機器手臂的運動規劃問題。在此項目中我們主要負責解決機器人冗余度的實時解析（或稱實時運動規劃）問題。

（五）完成自然科學基金項目情況

項目名稱：機器手臂的基于二次規劃的冗余度解析方案，項目編號為60643004，項目類型為專項基金項目（科學部主任基金），執行年限為2007年1月～2007年12月。

完成情況：已完成并結題，并被專家組評為“優秀”。

后續研究工作：本項目已較好地完成預期研究目標和研究內容。由于該項目執行時間較短，仍有部分工作可以更深入地研究，比如示范性的多自由度機器手或象鼻狀機器人的開發與控制等，我們將在目前的研究項目和以后的/其他的科研工作中繼續開展更進一步的研究。

與本項目關系：①都與數學有緊密的關系；②都是利用遞歸神經網絡來求解；③在未來的研究工作中，我們也可利用時變的神經網絡來求解具有等式、不等式約束的優化問題；④我們也在嘗試用新型神經網絡來求解控制機器手臂問題。此項目主要涉及機器手臂的二次規劃冗余度解析。

總結摘要：機器手臂是一個末端能動機械裝置，其運動任務包括焊接、油漆、組裝等，有著廣泛的工業生產應用背景。冗余機器手臂因為擁有多余的自由度而擁有更大的操作空間和能滿足更多的約束。但實時控制冗余機器人存在一個關鍵問題：冗余度的解析。通過對經典的基于偽逆的冗余度解析方案的優缺點分析，我們提出了一種基于二次型優化的冗余度解析方案。同時開發與應用對偶神經網絡、基于線性變分不等式的原對偶神經網絡等實時優化求解器來在線求解該二次型優化問題，從而做到冗余度的實時解析。各種冗余度解析方案（含重復運動和雙判據等）的研究分析，以及它們在PUMA560、PA10等不同機器手臂模型上進行的計算機仿真驗證，表明了該基于二次型優化的冗余度解析統一方案的有效性。本項目提出的一個統一的解析框架，有利于我們對現有工作更深刻、更系統的理解，也有利于我們對未來工作有更深遠的展望。項目已發表多篇論文到國際國內雜志和會議上，其中書中章節1篇，已發表論文14篇。招生培養研究生共9名（碩士生7名，博士生兩名），并組織了兩個國際會議中的專題研討會，已完成項目的預期目標和研究內容。

相關成果：項目執行一年并完成后，已有15篇論文成果發表到國際國內雜志和會議上，其中受邀發表41頁的書中章節1章，發表（或已錄用）論文14篇。招生培養研究生共9名，并組織了兩個國際會議中的專題研討會，參加了多個國際會議組委會的工作（論文略）。

第二節 本章總結

本章以2010年國家自然科學基金面上項目為載體，詳細地介紹了作者團隊提出的用于求解時變問題的新型神經網絡模型與方法。與傳統被動追蹤的梯度法神經網絡模型與方法（其僅能準確求解時不變/靜態問題）不同，作者團隊提出的這種新型神經網絡屬于一種預測模型和方法，它可以利用時變系數的導數信息以求實時地收斂到時變問題的理論解上。本章也重點介紹了這種新型神經網絡模型與方法的具體構建過程以及與其他神經網絡模型與方法（如梯度法神經網絡模型與方法）的不同之處。在本章中，這種新型神經網絡模型和方法被應用于解決很多常見的時變問題，如時變線性方程求解（包括模型的魯棒性分析、在線求解機器人逆運動學問題等），時變凸二次優化問題，時變矩陣平方根問題，時變非線性標量方程問題以及定常（標量和矩陣/向量）問題。在求解這些時變問題時，關鍵要解決的問題以及相應采取的研究方案也詳細介紹了，如求解條件問題、初始值問題、網絡模型研究以及理論分析與仿真實驗等。作為一類比較完備探討關于如何解決時變問題的系統化方法，作者在申請書中也歸納了這種新型神經網絡模型和方法的特色和創新之處。

另外值得指出的是，從申請書可以看到，作者團隊在申請該項基金之前已經做了大量的前期準備工作，已經對時變問題求解的神經網絡模型與方法有了較深層次的認識和把握，已經很有信心和能力完成該項目了。這些信心和能力體現在作者團隊在新型神經網絡模型與方法上已經發表了很多相關成果。這最終促成了該項目的獲批立項。我們也因此感謝學校科技處老師和學院科研秘書在該項目申請和開展中給予的關心和指導，以及基金委返回的寶貴的評審意見。他們的大力支持和熱心幫助使得各基金項目得以更順利地申請、開展和結題。無論申請基金項目成功與否，申請過程中的經驗以及得到的相關建議都不同程度地啟發作者團隊對現有工作更深層次、更全面和更準確的思考與改進，也希望它們通過本書能提供給廣大讀者一個有益的參考和借鑒。