前言

制造業(yè)是國(guó)民經(jīng)濟(jì)的主導(dǎo)力量，也是實(shí)施創(chuàng)新驅(qū)動(dòng)戰(zhàn)略的核心領(lǐng)域。智能制造是新科技革命的核心，是制造業(yè)變革和科技創(chuàng)新的制高點(diǎn)，也是制造業(yè)轉(zhuǎn)型升級(jí)的主攻方向，要通過推動(dòng)人工智能、大數(shù)據(jù)、互聯(lián)網(wǎng)和制造業(yè)的深度融合來實(shí)現(xiàn)。車間生產(chǎn)是智能制造高質(zhì)量發(fā)展的主戰(zhàn)場(chǎng)，也是學(xué)術(shù)界和工業(yè)界歷久彌新的研究課題。因此，本書選擇典型的流水車間調(diào)度、作業(yè)車間調(diào)度、分布式調(diào)度等問題作為研究背景，以深度強(qiáng)化學(xué)習(xí)和其他相關(guān)技術(shù)為研究對(duì)象，開展復(fù)雜約束條件下的車間生產(chǎn)調(diào)度單目標(biāo)或多目標(biāo)問題研究。

近年來，人工智能發(fā)展迅速，其中深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)尤其引人注目，并且在生產(chǎn)制造、供應(yīng)鏈、醫(yī)療衛(wèi)生、自動(dòng)駕駛等領(lǐng)域得到了深入的研究和應(yīng)用，取得了豐碩的成果。隨著研究和應(yīng)用的不斷深入和相互促進(jìn)，將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合的深度強(qiáng)化學(xué)習(xí)技術(shù)已成為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一，在深度神經(jīng)網(wǎng)絡(luò)、馬爾可夫決策過程、動(dòng)態(tài)優(yōu)化和策略梯度等理論和技術(shù)支撐下，具有很強(qiáng)的感知和決策能力，并在計(jì)算中實(shí)現(xiàn)兩者的交替發(fā)展與提高，目前已成功應(yīng)用于圍棋、推薦、調(diào)度等復(fù)雜的組合優(yōu)化問題中。

在車間生產(chǎn)調(diào)度問題場(chǎng)景下，通過深度強(qiáng)化學(xué)習(xí)和其他相關(guān)算法求解流水車間調(diào)度、作業(yè)車間調(diào)度和分布式調(diào)度等問題，取得了一些研究成果，具體如下：

（1）研究了兩種基于監(jiān)督學(xué)習(xí)的序列模型以解決作業(yè)車間調(diào)度問題。首先設(shè)計(jì)了以長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）為主框架，同時(shí)嵌入指針網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)的模型，并利用析取圖來描述作業(yè)車間調(diào)度問題和相應(yīng)的可行解，通過實(shí)際問題提取樣本，利用啟發(fā)式調(diào)度規(guī)則構(gòu)建樣本標(biāo)簽。其次，在自注意力機(jī)制和多頭自注意力機(jī)制的基礎(chǔ)上，構(gòu)建了由多個(gè)同結(jié)構(gòu)的編碼器和解碼器組成的編碼組件和解碼組件，并根據(jù)實(shí)際需要加深模型層次，通過自注意力機(jī)制的并行能力實(shí)現(xiàn)快速訓(xùn)練，有效改進(jìn)了循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練效率較低的缺點(diǎn)，提高了模型的預(yù)測(cè)準(zhǔn)確率。

（2）研究了基于值函數(shù)逼近的深度強(qiáng)化學(xué)習(xí)算法求解流水車間調(diào)度問題。分析了流水車間調(diào)度問題的狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)值以及值函數(shù)的表示方法，以工件的加工時(shí)間和加工機(jī)器的負(fù)載狀況來構(gòu)建算法的局部和全局狀態(tài)特征，以特定狀態(tài)下對(duì)應(yīng)的調(diào)度規(guī)則來構(gòu)建算法的行為動(dòng)作，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)來完成狀態(tài)與動(dòng)作的映射，同時(shí)將最大完工時(shí)間問題轉(zhuǎn)化為對(duì)應(yīng)的機(jī)器空閑時(shí)間最小問題來構(gòu)建獎(jiǎng)勵(lì)值。實(shí)驗(yàn)結(jié)果證明了基于值函數(shù)逼近的強(qiáng)化學(xué)習(xí)方法解決生產(chǎn)調(diào)度問題的有效性。

（3）研究了基于策略梯度的深度強(qiáng)化學(xué)習(xí)算法求解作業(yè)車間調(diào)度問題。分析了基于策略梯度的深度強(qiáng)化學(xué)習(xí)方法求解作業(yè)車間調(diào)度問題的可行性。將工序排列空間中不同的序列差異作為獎(jiǎng)勵(lì)值，將生產(chǎn)調(diào)度問題的評(píng)價(jià)目標(biāo)作為累積獎(jiǎng)勵(lì)值，并在長(zhǎng)短期記憶網(wǎng)絡(luò)中嵌入指針網(wǎng)絡(luò)以提升算法性能。首先，通過注意力機(jī)制確定當(dāng)前狀態(tài)下工件的優(yōu)先級(jí)概率分布，形成有效的調(diào)度序列。其次，為了獲取更豐富的輸入序列信息，通過指針網(wǎng)絡(luò)從輸入序列中選取優(yōu)先級(jí)更高的信息，并在計(jì)算部分通過加權(quán)機(jī)制來提高解的質(zhì)量。結(jié)果表明，基于策略梯度的深度強(qiáng)化學(xué)習(xí)算法具有解決作業(yè)車間調(diào)度問題的能力，且模型在解決此類問題時(shí)具有較好的可復(fù)制性。

（4）研究了基于混合Q-learning的多目標(biāo)車間調(diào)度優(yōu)化問題。在作業(yè)車間調(diào)度問題背景下，研究了考慮工件運(yùn)輸?shù)纳a(chǎn)調(diào)度完工時(shí)間、拖期時(shí)間、能源消耗等多目標(biāo)優(yōu)化問題，對(duì)帶精英策略的非支配排序遺傳算法（Non-dominated Sorting Genetic Algorithm-Ⅱ，NSGA-Ⅱ）的交叉和變異機(jī)制進(jìn)行改進(jìn)，加入基于N5鄰域結(jié)構(gòu)的局部搜索策略，通過改進(jìn)的NSGA-Ⅱ算法進(jìn)行多目標(biāo)問題求解。在Pareto解的基礎(chǔ)上，將前后工序的加工機(jī)器抽象為二維坐標(biāo)點(diǎn)，并設(shè)計(jì)了強(qiáng)化學(xué)習(xí)遺傳蟻群算法進(jìn)行求解，得到了比Pareto解更優(yōu)的能耗目標(biāo)解，在運(yùn)輸設(shè)備派出數(shù)量、運(yùn)輸路徑等方面具有更高的實(shí)際應(yīng)用價(jià)值。這部分工作進(jìn)一步拓寬了強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)景，實(shí)驗(yàn)結(jié)果證明了算法求解多目標(biāo)生產(chǎn)調(diào)度問題的有效性。

（5）研究了基于NASH-Q-learning的分布式車間調(diào)度問題。在分布式流水車間調(diào)度問題背景下，深入分析了多智能體強(qiáng)化學(xué)習(xí)方法，在NASH均衡和NASH-Q-learning理論框架下，將平均場(chǎng)理論和多智能體結(jié)合提出了多智能體車間調(diào)度算法。構(gòu)建了聯(lián)合狀態(tài)、聯(lián)合動(dòng)作等全局視角的算法元素，通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行值函數(shù)逼近。此外，還對(duì)常用于分布式調(diào)度問題的迭代貪婪算法進(jìn)行了改進(jìn)。最后對(duì)兩種算法的求解結(jié)果進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果證明了所提出的多智能體車間調(diào)度方法求解分布式生產(chǎn)調(diào)度問題的有效性。

由以上研究結(jié)果可知，以深度強(qiáng)化學(xué)習(xí)算法為主的人工智能方法可以有效解決流水車間調(diào)度、作業(yè)車間調(diào)度、多目標(biāo)生產(chǎn)調(diào)度和分布式生產(chǎn)調(diào)度等復(fù)雜的組合優(yōu)化問題；但同時(shí)還存在理論支撐不夠完備、算法分析不夠深入、應(yīng)用場(chǎng)景不夠全面等問題，這將是下一步研究的重點(diǎn)。

王　陽(yáng)

2019年6月2日于溫江孔雀城