1引言

　　魚類經(jīng)過數(shù)億年的進(jìn)化有了卓越的游動性能，人們對魚類的形體結(jié)構(gòu)和運動學(xué)展開了大量研究。在自然界中，約85%的魚類以身體和(或)尾鰭(Bodyand/orCaudalFin，BCF)模式實現(xiàn)推進(jìn)，這類推進(jìn)模式具有速度快、能量傳遞效率高等優(yōu)點，是最常見的機器魚設(shè)計模式。BCF推進(jìn)模式又可細(xì)分為不同的科類模式，如鰻魚(鰻鱺科)就是以波動推進(jìn)為主，這是一種幾乎全身參與推進(jìn)的方式。

　　近年來，越來越多的研究表明，在游動過程中，魚類存在被動機制，其穩(wěn)定游動所需的大部分力量由魚體前部和中部的肌肉組織產(chǎn)生，魚體后部的肌肉組織只負(fù)責(zé)將力量傳遞到尾巴。這為機器魚的設(shè)計提供了思路，可通過適當(dāng)?shù)馗淖兺七M(jìn)結(jié)構(gòu)的剛度和魚體的柔順性，有效提高機器魚的游動性能。如Fiazza等設(shè)計了具有順應(yīng)尾部的機器魚，通過身體固有的頻率振動，可實現(xiàn)柔順尾部的擺動。White等利用仿生金槍魚研究身體柔軟性的作用，實驗結(jié)果表明，增加身體的柔軟性可以提高機器魚推進(jìn)的游動速度。Zhong等設(shè)計了一種由主動驅(qū)動的身體和柔順的尾巴相結(jié)合的機器魚，其能夠?qū)崿F(xiàn)高效游動，還設(shè)計出了這類機器魚一般的運動學(xué)模型，并將該方法擴(kuò)展到不同的游動模式中。這些研究在一定程度上說明，在一定條件下，被動機制(即順從運動)可以提高機器魚的游動性能。基于相關(guān)究，本文利用欠驅(qū)動和順從運動的原理，提出用兩段主動體結(jié)合兩段被動順從體來設(shè)計機器鰻魚的方法。

　　深度強化學(xué)習(xí)(DeepReinforcementLearning，DRL)結(jié)合了深度學(xué)習(xí)在感知方面的強大理解能力，以及強化學(xué)習(xí)的決策能力，可實現(xiàn)端到端的學(xué)習(xí)。當(dāng)DRL應(yīng)用在機器人的控制問題上時，機器人由一個神經(jīng)網(wǎng)絡(luò)控制，不斷與環(huán)境進(jìn)行交互得到數(shù)據(jù)，并進(jìn)行訓(xùn)練，可在不需要復(fù)雜模型和控制設(shè)計的情況下，直接解決機器人的控制問題。目前，已有許多將DRL應(yīng)用在機器人控制方面的研究，如控制機械臂推動物體、控制兩足機器人運動等，Li等也實現(xiàn)了軟體機器人的運動控制。雖然學(xué)習(xí)延遲、樣本實效等問題仍有待解決，但DRL在機器人控制上的一致性和泛化方面有很大的優(yōu)勢。機器魚的運動控制現(xiàn)大多基于模擬魚類運動學(xué)方程的方法，如Lighthill提出了行波方程。但這種近似的運動學(xué)方程并不能精確有效地描述所有魚類的運動，此外，其是否最優(yōu)的運動方式依有待驗證。本文提出不設(shè)置運動學(xué)方程，利用DRL讓機器鰻魚在仿真環(huán)境中自主學(xué)習(xí)向前游動的能力，通過數(shù)據(jù)擬合得到機器鰻魚的控制函數(shù)，從而實現(xiàn)對機器鰻魚的控制，并通過相關(guān)實驗驗證了該方法的適用性。

　　2機器鰻魚的設(shè)計

　　2.1基于主動體與被動順從體推進(jìn)機構(gòu)的設(shè)計

　　Zhong等提出了一種新型的推進(jìn)機構(gòu)——主動體與被動順從體推進(jìn)機構(gòu)(theActiveandCompliantPropulsionMechanism，ACPM)，用于構(gòu)建機器魚。其中，主動體部分采用拉線機構(gòu)主動彎曲，被動部分是由彈性材料制成的柔性尾部。ACPM被證明具有魚的波動運動特性，能夠?qū)崿F(xiàn)高速、高效地游動。

　　利用拉線機構(gòu)可實現(xiàn)單電機對機器魚多關(guān)節(jié)的控制，如圖1所示。

圖1拉線機構(gòu)的設(shè)計

　　在拉線機構(gòu)中，舵機的旋轉(zhuǎn)角與魚體的彎曲角之間存在對應(yīng)關(guān)系。假設(shè)各關(guān)節(jié)的摩擦力和旋轉(zhuǎn)角度均相同，可得到與的映射關(guān)系：

       (1)

　　其中，r為轉(zhuǎn)盤的半徑;N為關(guān)節(jié)數(shù);d為兩側(cè)鋼絲繩間的距離。

　　柔順尾部的設(shè)計方法基于數(shù)學(xué)模型，詳細(xì)的建模方法已經(jīng)在本團(tuán)隊之前的工作中進(jìn)行了介紹。在ACPM的后續(xù)研究中，Zhong等通過分析流體力矩和身體彎矩，將ACPM的建模方式拓展至其他游動模式中，如圖2所示。圖2展示了4種典型游動方式的力矩相位分布，紅線La為流體力矩與身體轉(zhuǎn)矩相互平衡的最佳身體長度。由圖2可知，鰻魚所屬的鰻鱺科，存在兩段被動順從結(jié)構(gòu)，而其余的模式只有一段順從結(jié)構(gòu)?；谠摪l(fā)現(xiàn)，本文采用兩段主動拉線機構(gòu)與兩段被動柔順身體相結(jié)合，來進(jìn)行機器鰻魚的設(shè)計，可使機器鰻魚實現(xiàn)更高效地游動。如圖3所示，當(dāng)?shù)谝欢卫€機構(gòu)向一側(cè)彎曲，第二段拉線機構(gòu)向另一側(cè)彎曲時，機器鰻魚整體將呈現(xiàn)一個“S”型運動，這符合真實的鰻魚游動方式。

圖2不同游動模式在ACPM中的優(yōu)化

圖3機器鰻魚模型

　　2.2機器鰻魚樣機

　　本研究開發(fā)的機器鰻魚由兩段ACPM構(gòu)成，由于不考慮下潛和上浮的功能，故不設(shè)計胸鰭。本文基于真實鰻魚的形態(tài)，參考鰻鱺科在ACPM優(yōu)化過程中的參數(shù)比例，結(jié)合實際需求，如電機的固定位置等，對機器鰻魚進(jìn)行設(shè)計。機器鰻魚總長約550mm，橫截面為橢圓，最大寬度為35mm，并逐漸減小。魚身整體可分為6段，其中順從身體長度為100mm，順從尾巴長度為135mm。主動體部分采用拉線機構(gòu)，利用直徑為0.8mm的鋼絲繩拉動，每一段拉線機構(gòu)有4段間距相等的活動關(guān)節(jié)，4段活動關(guān)節(jié)的總長為80mm。順從部分由硅膠澆鑄設(shè)計好的模具制成，能夠很好地滿足被動柔順的需求。頭部和中間段身體為剛體部分，用于放置舵機和轉(zhuǎn)盤，為防止鋼絲繩被拉動時脫落，還設(shè)計了托臂。轉(zhuǎn)盤、關(guān)節(jié)和剛體部分都通過3D打印技術(shù)制作而成，機器鰻魚的實驗樣機如圖4所示。

　　圖4機器鰻魚實驗樣機

　　兩個舵機的型號均為Hitec的HS-5086WP，可提供3.6kg·cm的扭力?？刂瓢暹x用ArduinoUNO，通過輸出PWM信號來驅(qū)動舵機轉(zhuǎn)動?？刂瓢搴碗娫吹入娮釉庵?，通過杜邦線與舵機相連。由于順從部分的質(zhì)量較大，在兩段拉線機構(gòu)部分套上硅膠膜來增大浮力，并利用硅橡膠進(jìn)行防水處理。此外，為限制機器鰻魚的運動在同一水平面上，本研究還添加了鉛塊，用以調(diào)節(jié)樣機所受到的重力和浮力。

　　3仿真優(yōu)化的方法

　　3.1仿真環(huán)境

　　在深度強化學(xué)習(xí)過程中，借助神經(jīng)網(wǎng)絡(luò)，主體可直接從原始輸入數(shù)據(jù)中提取和學(xué)習(xí)特征知識，并進(jìn)行輸出。因此，收集的原始數(shù)據(jù)的有效性格外重要。在機器人控制上，數(shù)據(jù)的收集一般有兩種途徑：第一種方式是在現(xiàn)實中直接收集數(shù)據(jù)，即將本研究的機器鰻魚在水中連續(xù)測試并進(jìn)行數(shù)據(jù)收集，但測試的工作量和難度較大，且本研究設(shè)計的柔性身體存在被動運動，機器鰻魚在游動過程中，其位置和速度等數(shù)據(jù)變量將更為復(fù)雜，很難人工直接在數(shù)據(jù)庫中進(jìn)行特征提取;第二種方式是在仿真環(huán)境中獲取數(shù)據(jù)，利用深度計算方法在感知方面強大的理解能力，有效地提取特征數(shù)據(jù)。就本研究而言，第二種方式有更好的適配性和訓(xùn)練速度。本文采用MuJoCo作為仿真平臺，對機器鰻魚做離散分割建模，并實現(xiàn)了有效控制。在仿真環(huán)境中進(jìn)行深度計算，提高了鰻魚模型參數(shù)的可調(diào)性，同時還賦予了深度計算過程更好的可視性，使參數(shù)變化對鰻魚游動狀態(tài)的影響更直觀。

　　MuJoCo是一個通用物理引擎，能夠快速準(zhǔn)確地模擬關(guān)節(jié)類結(jié)構(gòu)與其環(huán)境交互，已被廣泛應(yīng)用于基于模型的計算、數(shù)據(jù)分析、深度強化學(xué)習(xí)等相關(guān)領(lǐng)域的研究和實驗。在MuJoCo中加入對應(yīng)的水環(huán)境，將機器鰻魚的運動限制在同一水平面上，以模擬浮力與重力的平衡，同時以室溫20℃為標(biāo)準(zhǔn)，設(shè)置水環(huán)境的介質(zhì)密度為1000kg/m3，介質(zhì)黏度為0.001Pa·s，以模擬運動時機器鰻魚受到的阻力和黏滯力。為減少仿真環(huán)境中的無用信息，本實驗對仿真模型進(jìn)行了一定程度的簡化，如圖5所示。機器鰻魚整體長度保持為550mm，將兩段放置舵機的分離剛體部件整合成一個整體作為剛體頭部，以實現(xiàn)機器鰻魚身體驅(qū)動的連貫性。除剛體頭部外，驅(qū)動部分連成一體，由主動關(guān)節(jié)和柔性順從體構(gòu)成，不存在多余的剛體僵直，這種一體驅(qū)動的方式與真實的鰻魚更接近。此外，本實驗還簡化了關(guān)節(jié)模型，并保留了兩段ACPM中主動關(guān)節(jié)的耦合關(guān)系，這也是本文仿真控制的重點。為提高對柔性順從體的仿真精度，本實驗將兩段順從體分割成離散的分塊，設(shè)置為被動關(guān)節(jié)，僅通過拉線機構(gòu)的最后一段主動關(guān)節(jié)進(jìn)行驅(qū)動，能夠更好地模擬軟體材料的柔順特點。為提高模型的準(zhǔn)確性，在實驗中測試了順從體的彎曲特性，并通過調(diào)整被動關(guān)節(jié)的特征參數(shù)，使仿真模型能夠最大程度地接近真實鰻魚。

　　　　圖5MuJoCo中的機器鰻魚模型

　　3.2深度強化學(xué)習(xí)

　　強化學(xué)習(xí)柔性動作-評價(SoftActor-Critic，SAC)算法是一個off-policy、actor-critic算法，與其他強化學(xué)習(xí)算法不同的是SAC將熵引入優(yōu)化策略中，在獲取更高累計獎勵的同時，可將策略的熵最大化，熵越大，策略的隨機性越大。策略熵允許高度隨機的動作，在訓(xùn)練過程中，引入策略熵可豐富并拓展策略的探索過程，加速后續(xù)的學(xué)習(xí)并且防止策略過早地收斂至無意義的局部最優(yōu)，魯棒性較高。SAC算法的動作空間是連續(xù)的，不只是離散的階段控制數(shù)據(jù)，因此，在解決連續(xù)控制問題上具有良好性能，適用于機器人的控制。

　　在利用深度強化學(xué)習(xí)進(jìn)行訓(xùn)練之前，需要對機器鰻魚的運動設(shè)置獎勵函數(shù)、動作空間和狀態(tài)空間。不同的獎勵函數(shù)將導(dǎo)致不同的學(xué)習(xí)結(jié)果，若獎勵函數(shù)不合適，可能導(dǎo)致最終結(jié)果不能收斂。本研究期望機器鰻魚學(xué)習(xí)的運動能力是在靜水中能夠?qū)崿F(xiàn)向前直線游動，且所需的輸入轉(zhuǎn)矩較小，即實現(xiàn)高效的直游。本文將訓(xùn)練機器鰻魚的獎勵函數(shù)R定義為：

(2)

　　其中，Vx為機器鰻魚前進(jìn)方向的速度;T為動作空間輸入的轉(zhuǎn)矩;Py為機器鰻魚垂直于前進(jìn)方向上的位置偏移;Posture_r為游動姿態(tài)，如頭部的旋轉(zhuǎn)角度;Safe_r為游動的安全性，用于排除機器鰻魚游動過程中的異常姿態(tài)，如回旋前進(jìn)等;為轉(zhuǎn)矩系數(shù)，表示轉(zhuǎn)矩在獎勵函數(shù)R中的參與權(quán)重;為偏移系數(shù)，表示位置偏移在獎勵函數(shù)R中的參與權(quán)重;為姿態(tài)穩(wěn)定系數(shù)，表示姿態(tài)在獎勵函數(shù)R中的參與權(quán)重。

　　動作空間的設(shè)置必須與實際的控制輸入數(shù)量相匹配。為了模擬拉線機構(gòu)對活動關(guān)節(jié)的控制，每段拉線機構(gòu)的4個關(guān)節(jié)應(yīng)輸入相同的值，以構(gòu)成一個整體進(jìn)行控制。本實驗設(shè)置的輸入信號范圍為[-10,10]，當(dāng)輸入小于0時，活動關(guān)節(jié)向左旋轉(zhuǎn)，當(dāng)輸入大于0時，活動關(guān)節(jié)向右旋轉(zhuǎn)。

　　狀態(tài)空間包括機器鰻魚在仿真環(huán)境中所對應(yīng)時刻的所有信息，包括多種力學(xué)特征，但在實際的控制中，獲得的控制信息較少。本研究主要關(guān)注機器鰻魚的運動姿態(tài)，因此，選擇機器鰻魚的位置和速度信息構(gòu)成狀態(tài)空間。 　

　　SAC算法需要對神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)置，本文的actor神經(jīng)網(wǎng)絡(luò)和critic神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)相同，均采用多層感知器神經(jīng)網(wǎng)絡(luò)，有2層隱藏層，每層有256個神經(jīng)元，參數(shù)設(shè)置如表1所示。

表1深度強化學(xué)習(xí)參數(shù)表

　　將機器鰻魚在仿真環(huán)境中訓(xùn)練200個周期，每個周期包括500步，每步的控制周期為10ms。為提高訓(xùn)練結(jié)果與真實水環(huán)境的適配性，在每個周期的第一步，本實驗都設(shè)置一個隨機影響值，模擬現(xiàn)實中位置和速度的偏差干擾。隨機影響值越大，機器鰻魚適應(yīng)環(huán)境變化的能力越強，在訓(xùn)練過程中越難實現(xiàn)收斂;但隨機影響值過小，則難以實現(xiàn)所期望的擾動效果。經(jīng)過測試，本實驗選用的隨機影響值為0.01m，即為第一步的狀態(tài)起始值加上[-0.01,0.01]m間的一個隨機影響值。

　　通過調(diào)整獎勵函數(shù)中、、的值，可得到不同的訓(xùn)練結(jié)果，通過反復(fù)實驗，能夠得到較為適配的系數(shù)。通過實驗發(fā)現(xiàn)，過小的轉(zhuǎn)矩系數(shù)對鰻魚的控制影響較小，過大的則會導(dǎo)致鰻魚擺動的幅值減小;過小的偏移系數(shù)對鰻魚的偏移限制較小，過大的則會出現(xiàn)鰻魚模型擺動幾次后依靠慣性滑行的現(xiàn)象。為保證神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果較為穩(wěn)定，本實驗最終將轉(zhuǎn)矩系數(shù)和偏移系數(shù)的值分別固定為10-5和0.01，然后通過調(diào)整姿態(tài)穩(wěn)定系數(shù)的值，來訓(xùn)練不同性能的神經(jīng)網(wǎng)絡(luò)。

　　本實驗將姿態(tài)穩(wěn)定系數(shù)的值依次設(shè)置為0.1、0.3、0.5、0.7，可得到4種不同的訓(xùn)練情況，如圖6所示。通過判斷總獎勵值的變化程度，來近似表征訓(xùn)練過程的收斂性。首先計算總獎勵值的滑動平均值，實現(xiàn)對總獎勵曲線的濾波;然后計算平滑后總獎勵曲線的斜率絕對值;最后將斜率絕對值持續(xù)小于0.5的曲線作為訓(xùn)練過程近似收斂的表征。當(dāng)訓(xùn)練參數(shù)不同時，訓(xùn)練過程的近似收斂情況如表2所示。通過對比4種不同情況的訓(xùn)練結(jié)果可知，姿態(tài)穩(wěn)定系數(shù)的值越大，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中就越難收斂。

表2不同姿態(tài)穩(wěn)定系數(shù)下的近似收斂步數(shù)

圖6機器鰻魚在不同的姿態(tài)穩(wěn)定系數(shù)下的訓(xùn)練過程

　　在上述4種情況中，將得到控制效果穩(wěn)定的神經(jīng)網(wǎng)絡(luò)在仿真環(huán)境中進(jìn)行控制測試。每步的控制周期設(shè)置為10ms，在神經(jīng)網(wǎng)絡(luò)的控制下，讓機器鰻魚運行2000步，觀察結(jié)果并收集數(shù)據(jù)。由于隨機值的存在，機器鰻魚在游動時的起始姿態(tài)是不同的，且游動步態(tài)需要經(jīng)過一定的時間才能穩(wěn)定，所以本實驗選取第800步到第1200步之間的400步作為評估區(qū)間。

　　對于評估區(qū)間內(nèi)4種不同姿態(tài)穩(wěn)定系數(shù)，兩段拉線機構(gòu)的輸出對比圖如圖7所示。其中，拉線機構(gòu)的輸出對應(yīng)動作空間的輸入，取值范圍為[-10,10]。每隔4步，記錄一次當(dāng)前時刻兩段拉線機構(gòu)的輸出，并計算平均值，共記錄100組數(shù)據(jù)。實驗結(jié)果表明，隨著姿態(tài)穩(wěn)定系數(shù)的增大，拉線機構(gòu)的輸出逐漸減小，且輸出的幅值變化趨于穩(wěn)定。此外，通過實驗仿真發(fā)現(xiàn)，當(dāng)拉線機構(gòu)的輸出過低時，機器鰻魚的游動速度會明顯降低。

　　由于本研究的目標(biāo)是實現(xiàn)機器鰻魚高效地直游，所以在機器鰻魚游動過程中，必須關(guān)注其橫向偏移值。因此，在評估區(qū)間內(nèi)，本實驗對4種姿態(tài)穩(wěn)定系數(shù)下機器鰻魚的偏移值進(jìn)行了對比。讓機器鰻魚在每種姿態(tài)穩(wěn)定系數(shù)下進(jìn)行10次模擬，共得到40段評估區(qū)間，計算得到相同姿態(tài)穩(wěn)定系數(shù)下的偏移值的平均值，如圖8所示。當(dāng)姿態(tài)穩(wěn)定系數(shù)過低時，單次矯正的幅度過大，難以實現(xiàn)偏移量的減小;而當(dāng)姿態(tài)穩(wěn)定系數(shù)過高時，機器鰻魚的單次矯正的幅度過小，同樣難以實現(xiàn)偏移量的減小，即姿態(tài)穩(wěn)定系數(shù)過低或過高都會導(dǎo)致游動偏移量過大，難以保證直游。此外，當(dāng)姿態(tài)穩(wěn)定系數(shù)過高時，偏移值的取值會更加分散，魯棒性更低。

圖8 四種不同姿態(tài)穩(wěn)定系數(shù)下的游動偏移量

　　由圖8可知，當(dāng)姿態(tài)穩(wěn)定系數(shù)=0.3時，在輸出和游動的穩(wěn)定性上，經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)性能較好，因此，選擇該神經(jīng)網(wǎng)絡(luò)的輸出對真實機器鰻魚進(jìn)行控制。

　　3.3控制函數(shù)

　　在姿態(tài)穩(wěn)定系數(shù)=0.3的神經(jīng)網(wǎng)絡(luò)中，本實驗選擇表現(xiàn)較好的一組輸出進(jìn)行控制擬合。對于評估區(qū)間內(nèi)的兩段拉線機構(gòu)，將每個關(guān)節(jié)的轉(zhuǎn)動角度按時間變化進(jìn)行輸出，發(fā)現(xiàn)關(guān)節(jié)轉(zhuǎn)角的變化近似于三角函數(shù)，再通過算法進(jìn)行曲線擬合，可以得到近似關(guān)節(jié)轉(zhuǎn)角變化曲線，如圖9所示。由圖9可知，第一段拉線機構(gòu)與第二段拉線機構(gòu)的關(guān)節(jié)轉(zhuǎn)角變化頻率相同，頻率為2Hz;第一段拉線機構(gòu)的關(guān)節(jié)轉(zhuǎn)動最大幅值為6°，第二段拉線機構(gòu)的關(guān)節(jié)轉(zhuǎn)動最大幅值為12°;且兩者間存在相位差，為67°。由公式(1)可知舵機轉(zhuǎn)角與關(guān)節(jié)轉(zhuǎn)角的對應(yīng)關(guān)系，進(jìn)而得到舵機的控制函數(shù)，其中，r=16mm，N=4，d=22mm。

圖9關(guān)節(jié)轉(zhuǎn)角變化曲線

　　4實驗結(jié)果

　　在實驗平臺上進(jìn)行多次實驗，以驗證所得控制函數(shù)對機器鰻魚樣機的有效性。圖10為本文設(shè)計的實驗平臺，其中，水池為180cm×140cm×60cm的長方體，攝像頭安裝在水池的上方，用來拍攝在水中游動的機器鰻魚。

　　　　圖10實驗平臺

　　　　4.1兩段拉線機構(gòu)驅(qū)動實驗

　　本實驗對機器鰻魚兩段拉線機構(gòu)驅(qū)動的可行性進(jìn)行測試。根據(jù)控制函數(shù)，設(shè)置兩段拉線機構(gòu)的頻率為2Hz，關(guān)節(jié)轉(zhuǎn)角幅值分別為6°和12°，相位差為67°。依次將機器鰻魚設(shè)定為：(1)只有第一段拉線機構(gòu)參與驅(qū)動;(2)只有第二段拉線機構(gòu)參與驅(qū)動;(3)兩段拉線機構(gòu)都參與驅(qū)動。如圖11所示，圖中的綠線為起始線，以便對機器鰻魚的游動表現(xiàn)進(jìn)行對比。機器鰻魚在0s時刻出發(fā)，當(dāng)只有一段拉線機構(gòu)驅(qū)動時，機器鰻魚向前游動的速度較慢，并產(chǎn)生了橫向偏移;當(dāng)兩段拉線機構(gòu)協(xié)調(diào)驅(qū)動時，機器鰻魚向前游動的表現(xiàn)良好。測試結(jié)果表明，兩段拉線機構(gòu)驅(qū)動能夠有效驅(qū)動機器鰻魚向前游動。

　　4.2游動速度實驗

　　本文設(shè)計了速度測試實驗，以直游速度為標(biāo)準(zhǔn)，將兩段拉線機構(gòu)的頻率設(shè)置為2Hz，關(guān)節(jié)轉(zhuǎn)角幅值分別保持為6°和12°，在不同相位差下，對機器鰻魚的游動表現(xiàn)進(jìn)行測量，以驗證所得控制函數(shù)的有效性。由于所得控制函數(shù)的相位差為67°，所以本實驗將相位差分別設(shè)置為40°、50°、60°、70°、80°、90°，固定控制函數(shù)的其他參數(shù)不變，進(jìn)行對比實驗。為排除游動不穩(wěn)定對速度的影響，本實驗設(shè)置了速度測試區(qū)，待機器鰻魚穩(wěn)定游入速度測試區(qū)后再進(jìn)行速度計算。在每一種相位差下，都進(jìn)行10次游動測試，通過計算得到平均速度，作為對照數(shù)據(jù)。表3為機器鰻魚在不同相位差下的平均游動速度。由表3可圖11機器鰻魚在拉線機構(gòu)驅(qū)動下的游動表現(xiàn)知，當(dāng)相位差為67°時，機器鰻魚的平均速度最大，這說明控制函數(shù)在直游中具有有效性。

　　表3機器鰻魚在不同相位差下的游動速度

　　5討論與分析

　　為拓展機器鰻魚的擺動幅值極限，在仿真環(huán)境中，本實驗將每個活動關(guān)節(jié)單側(cè)的轉(zhuǎn)角上限設(shè)置為35°，即每段拉線機構(gòu)的最大擺動幅值是140°。但后續(xù)在對機器鰻魚的訓(xùn)練過程中發(fā)現(xiàn)，第一段拉線機構(gòu)的活動關(guān)節(jié)并不會達(dá)到最大轉(zhuǎn)角，甚至整體的擺動幅值不會超過60°。對于機器鰻魚的擺動頻率，其取值在1.2~3.3Hz之間，這與現(xiàn)實中鰻魚游動時的低頻率、頭部擺動的低幅相符合，說明該深度強化學(xué)習(xí)方法具有適用性。

　　對于鰻魚類水下機器人，國內(nèi)外常見的設(shè)計方式可分為以下幾類：(1)采用多關(guān)節(jié)剛體設(shè)計，在每個關(guān)節(jié)放置驅(qū)動模塊，通過電機等進(jìn)行驅(qū)動，實現(xiàn)反復(fù)擺動，整體結(jié)構(gòu)和控制一般都較為復(fù)雜;也有采用新型材料進(jìn)行驅(qū)動，使用記憶合金和壓電傳感等新型材料實現(xiàn)魚體的變形，從而實現(xiàn)推進(jìn)，這類機器鰻魚在能量轉(zhuǎn)換方面存在弊端。(2)軟體機器鰻魚，通過磁感應(yīng)、氣泵等改變軟體材料的局部特性，使其產(chǎn)生規(guī)律的變化，從而產(chǎn)生游動。與上述研究不同，本文的機器鰻魚則利用魚類游動的被動機制，采用剛性關(guān)節(jié)與柔順身體連接的方式進(jìn)行設(shè)計，包含這兩者的特性，并在控制方面有更大的優(yōu)勢。

　　本文使用不基于給定運動曲線的方法，對鰻魚直游控制進(jìn)行研究，得到了近似正弦函數(shù)的控制結(jié)果，在一定程度上驗證了正弦函數(shù)在仿生魚直游控制中的合理性，也證明了本文方法的可行性。利用該方法可以對多種形態(tài)的水下仿生機器人進(jìn)行游動學(xué)習(xí)得到優(yōu)化的控制函數(shù);同時，本文方法更適合復(fù)雜游動運動的控制，如逃逸、轉(zhuǎn)彎等難以直接用運動學(xué)方程描述的運動，未來將會進(jìn)一步探究復(fù)雜運動的學(xué)習(xí)優(yōu)化。

　　6結(jié)論

　　本文利用魚類游動的被動機制，設(shè)計了新型欠驅(qū)動機器鰻魚，并建立了仿真模型，還利用DRL的方法讓機器鰻魚自主學(xué)習(xí)游動。在不同姿態(tài)穩(wěn)定系數(shù)下，本文對神經(jīng)網(wǎng)絡(luò)的控制表現(xiàn)進(jìn)行分析，并利用擬合函數(shù)在試驗樣機上進(jìn)行控制測試，成功實現(xiàn)了直游。仿真和實驗的結(jié)果證明了本文方法的有效性，這為類似結(jié)構(gòu)的水下機器人的控制提供了思路。未來將對機器鰻魚的模型進(jìn)行優(yōu)化，并改進(jìn)控制擬合過程，進(jìn)一步探究不同的身體參數(shù)以及其他運動參數(shù)對游動性能的影響。