作為提供機(jī)器感知能力的基礎(chǔ)技術(shù)之一，近幾年，機(jī)器視覺(jué)應(yīng)用在CCD圖像傳感器、CPU/DSP圖像處理器等技術(shù)飛速發(fā)展的促進(jìn)下，與生產(chǎn)工藝、大數(shù)據(jù)、企業(yè)云相結(jié)合，形成了針對(duì)各種生產(chǎn)要素的閉環(huán)反饋和優(yōu)化系統(tǒng)，在支撐智能制造發(fā)展中起到了越來(lái)越重要的作用。

　　組編/編輯部

　　機(jī)器視覺(jué)在工業(yè)領(lǐng)域中的應(yīng)用，已漸漸被人們所了解。伴隨著制造業(yè)由大規(guī)模、批量生產(chǎn)轉(zhuǎn)變?yōu)樯倭慷鄻?、大量定制化模式，如今的生產(chǎn)企業(yè)對(duì)于產(chǎn)能、產(chǎn)線的規(guī)劃要求日益嚴(yán)苛，加上近年來(lái)在新冠疫情持續(xù)反復(fù)的影響下，人員、物流交通時(shí)常受阻，由此也帶來(lái)了對(duì)遠(yuǎn)程運(yùn)營(yíng)管理的需求。作為提供機(jī)器感知能力的基礎(chǔ)技術(shù)之一，近幾年，機(jī)器視覺(jué)應(yīng)用在CCD圖像傳感器、CPU/DSP圖像處理器等技術(shù)飛速發(fā)展的促進(jìn)下，與生產(chǎn)工藝、大數(shù)據(jù)、企業(yè)云相結(jié)合，形成了針對(duì)各種生產(chǎn)要素的閉環(huán)反饋和優(yōu)化系統(tǒng)，在支撐智能制造發(fā)展中起到了越來(lái)越重要的作用。

　　根據(jù)市場(chǎng)研究機(jī)構(gòu)Markets and Markets的調(diào)查報(bào)告顯示，2021年全球機(jī)器視覺(jué)市場(chǎng)規(guī)模約為114億美元(含器件、系統(tǒng)及智能設(shè)備在內(nèi))，未來(lái)一段時(shí)期內(nèi)，該市場(chǎng)的復(fù)合年增長(zhǎng)率為6.1%左右，到2026年，全球機(jī)器視覺(jué)市場(chǎng)規(guī)模將達(dá)到153億美元(見(jiàn)圖1)。

　　在中國(guó)，從市場(chǎng)規(guī)模來(lái)看，近年來(lái)國(guó)內(nèi)機(jī)器視覺(jué)市場(chǎng)穩(wěn)定保持著20%的均速增長(zhǎng)，其中2021 年中國(guó)機(jī)器視覺(jué)市場(chǎng)增速超過(guò) 45%，據(jù)GGII數(shù)據(jù)披露，2021 年 2D 視覺(jué)市場(chǎng)規(guī)模約為 117.20 億元，3D 視覺(jué)市場(chǎng)約為 11.51億元。至2025年中國(guó)機(jī)器視覺(jué)市場(chǎng)規(guī)模將有望超過(guò) 380 億元，其中，3D 視覺(jué)市場(chǎng)規(guī)模將超過(guò) 100 億元(見(jiàn)圖2)。從應(yīng)用來(lái)看，目前3C 電子制造行業(yè)是機(jī)器視覺(jué)技術(shù)最多的應(yīng)用領(lǐng)域，而近期表現(xiàn)搶眼的應(yīng)用市場(chǎng)則包括汽車、半導(dǎo)體、鋰電池、醫(yī)藥、食品包裝、物流倉(cāng)儲(chǔ)等行業(yè)，其中鋰電行業(yè)在2021 年的需求增長(zhǎng)明顯，預(yù)計(jì)未來(lái)5-10 年將會(huì)是機(jī)器視覺(jué)應(yīng)用增長(zhǎng)的主要拉動(dòng)“引擎”之一。

圖1 2021-2026年全球機(jī)器視覺(jué)市場(chǎng)規(guī)模統(tǒng)計(jì)及預(yù)測(cè)(單位：億美元，資料來(lái)源：Markets and Markets)

圖2 2016-2025年中國(guó)機(jī)器視覺(jué)市場(chǎng)規(guī)模統(tǒng)計(jì)及預(yù)測(cè)(單位：億元，資料來(lái)源：GGII)

　　機(jī)器視覺(jué)+運(yùn)動(dòng)控制軟硬件新發(fā)展

　　機(jī)器視覺(jué)是一整套系統(tǒng)工程，涉及多學(xué)科交叉應(yīng)用范疇，從工作流程來(lái)看，大致上可分為成像、信號(hào)處理與分析、決策與執(zhí)行三大環(huán)節(jié)，關(guān)鍵技術(shù)涵蓋圖像處理、機(jī)械工程、控制、電光源照明、光學(xué)成像、傳感器、模擬與數(shù)字視頻、計(jì)算機(jī)軟硬件等(如：圖像增強(qiáng)和分析算法、圖像卡、I/O卡)，如圖3所示。

　　機(jī)器視覺(jué)控制器及系統(tǒng)屬于產(chǎn)業(yè)鏈上游設(shè)施，它的性能好壞直接影響到整個(gè)機(jī)器視覺(jué)系統(tǒng)的處理速度以及運(yùn)行時(shí)間。在傳統(tǒng)方案中通常采用“視覺(jué)系統(tǒng)+PLC+運(yùn)動(dòng)控制”的形式運(yùn)作，隨著當(dāng)前生產(chǎn)設(shè)備邁向集成化的發(fā)展趨勢(shì)，使得越來(lái)越多的機(jī)器視覺(jué)系統(tǒng)將運(yùn)動(dòng)控制結(jié)合到其架構(gòu)中，以代替?zhèn)鹘y(tǒng)方案，從而解決了傳統(tǒng)方案帶來(lái)的編程效率低、人員操作難、人機(jī)界面數(shù)量過(guò)多等問(wèn)題。

　　一直以來(lái)，機(jī)器視覺(jué)技術(shù)和運(yùn)動(dòng)控制技術(shù)都在各自的領(lǐng)域內(nèi)發(fā)展，但現(xiàn)在，這兩類技術(shù)逐漸走向融合、甚至是開(kāi)放的道路。在機(jī)器視覺(jué)方面，海量的并行運(yùn)算對(duì)PC機(jī)的CPU性能要求越來(lái)越高，設(shè)備成本隨之升高，為此，“嵌入式運(yùn)動(dòng)控制+機(jī)器視覺(jué)一體機(jī)”這一硬件處理方式應(yīng)運(yùn)而生。而另一方面，運(yùn)動(dòng)控制技術(shù)經(jīng)過(guò)多年的發(fā)展，逐漸分化為以DSP為代表的高精尖系列和以ARM為代表的簡(jiǎn)易型系列兩大陣營(yíng)，尤其是在一些多軸協(xié)調(diào)運(yùn)動(dòng)控制、高速點(diǎn)位運(yùn)動(dòng)控制等高端應(yīng)用場(chǎng)景中，嵌入式設(shè)備采用英特爾x86架構(gòu)的CPU和芯片組為系統(tǒng)處理器，加上高性能的DSP和FPGA為運(yùn)動(dòng)控制協(xié)處理器，并提供計(jì)算機(jī)常見(jiàn)接口及運(yùn)動(dòng)控制專用接口，就能夠?qū)崿F(xiàn)點(diǎn)位運(yùn)動(dòng)、電子凸輪、直線插補(bǔ)、圓弧插補(bǔ)、連續(xù)軌跡加工等復(fù)雜的運(yùn)動(dòng)控制功能，同時(shí)借助多路高速鎖存輸入、高速精準(zhǔn)輸出、位置同步輸出PSO，也可以匹配多臺(tái)高速工業(yè)相機(jī)的機(jī)器視覺(jué)應(yīng)用。

　　在軟件方面，結(jié)合各類工業(yè)生產(chǎn)場(chǎng)景的視覺(jué)檢測(cè)應(yīng)用需求，以及多年運(yùn)動(dòng)控制方面的技術(shù)積累，目前一些廠商開(kāi)發(fā)出專業(yè)級(jí)工業(yè)機(jī)器視覺(jué)軟件。這類軟件針對(duì)實(shí)際工藝需求提供多種功能模塊，采用可二次開(kāi)發(fā)的系統(tǒng)架構(gòu)，方便客戶定制運(yùn)動(dòng)控制+視覺(jué)的工藝、算法，并可混合編程，支持實(shí)時(shí)仿真、在線跟蹤以及診斷/調(diào)試功能，同時(shí)提供典型應(yīng)用如CNC、機(jī)器人等的視控一體解決方案，協(xié)助客戶快速實(shí)現(xiàn)智能裝備的視覺(jué)定位、測(cè)量、識(shí)別、檢測(cè)和各種復(fù)雜運(yùn)動(dòng)控制系統(tǒng)的應(yīng)用開(kāi)發(fā)。

圖3 機(jī)器視覺(jué)關(guān)鍵技術(shù)分類(資料來(lái)源：止卓資本)

　　在運(yùn)動(dòng)中檢測(cè)，確保高速工作節(jié)拍

　　隨著當(dāng)前中國(guó)先進(jìn)制造的迅猛發(fā)展，企業(yè)對(duì)于生產(chǎn)線的產(chǎn)能效率、柔性化，以及成品品質(zhì)均提出了更高的要求。例如，針對(duì)流水線視覺(jué)篩選設(shè)備的應(yīng)用，在流水線皮帶的傳輸過(guò)程中，物料通過(guò)每一臺(tái)相機(jī)時(shí)，系統(tǒng)都要對(duì)物料的正反面或者側(cè)面等進(jìn)行視覺(jué)測(cè)量與檢測(cè)等，傳統(tǒng)的做法是當(dāng)物料運(yùn)動(dòng)到每一臺(tái)相機(jī)的拍攝位置時(shí)，流水線皮帶停就會(huì)下來(lái)，視覺(jué)系統(tǒng)完成拍照及處理，而拍攝需要時(shí)間，這就往往會(huì)造成設(shè)備不必要的停頓動(dòng)作和時(shí)間消耗，對(duì)產(chǎn)能產(chǎn)生嚴(yán)重的影響。

　　為此，深圳市正運(yùn)動(dòng)技術(shù)有限公司開(kāi)發(fā)的ZMC430N運(yùn)動(dòng)控制器通過(guò)EtherCAT總線或脈沖軸接口控制伺服電機(jī)，內(nèi)置高速鎖存功能，可通過(guò)高速輸入口鎖存轉(zhuǎn)盤上來(lái)料的編碼器實(shí)時(shí)位置，并通過(guò)光纖傳感器，感應(yīng)及記錄來(lái)料位置;同時(shí)，根據(jù)鎖存位置，算出相機(jī)觸發(fā)的位置，采用視覺(jué)飛拍技術(shù)，當(dāng)物料傳輸?shù)较鄼C(jī)拍攝位置時(shí)，由運(yùn)動(dòng)控制器內(nèi)部觸發(fā)相機(jī)，進(jìn)行動(dòng)態(tài)無(wú)停頓拍照，實(shí)現(xiàn)微秒級(jí)的拍攝速度，數(shù)毫秒間就能輸出視覺(jué)運(yùn)算結(jié)果OK或NG，回傳給控制器，確定是OK吹氣口工作還是NG吹氣口工作，以達(dá)到高速篩選的目的。最后，系統(tǒng)根據(jù)鎖存位置，算出吹氣口的位置，實(shí)現(xiàn)皮帶流水線不停頓、運(yùn)動(dòng)狀態(tài)下的吹氣篩選分類檢測(cè)功能，確保了高速的加工節(jié)拍效率。

　　正運(yùn)動(dòng)技術(shù)ZMC430N運(yùn)動(dòng)控制器支持最多12路硬件比較輸出，既保證了工作效率，又確保了精準(zhǔn)度，適合1-8臺(tái)相機(jī)流水線式視覺(jué)篩選場(chǎng)合的應(yīng)用，也適用于玻璃轉(zhuǎn)盤式視覺(jué)篩選的場(chǎng)合。在機(jī)器視覺(jué)檢測(cè)和測(cè)量過(guò)程中，機(jī)構(gòu)不用停下來(lái)，相比靜態(tài)拍照，減少了機(jī)臺(tái)CT，提高了生產(chǎn)效率，還可通過(guò)PC上位機(jī)(C#/C++/.NET/Python/Qt…)調(diào)用API函數(shù)和下位機(jī)Basic混合編程，相比于傳統(tǒng)的PLC+觸摸屏方案，集成化更高，性價(jià)比更好，響應(yīng)更快，效率更高，且檢測(cè)結(jié)果更加穩(wěn)定、一致性更高。

　　無(wú)縫集成，降低應(yīng)用“門檻”

　　在“機(jī)器視覺(jué)+運(yùn)動(dòng)控制”方案的實(shí)際應(yīng)用中，為了克服技術(shù)工程師、設(shè)備制造商和終端用戶在開(kāi)發(fā)、使用以及后期維護(hù)過(guò)程中通常遇到的“痛點(diǎn)”難題，近年來(lái)，許多技術(shù)供應(yīng)商都在積極尋求突破，致力于將機(jī)器視覺(jué)這一相對(duì)獨(dú)立的功能集成到自動(dòng)化系統(tǒng)中。

　　以PC控制技術(shù)見(jiàn)長(zhǎng)的倍福自動(dòng)化則在開(kāi)放式、集成式自動(dòng)化系統(tǒng)的開(kāi)發(fā)方面有一定的優(yōu)勢(shì)，基于其TwinCAT自動(dòng)化系統(tǒng)開(kāi)發(fā)平臺(tái)推出的集成式TwinCAT Vision機(jī)器視覺(jué)軟件與控制系統(tǒng)進(jìn)行了深度集成，算法程序和控制程序可集成在 TwinCAT里，使得自動(dòng)化工程師可以直接在熟悉的 IEC61131-3 中開(kāi)發(fā)視覺(jué)方案，大大降低了機(jī)器視覺(jué)的應(yīng)用“門檻”。

　　同時(shí)，TwinCAT Vision讓包含 PLC、機(jī)器人技術(shù)、IoT 等在內(nèi)的所有應(yīng)用，都能在一個(gè)運(yùn)行環(huán)境中運(yùn)行，擁有優(yōu)秀的數(shù)據(jù)同步性能，數(shù)據(jù)傳輸不會(huì)產(chǎn)生延遲，不僅顯著提升了設(shè)備效率，更將 PC 控制的優(yōu)勢(shì)詮釋得淋漓盡致。另外，遵循倍福開(kāi)放式控制技術(shù)理念，TwinCAT Vision 也是一個(gè)開(kāi)放的系統(tǒng)，支持 GigE Vision 協(xié)議，可以使用不同制造商生產(chǎn)的相機(jī)，還支持軟件擴(kuò)展、允許用戶訪問(wèn)原始相機(jī)數(shù)據(jù)等。不僅如此，倍福還有專門控制光源或者相機(jī)的超采樣模塊—— EL2596，可實(shí)現(xiàn)極速控制，針對(duì)飛拍和檢測(cè)節(jié)拍要求較高的場(chǎng)景也十分友好。

　　常見(jiàn)的機(jī)器視覺(jué)解決方案，會(huì)在單獨(dú)的計(jì)算機(jī)上托管集成圖像處理，在傳統(tǒng)的方案硬件結(jié)構(gòu)中，用戶要添加額外的視覺(jué)系統(tǒng)處理器以及光源控制器等，這不僅增加了硬件成本，且當(dāng)產(chǎn)線變更檢測(cè)物體時(shí)，人員需停機(jī)并重新進(jìn)行復(fù)雜的流程編輯，無(wú)法適應(yīng)現(xiàn)代柔性生產(chǎn)的需求。而在 TwinCAT Vision 中，除了相機(jī)光源鏡頭這些外圍設(shè)備，客戶只需一個(gè)軟件包+軟件授權(quán)，就可以完成視覺(jué)方案，不僅大大節(jié)省了硬件開(kāi)支，并且通過(guò)圖像處理與控制組件的直接通訊，讓響應(yīng)時(shí)間更短，設(shè)備生產(chǎn)節(jié)奏更快、效率更高。

　　此外，在軟件方面，TwinCAT Vision 實(shí)時(shí)的以太網(wǎng)接口驅(qū)動(dòng)程序讓圖像數(shù)據(jù)可直接保存在控制器內(nèi)存中，附帶的 GigE Vision 接口還保證了圖像數(shù)據(jù)傳輸?shù)目煽?、高速。相較于傳統(tǒng)的視覺(jué)算法(如 OPENCV、HALCON 等)，TwinCAT Vision 更加簡(jiǎn)化，也更適合普通電氣工程師用 PLC 語(yǔ)言進(jìn)行開(kāi)發(fā)。

　　3D、AI先進(jìn)視覺(jué)技術(shù)，步入聚光燈下

　　當(dāng)前，在自動(dòng)化、智能制造、人工智能等前沿技術(shù)的推動(dòng)下，機(jī)器視覺(jué)在工業(yè)領(lǐng)域的應(yīng)用動(dòng)機(jī)、產(chǎn)業(yè)范圍、實(shí)現(xiàn)功能以及技術(shù)種類等方面都正處于一個(gè)快速演進(jìn)的狀態(tài)。從最初制造企業(yè)對(duì)產(chǎn)能、良率及精度的追求，到協(xié)助企業(yè)實(shí)現(xiàn)能源效率、協(xié)同制造及大數(shù)據(jù)運(yùn)營(yíng)，再到具備可適應(yīng)性和深度學(xué)習(xí)能力，機(jī)器視覺(jué)技術(shù)為制造業(yè)打開(kāi)了廣袤的想象空間，并已在實(shí)際應(yīng)用中逐漸從3C電子、半導(dǎo)體、汽車、食品加工等成熟行業(yè)，走向全制造產(chǎn)業(yè)鏈。特別是3D視覺(jué)和深度學(xué)習(xí)人工智能技術(shù)的應(yīng)用實(shí)踐已成為行業(yè)開(kāi)發(fā)的又一熱點(diǎn)。

　　近年來(lái)，研華科技在工業(yè)物聯(lián)網(wǎng)、智能制造、工業(yè)級(jí)邊緣AI平臺(tái)，以及智能化核心設(shè)備——運(yùn)動(dòng)控制、機(jī)器視覺(jué)、高算力工業(yè)計(jì)算機(jī)系統(tǒng)、智能I/O、工業(yè)協(xié)議網(wǎng)關(guān)等方面進(jìn)行了深入的探索和實(shí)踐。以研華科技與ALSONTECH合作開(kāi)發(fā)的3D視覺(jué)引導(dǎo)機(jī)器人為例，其在電動(dòng)車充電樁的應(yīng)用頗有獨(dú)特之處。該3D視覺(jué)引導(dǎo)機(jī)器人由機(jī)器視覺(jué)系統(tǒng)、AGV、驅(qū)動(dòng)電機(jī)、電池、工業(yè)PC、三維定位傳感器(雙目攝像機(jī))、激光雷達(dá)、開(kāi)關(guān)、4G/5G網(wǎng)絡(luò)模塊等組件所組成。3D視覺(jué)引導(dǎo)機(jī)器人需要執(zhí)行自主識(shí)別(人臉識(shí)別、行為分析)、網(wǎng)絡(luò)通信和視覺(jué)定位等任務(wù)。當(dāng)汽車駛?cè)霟o(wú)人充電站后，駕駛員無(wú)需下車，機(jī)器人站在充電站旁，利用機(jī)器視覺(jué)技術(shù)，它的“眼睛”可以幫助準(zhǔn)確定位充電端口，引導(dǎo)充電插頭自動(dòng)快速充電，甚至可以在充電結(jié)束后自動(dòng)關(guān)閉充電蓋，整個(gè)過(guò)程只需幾分鐘。

　　該3D視覺(jué)引導(dǎo)機(jī)器人使用研華的IPC-240緊湊型工業(yè)計(jì)算機(jī)系統(tǒng)作為關(guān)鍵控制器。系統(tǒng)有一個(gè)帶有多個(gè)輸入/輸出和PCIe/PCI卡擴(kuò)展插槽的面板，可根據(jù)客戶應(yīng)用進(jìn)行高度調(diào)整，集成了圖像采集(USB)、通信(LAN)和總線控制，其緊湊的尺寸和穩(wěn)定的工業(yè)控制設(shè)計(jì)，使其易于安裝在機(jī)器人上。對(duì)于視覺(jué)應(yīng)用，機(jī)器人使用配備獨(dú)立USB 3.0端口的PCIE-1154(4端口USB幀采集卡)，用于攝像機(jī)接口;具有獨(dú)立的帶寬，以確保穩(wěn)定的數(shù)據(jù)傳輸而不會(huì)出現(xiàn)幀丟失，以及可鎖定的設(shè)計(jì)，以確?？煽康碾娎|連接;雙目攝像機(jī)用于精確定位和控制機(jī)器人充電。此外，帶有Intel?網(wǎng)絡(luò)控制器i210適配器的PCE-GIGE4擴(kuò)展卡連接到激光雷達(dá)，實(shí)現(xiàn)快速數(shù)據(jù)傳輸;PCI-1680U控制卡有助于控制機(jī)器人的運(yùn)動(dòng)，包括制動(dòng)、改變方向和加速。視覺(jué)檢測(cè)與控制系統(tǒng)的有機(jī)組合，將“車找充電樁”變?yōu)椤俺潆姌墩臆嚒?，大大提高了新能源汽車的充電便利性?/p>

　　結(jié)語(yǔ)

　　機(jī)器視覺(jué)技術(shù)，從上游以光源、鏡頭、相機(jī)為首的核心零部件和底層的軟件算法庫(kù)，到最終的智能化硬件設(shè)備，整體產(chǎn)業(yè)鏈都在發(fā)生著日新月異的變化，促進(jìn)其在工業(yè)領(lǐng)域的應(yīng)用普及。在品質(zhì)管控環(huán)節(jié)，機(jī)器視覺(jué)正代替大量的人工操作，起到優(yōu)化成本和提升效率的作用，而近期，在AGV/AMR自動(dòng)引導(dǎo)車、COBOT協(xié)作機(jī)器人等熱點(diǎn)應(yīng)用場(chǎng)景中，機(jī)器視覺(jué)技術(shù)能夠?qū)崿F(xiàn)視覺(jué)定位引導(dǎo)、對(duì)象辨識(shí)等功能，因而在提高工廠產(chǎn)能的同時(shí)，還可以保障生產(chǎn)現(xiàn)場(chǎng)的安全性，這些都是目前機(jī)器視覺(jué)技術(shù)在未來(lái)一段時(shí)期內(nèi)重要的市場(chǎng)增長(zhǎng)點(diǎn)。