苛刻的機(jī)器視覺應(yīng)用越來越依賴于更復(fù)雜的組件和系統(tǒng)的設(shè)計(jì)，規(guī)范和集成，以獲得成功和可靠的性能。

近年來，機(jī)器視覺行業(yè)的快速增長部分得益于機(jī)器視覺技術(shù)和組件的持續(xù)發(fā)展。機(jī)器視覺應(yīng)用程序的總體成功無疑與勝任的系統(tǒng)集成緊密相關(guān)–對任務(wù)的組件的分析、規(guī)范、設(shè)計(jì)和實(shí)現(xiàn)至關(guān)重要。在本次討論中，我們將回顧機(jī)器視覺系統(tǒng)集成，并介紹機(jī)器視覺行業(yè)中一些重要的技術(shù)，如3D成像、彩色成像、深度學(xué)習(xí)和線掃描成像儀以及一些實(shí)用信息，以幫助您在檢測、測量和指導(dǎo)應(yīng)用中成功合并和實(shí)施它們。

獲取和處理簡單灰度圖像的組件無疑在當(dāng)今市場中占據(jù)機(jī)器視覺應(yīng)用基礎(chǔ)主導(dǎo)地位。當(dāng)然，這些設(shè)備非?？煽俊⒁子谑褂?，并且適用于各種檢查、指導(dǎo)和計(jì)量項(xiàng)目。但是，還有其他可用的技術(shù)可以更好地適用于某些應(yīng)用，并且對某些應(yīng)用來說是唯一合適的解決方案。在所有情況下，都應(yīng)遵循基本的集成概念，以確保實(shí)現(xiàn)設(shè)計(jì)最佳的機(jī)器視覺解決方案。

考慮到這一點(diǎn)，讓我們從簡要回顧系統(tǒng)集成最佳實(shí)踐開始，然后討論如何應(yīng)用和集成一些超越基本灰度區(qū)域相機(jī)的關(guān)鍵機(jī)器視覺技術(shù)。

回顧機(jī)器視覺系統(tǒng)集成的最佳實(shí)踐

雖然這些指南對于機(jī)器視覺項(xiàng)目至關(guān)重要，但它們可以應(yīng)用于各種學(xué)科的任何自動化項(xiàng)目中。修改基本概念以最好地滿足您的需求。

開發(fā)和使用正式的應(yīng)用程序分析文檔

分析并記錄現(xiàn)有操作，流程或自動化的需求，并收集與目標(biāo)應(yīng)用程序，部件和產(chǎn)品相關(guān)的所有詳細(xì)信息。

記錄項(xiàng)目規(guī)范

確定系統(tǒng)要執(zhí)行的功能和操作（檢查，指導(dǎo)，測量等）以及相關(guān)的性能指標(biāo)。詳細(xì)說明將支持所提議系統(tǒng)的技術(shù)以及潛在的系統(tǒng)限制和例外。

專注于“關(guān)鍵路徑”組件

機(jī)器視覺系統(tǒng)通常是“關(guān)鍵路徑”組件，如果它無法在系統(tǒng)中按需執(zhí)行，則可能會阻礙整個(gè)項(xiàng)目的整體運(yùn)行，圍繞關(guān)鍵組件的功能設(shè)計(jì)系統(tǒng)非常重要。

有一個(gè)集成或項(xiàng)目計(jì)劃和有組織的任務(wù)列表

使用項(xiàng)目管理軟件工具使項(xiàng)目保持正常運(yùn)行，但一定要確定任務(wù)的細(xì)節(jié)，而不僅僅是時(shí)間表。制定實(shí)施和配置系統(tǒng)中機(jī)器視覺、自動化、用戶界面和其他組件的開發(fā)指南，經(jīng)常進(jìn)行測試。

管理項(xiàng)目

沒有軟件工具可以代替良好的項(xiàng)目管理，技術(shù)項(xiàng)目確實(shí)需要管理。項(xiàng)目團(tuán)隊(duì)，銷售，管理層和客戶之間的良好溝通有助于確保項(xiàng)目成功實(shí)施。

安裝–優(yōu)化，而非設(shè)計(jì)

雖然有些情況下必須在線安裝后進(jìn)行一些成像、處理或程序開發(fā)，但這應(yīng)該是例外而不是常態(tài)。在最終安裝之前，經(jīng)過有效的測試和驗(yàn)證，是成功實(shí)施項(xiàng)目的關(guān)鍵。

擁有并使用驗(yàn)證計(jì)劃

始終擁有并使用書面驗(yàn)證計(jì)劃來量化系統(tǒng)性能。該文檔應(yīng)概述功能和操作標(biāo)準(zhǔn)以及指示系統(tǒng)符合規(guī)范的指標(biāo)。

關(guān)鍵機(jī)器視覺技術(shù)的應(yīng)用

對于機(jī)器視覺系統(tǒng)架構(gòu)師來說，有更多可行的組件選擇可供考慮并應(yīng)用于各種應(yīng)用的成功集成。并非所有技術(shù)都是新技術(shù)，但設(shè)備和軟件的改進(jìn)有助于使組件更廣泛適用并更易于集成。在這里，我們將描述一些超越基本灰度相機(jī)的一般技術(shù)類別，以及將它們整合到成功的機(jī)器視覺解決方案中的一些方法。

線掃描成像

線掃描指的是成像設(shè)備沒有一次拍攝快照（“區(qū)域”成像）的事實(shí)。該設(shè)備僅捕獲圖像信息的薄“切片”或單個(gè)“線”，并且處理該線性數(shù)據(jù)（不常見）或?qū)⒃S多行組合成標(biāo)準(zhǔn)圖像的連續(xù)行以供后續(xù)處理。換言之講對象或相機(jī)必須移動才能創(chuàng)建圖像。

在可以適當(dāng)集成的情況下，線掃描成像與區(qū)域成像相比具有許多重要的優(yōu)點(diǎn)。今天的線掃描相機(jī)具有寬度范圍從大約0.5K像素到超過16K像素的傳感器（行數(shù)可變，這取決于為得到的圖像選擇了多少行）。得到的組合圖像在像素?cái)?shù)方面可以產(chǎn)生比區(qū)域相機(jī)更高的分辨率，并且可能以更低的成本。因?yàn)榫€掃描成像一次僅捕獲對象的單個(gè)線性“切片”，所以該技術(shù)可以在區(qū)域相機(jī)不能的某些情況下產(chǎn)生非常一致的圖像。以圓柱形物體為例（例如，飲料罐或類似容器）。通過對圓柱體的圓周的小切片進(jìn)行成像，可以再現(xiàn)圓柱體表面的非?？臻g精確的表示，由于圓柱體的曲率的透視，對于區(qū)域圖像是不可能的。在一些實(shí)施方案中，線掃描成像可產(chǎn)生比使用區(qū)域相機(jī)成像更快的處理時(shí)間。高速線掃描相機(jī)可以以超過120khz的速率捕獲圖像的每一行（幀速率根據(jù)相機(jī)和接口類型而變化）。

在許多情況下，3D成像提供了標(biāo)準(zhǔn)2D灰度成像技術(shù)所不具備的有用數(shù)據(jù)，包括深度和輪廓信息。

考慮到必須照亮單行像素，線掃描應(yīng)用的照明可以比區(qū)域相機(jī)更簡單。通常，線性光源（前照明或后照明）是使用線掃描相機(jī)獲得合適圖像所需的全部。但是，請注意，使用線掃描可能無法始終實(shí)現(xiàn)一些有益于區(qū)域相機(jī)的照明技術(shù)。

用于線掃描應(yīng)用的光學(xué)（透鏡）通常是最大的集成挑戰(zhàn)。在線性像素寬度大于2K（取決于像素大小）時(shí)，通常標(biāo)準(zhǔn)的，熟悉的C-mount鏡頭不能與相機(jī)一起使用，并且必須指定F-mount或甚至更專業(yè)的鏡頭。在某些情況下，用于線掃描相機(jī)的鏡頭組件可能非常大并且需要專門的安裝。

集成線掃描相機(jī)通常需要使用編碼器以適當(dāng)?shù)目臻g間隔觸發(fā)線。相對于移動的精確脈沖定時(shí)的配置取決于諸如像素空間分辨率，運(yùn)動速度和幀速率的度量。幸運(yùn)的是，相機(jī)和相機(jī)軟件的進(jìn)步有助于使配置更加用戶友好。

3D成像

許多應(yīng)用程序可以從3D空間中出現(xiàn)的對象和特征的識別或表現(xiàn)中受益。在過去幾年中，用于關(guān)鍵機(jī)器視覺應(yīng)用（如檢查，缺陷分析，計(jì)量和機(jī)器人引導(dǎo)）的3D成像系統(tǒng)的可用性和種類顯著增長。實(shí)際上，使用3D技術(shù)成功地實(shí)現(xiàn)了使用灰度成像無法可靠地解決的某些應(yīng)用。

3D成像的關(guān)鍵價(jià)值在于，所有圖像信息都代表空間中的實(shí)際點(diǎn)，而不是像2D成像那樣的灰度或顏色強(qiáng)度值。這些點(diǎn)可以校準(zhǔn)到某些已知的世界坐標(biāo)系（例如，當(dāng)信息用于指導(dǎo)時(shí)），或者簡單地相對于彼此進(jìn)行分析以提取特征，缺陷和執(zhí)行3D測量。請注意，3D系統(tǒng)提供相機(jī)查看的表面“輪廓”。

在描述如何選擇組件時(shí)，它可以幫助在應(yīng)用程序類別中考慮3D技術(shù)。

測量和缺陷檢測

許多用于計(jì)量和缺陷檢測的3D成像系統(tǒng)使用掃描和激光三角測量（有時(shí)稱為距離或深度傳感器）來構(gòu)成圖像。這些系統(tǒng)可以提供比其他3D成像技術(shù)更高的精度，盡管這些組件具有稍微有限的視野，并且確實(shí)需要傳感器或部件處于運(yùn)動中以捕獲圖像。通常提供的成像工具和算法旨在評估3D特征，并提供包括深度和有時(shí)位置的測量。

指導(dǎo)和對象定位或識別

其他3D系統(tǒng)主要關(guān)注指導(dǎo)，定位和/或識別的應(yīng)用。此類別中的某些組件也使用3D激光掃描，而其他組件則使用各種涉及結(jié)構(gòu)照明的技術(shù)來收集3D點(diǎn)。對于后者，優(yōu)點(diǎn)是成像器在沒有相機(jī)或部件運(yùn)動的情況下拍攝單個(gè)快照。這些系統(tǒng)返回的圖像可以是像距離傳感器一樣的深度圖像，也可以是稱為“點(diǎn)云”的3D映射點(diǎn)的集合。這些系統(tǒng)中的軟件通過組合相鄰點(diǎn)以各種方式定位指導(dǎo)和位置任務(wù)并提取幾何特征。這些特征可能是簡單的定位點(diǎn)，甚至是用CAD數(shù)據(jù)定義的對象的3D空間匹配。在實(shí)現(xiàn)中，系統(tǒng)通?？梢远ㄎ痪哂辛己每煽啃缘碾S機(jī)定向的已知和未混合部分，然而隨機(jī)混合部分或?qū)ο蟮淖R別和定位是極其困難的任務(wù)，對于許多應(yīng)用而言仍然是研究工作。

CAD重建

一些3D成像系統(tǒng)專門設(shè)計(jì)用于掃描對象和捕獲表面數(shù)據(jù)，以便將該數(shù)據(jù)轉(zhuǎn)換為3DCAD模型以進(jìn)行進(jìn)一步處理。這些是高度專業(yè)化的系統(tǒng)，可以很好地執(zhí)行重建任務(wù)，但不能考慮用于其他任務(wù)。

深度學(xué)習(xí)

也許機(jī)器視覺行業(yè)最熱門的流行語現(xiàn)在是“深度學(xué)習(xí)”。用稱為“神經(jīng)網(wǎng)絡(luò)”的軟件算法方法實(shí)現(xiàn)的機(jī)器學(xué)習(xí)已存在多年。深度學(xué)習(xí)是該技術(shù)的最新擴(kuò)展，專門結(jié)合了稱為卷積神經(jīng)網(wǎng)絡(luò)或CNN的網(wǎng)絡(luò)層。該技術(shù)的簡單描述是它通過示例對圖像進(jìn)行分類，學(xué)習(xí)這些分類。（想想谷歌的圖像搜索功能;你可以上傳貓的照片，而“人工智能”會將它歸類為貓，甚至可能知道該品種。）

大多數(shù)計(jì)算機(jī)編程愛好者都可以理解最基本的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。然而，機(jī)器視覺集成商尋求使用不斷增長的產(chǎn)品和庫提供機(jī)器視覺深度學(xué)習(xí)功能來實(shí)現(xiàn)技術(shù)，因此不需要了解深度學(xué)習(xí)的工作原理。深度學(xué)習(xí)機(jī)器視覺的整合幾乎只是一個(gè)“展示和走向”的過程。

盡管如此，深度學(xué)習(xí)并不適合所有應(yīng)用。此外，集成中的關(guān)鍵細(xì)節(jié)仍然是純粹的成像任務(wù)。深度學(xué)習(xí)非常有用的應(yīng)用是需要主觀分類的應(yīng)用，例如檢測缺陷或不符合特征有些主觀的不合格部分，并且可以很好地定義標(biāo)稱良好部分（即使好的部分有一些固有的變化）。通常不能很好地指出深度學(xué)習(xí)的是需要離散分析，計(jì)量或定位的應(yīng)用。有些應(yīng)用可以通過標(biāo)準(zhǔn)機(jī)器視覺，3D成像，彩色成像或深度學(xué)習(xí)來勝任解決，在這些情況下，必須權(quán)衡集成和配置成本和技術(shù)。

許多考慮深度學(xué)習(xí)的錯(cuò)誤是認(rèn)為該技術(shù)自動克服了照明，零件展示和光學(xué)等集成考慮因素。從這個(gè)意義上講，深度學(xué)習(xí)的成像與所有機(jī)器視覺應(yīng)用相同：對象，缺陷或其他感興趣的特征必須在對比度和足夠的像素分辨率方面與其他部分區(qū)分開來，并且必須控制演示確保正確成像。

彩色，多光譜和超光譜成像

機(jī)器視覺的彩色成像集成對于需要識別，區(qū)分或驗(yàn)證對象或特征顏色的應(yīng)用程序非常有用。具有彩色圖像數(shù)據(jù)可以在灰度圖像不能的某些情況下增強(qiáng)特征對比度并隔離特征。標(biāo)準(zhǔn)彩色攝像機(jī)和工具在基本機(jī)器視覺系統(tǒng)中廣泛使用，并且是一種可在適當(dāng)時(shí)輕松考慮和集成的成像選項(xiàng)。最常見的彩色攝像機(jī)采用三個(gè)寬帶色彩平面拍攝圖像;紅色，綠色和藍(lán)色，并組合這些顏色平面以創(chuàng)建全彩色圖像。

一種更強(qiáng)大的彩色成像技術(shù)，近年來已經(jīng)變得更加廣泛，但并不是新的，而是高光譜成像技術(shù)。這種類型的相機(jī)通過許多（有時(shí)100或更多）非常窄的顏色帶寬獲取圖像，這些帶寬通常從紫外線到近紅外或短波紅外線。這種增強(qiáng)的功能允許集成商為對象或特征定義復(fù)雜的顏色“輪廓”，其精度在基本RGB彩色成像中是不可用的。即使對于人眼而言可能不可區(qū)分或可見的特征，缺陷和顏色有時(shí)也可通過高光譜成像容易地檢測到。與高光譜成像密切相關(guān)的是多光譜成像。多光譜相機(jī)在圖像中提供較少的色彩平面（通常小于10），并且通常選擇顏色帶寬并調(diào)整到特定應(yīng)用。超光譜和多光譜相機(jī)的規(guī)范和集成可能很復(fù)雜。大多數(shù)高光譜系統(tǒng)必須具有對象。選擇帶寬和調(diào)整顏色配置文件可能需要一些專業(yè)技術(shù)。

在所有顏色應(yīng)用中，關(guān)鍵的集成挑戰(zhàn)是照明。如果沒有為所有感興趣的顏色提供照明的光源，則無法對顏色內(nèi)容進(jìn)行成像。第一直覺是使用“白色”燈，但我們?nèi)绾味x“白色”？不幸的是，流行的機(jī)器視覺光源（如LED）可能不是“白色”，因?yàn)楣庠床荒芴峁┚鶆虻恼彰鞫鴽]有丟失或某些波長的強(qiáng)峰。對于給定的應(yīng)用，可用的“白色”可能是足夠的，只要知道需要更接近顏色區(qū)分的應(yīng)用通常需要更均勻的白光源。通常解決方案是使用像鹵素或氙這樣的白熾光源，但最近可以使用稱為“多光譜照明”的新LED技術(shù)，通過組合多種LED顏色和平衡輸出，更接近全帶寬照明。

總之，標(biāo)準(zhǔn)機(jī)器視覺組件和系統(tǒng)仍然是一個(gè)很好的集成選擇，但擁有更廣泛的工具集可以增強(qiáng)可成功和可靠集成的機(jī)器視覺應(yīng)用的范圍。