來(lái)源：automation New Developments in Vision Technology for Object Location and Inspection Several new techniques for directly training alignment tools synthetically using geometric descriptions are described. These techniques offer an alternative to training using acquired images, thereby addressing difficulties with image-based training such as limited accuracy and robustness due to variations in lighting and object shape. They include the ability to import CAD data for alignment, to directly edit high- level geometric descriptions for the purpose of optimizing alignment, and to generate and refine geometric descriptions in a semi-automatic fashion using specialized machine vision tools. An illustrative example of these techniques is provided in the context of a geometric description prototyping environment. 本文介紹了若干種綜合使用了幾何描述法并應(yīng)用于直接式訓(xùn)練對(duì)準(zhǔn)工具的新型技術(shù)。這些技術(shù)為使用已有的圖像進(jìn)行訓(xùn)練提供了一種代替方案，并解決了類(lèi)似于由于照明情況和物體外形的變化而引起的精確度和魯棒性受限的基于圖像的訓(xùn)練所存在的問(wèn)題。這些技術(shù)包括將CAD數(shù)據(jù)導(dǎo)入并用于對(duì)準(zhǔn)的功能、直接編輯高級(jí)幾何描述并以此對(duì)對(duì)準(zhǔn)效果進(jìn)行優(yōu)化和使用專(zhuān)業(yè)的機(jī)器視覺(jué)工具以半自動(dòng)方式產(chǎn)生并更新幾何描述。文章在介紹一種幾何描述建模環(huán)境時(shí)，列舉了一個(gè)范例。 簡(jiǎn)介 最近幾年，對(duì)準(zhǔn)技術(shù)在工業(yè)應(yīng)用領(lǐng)域有了質(zhì)的飛躍。直至若干年前，規(guī)范化的灰度關(guān)聯(lián)法代表了當(dāng)時(shí)的最高水準(zhǔn)，并提供了繼早期的二進(jìn)制搜索方法之后的重大的進(jìn)步。特別地，規(guī)范化關(guān)聯(lián)法提供了更高的精確度，并可以處理一定范圍內(nèi)的照明變化，而不用將圖像分離成前景和背景。最近，在Cognex 公司引入其PatMax®技術(shù)后，機(jī)器視覺(jué)產(chǎn)品市場(chǎng)已經(jīng)出現(xiàn)了多種多樣具有極高精度的“幾何”對(duì)準(zhǔn)工具，這些工具可以處理嚴(yán)重的照明變化、物體尺寸與方向的變化和主要的擋光。 對(duì)準(zhǔn)工具典型的配置或者“訓(xùn)練”方式是，提供一張包含有即將要定位的物體的外貌的圖像，并指定相當(dāng)數(shù)量的運(yùn)行參數(shù)（例如，位置的不確定范圍）?；诖朔N訓(xùn)練方式的幾何對(duì)準(zhǔn)工具在需要對(duì)物體位置進(jìn)行精確測(cè)量的定位導(dǎo)向應(yīng)用場(chǎng)合（例如，汽車(chē)裝配和半合導(dǎo)體制造）和需要進(jìn)行姿態(tài)估計(jì)以形成檢測(cè)和測(cè)量的預(yù)設(shè)值的質(zhì)量控制應(yīng)用場(chǎng)合（例如打印質(zhì)量檢測(cè)）已變得非常重要。 盡管這種功能強(qiáng)大的“顯示即可行”的方法已經(jīng)在眾多應(yīng)用領(lǐng)域取得了矚目的成功，但是它依然受限于一系列條件。這些限制條件（馬上會(huì)詳細(xì)講解）包括缺乏可供訓(xùn)練的高質(zhì)量圖像、物體外形的非線性變化、無(wú)法精確確定物體的坐標(biāo)系與無(wú)法利用從CAD數(shù)據(jù)得到的幾何信息。由于受制于這些因素，人們希望能有一種可綜合使用由諸如圓弧、線段、圓、橢圓、樣條曲線甚至是“線-框”等高級(jí)幾何元素組成的幾何描述對(duì)象對(duì)對(duì)準(zhǔn)工具進(jìn)行直接訓(xùn)練的代替方案。如此一個(gè)代替方案涉及多重級(jí)別的功能，包括能夠?qū)隒AD數(shù)據(jù)進(jìn)行對(duì)準(zhǔn)、能夠直接編輯幾何描述對(duì)象完成優(yōu)化對(duì)準(zhǔn)目標(biāo)、能夠通過(guò)使用專(zhuān)業(yè)的機(jī)器視覺(jué)工具以一種半自動(dòng)的方式產(chǎn)生與精簡(jiǎn)幾何描述對(duì)象。 基于圖像的訓(xùn)練存在的不足之處 基于圖像的訓(xùn)練的第一個(gè)問(wèn)題是難以獲得用于訓(xùn)練的對(duì)象的高質(zhì)量圖像。其次，一件物體的所有圖像的幾何特征是連續(xù)的，但是單張圖像在與不穩(wěn)定的人為照明因素（例如陰影）或者從訓(xùn)練場(chǎng)所中其它物體和物品所凸現(xiàn)的特征進(jìn)行對(duì)比時(shí)就會(huì)模糊不清。由于對(duì)準(zhǔn)工具只能達(dá)到其所受訓(xùn)練的模型的精度，帶有噪聲或者畫(huà)面凌亂的訓(xùn)練圖像將極大地降低對(duì)準(zhǔn)結(jié)果的準(zhǔn)確性和魯棒性。 基于圖像的訓(xùn)練的一個(gè)相關(guān)問(wèn)題是其無(wú)法為由于照明效果或者生產(chǎn)容許范圍內(nèi)的實(shí)際物理變化所引起的物體外表的某些非線性變化提供補(bǔ)償。打比方說(shuō)，這通常是物體上的陡峭的拐角在成像時(shí)從不同的角度看都是圓的原因所在。理想的情況下，這些變化不應(yīng)被具體的包含在模型中，否則對(duì)準(zhǔn)的結(jié)果將變得不準(zhǔn)確。 基于圖像的訓(xùn)練的另一個(gè)主要的困難在于需要精確指定即將要對(duì)準(zhǔn)的物體的初始點(diǎn)和方位，這樣做是為了達(dá)到很高精度的對(duì)準(zhǔn)位置結(jié)果（有時(shí)低至一個(gè)象素的1/40。對(duì)準(zhǔn)的結(jié)果不會(huì)比模型的坐標(biāo)系統(tǒng)的定位更精確，但是其坐標(biāo)系統(tǒng)通常都需要手動(dòng)放置至物體的圖像內(nèi)。 最后的問(wèn)題是，對(duì)于使用圖像進(jìn)行訓(xùn)練的對(duì)準(zhǔn)工具而言，充分利用來(lái)源于物體的并常從CAD數(shù)據(jù)庫(kù)得到的諸如尺寸和容許公差等幾何數(shù)據(jù)顯得有困難。同樣的，僅僅靠指定參數(shù)化的外形（例如圓、矩形和十字形等）對(duì)對(duì)準(zhǔn)工具進(jìn)行訓(xùn)練也有困難。自然屬性的尺寸信息很自然的在空間效率上要比從真實(shí)的圖像抽取的特征高。此外，高級(jí)別的幾何元素不僅能提供一件物體該有的特征的具體相關(guān)信息，也能（內(nèi)在的）提供該物體可能丟失的特征的相關(guān)信息。例如，一個(gè)特定的物體是矩形的這樣的信息可能可以被用于排除具有超出該矩形的四個(gè)角的需對(duì)準(zhǔn)的備選特征。最后，充分利用物體的尺寸信息可使可能需要后續(xù)對(duì)準(zhǔn)操作的深入檢測(cè)和測(cè)量操作更加容易進(jìn)行。 利用幾何描述進(jìn)行綜合訓(xùn)練 利用幾何描述對(duì)對(duì)準(zhǔn)工具進(jìn)行綜合訓(xùn)練有兩種基本方法：非直接方法和直接方法。非直接方法需要通過(guò)使用計(jì)算機(jī)圖像技術(shù)對(duì)物體的幾何描述進(jìn)行渲染得到一副圖像，再對(duì)對(duì)準(zhǔn)工具進(jìn)行訓(xùn)練。盡管這類(lèi)方法在不用改用下面將要闡述的對(duì)準(zhǔn)工具技術(shù)的情況下就已經(jīng)解決了上述提到的基于圖像的訓(xùn)練遇到的許多問(wèn)題，但是，這類(lèi)方法依然深受在實(shí)際的渲染過(guò)程中丟失有價(jià)值的幾何信息的問(wèn)題的困擾。不僅僅物體的具體尺寸無(wú)法從渲染的圖像恢復(fù)，最終得到的對(duì)準(zhǔn)工具的模型的精度也不可避免的受渲染圖像的量化結(jié)果所限。此外，對(duì)用于在CAD數(shù)據(jù)中常遇到的具有無(wú)法用封閉曲線描述的幾何特征的物體進(jìn)行對(duì)準(zhǔn)操作的對(duì)準(zhǔn)工具進(jìn)行訓(xùn)練已變得異常困難。 另一方面，直接綜合訓(xùn)練方法只需利用幾何描述本身對(duì)對(duì)準(zhǔn)工具進(jìn)行設(shè)置即可，此處的幾何描述要求對(duì)準(zhǔn)技術(shù)可通過(guò)擴(kuò)展從而可以理解高級(jí)別的幾何體，此處的高級(jí)別幾何體是相對(duì)于從訓(xùn)練圖像中抽取出來(lái)的區(qū)域或者封閉曲線生成的低級(jí)別幾何體而言的。這種理解的結(jié)果催生了一種與通過(guò)物體的渲染圖像進(jìn)行訓(xùn)練產(chǎn)生的對(duì)準(zhǔn)模型完全兩樣的對(duì)準(zhǔn)模型，因?yàn)樗谝欢ǖ某潭壬媳Ａ舨?yīng)用了高級(jí)別的幾何約束條件。 生成幾何描述的方法 如前文所提到的，生成一件物體的幾何描述的其中一種方法是通過(guò)導(dǎo)入CAD數(shù)據(jù)庫(kù)（例如一個(gè)后綴名為.DXF的文件）的數(shù)據(jù)，或者（類(lèi)似的）通過(guò)解釋由用戶(hù)輸入的形狀和尺寸信息（例如，基準(zhǔn)標(biāo)志的尺寸）。但是，需牢記在心的是，用于描述物體的物理尺寸的高級(jí)幾何元素并不總是適用于高精度對(duì)準(zhǔn)。首先，有些建模的物體邊界在物體的圖像中可能由于照明效果而不可見(jiàn)。其次，某些尺寸由于生產(chǎn)的高度變化性而變得不可靠。 但幸虧幾何描述本身十分容易進(jìn)行編輯。具備將CAD描述導(dǎo)入其中并對(duì)這些描述進(jìn)行編輯以期優(yōu)化對(duì)準(zhǔn)的性能的能力是一種功能非常強(qiáng)大的方法，該方法最近已應(yīng)用于若干個(gè)實(shí)際例子（例如印制電路板中表面貼面器件的放置）。使用編譯器，用戶(hù)剋刪除不可靠的幾何元素，補(bǔ)畫(huà)CAD描述中由于某種原因丟失的幾何元素，或者移動(dòng)或者修改幾何元素以便更好的與物體的圖像中實(shí)際存在的特征匹配。所有的這些編輯操作可能在幾何描述本身的坐標(biāo)系內(nèi)就可完成，或者可以在物體的實(shí)際圖像的上方完成操作。后面這種情況下，物體的圖像為用戶(hù)提供了物體外形的一個(gè)粗略導(dǎo)向，這樣可以對(duì)幾何描述進(jìn)行優(yōu)化，也可以對(duì)用于在每次編輯后對(duì)瞄準(zhǔn)工具進(jìn)行交互式測(cè)試的數(shù)據(jù)進(jìn)行優(yōu)化。在某種意義上，該編輯器是一個(gè)真正的交互式建模環(huán)境。 該編輯器另一個(gè)非常有用的特色是其具備可以通過(guò)使用專(zhuān)業(yè)的機(jī)器視覺(jué)工具以一種半自動(dòng)的方式進(jìn)行幾何描述的創(chuàng)建與簡(jiǎn)化的功能。這類(lèi)專(zhuān)業(yè)工具粗略可分為兩類(lèi)：自動(dòng)從物體的圖像抽取可靠的高級(jí)別元素的工具與可簡(jiǎn)化或者“快拍”高級(jí)別的幾何元素以與物體的圖像中明顯具有的特征保持一致。 幾何抽取工具對(duì)于CAD數(shù)據(jù)無(wú)法獲得的情況或者當(dāng)來(lái)自于CAD數(shù)據(jù)的重要的幾何描述元素丟失的情況都有好處。這對(duì)于具有復(fù)雜幾何形狀的物體尤其有用，否則該物體需要由用戶(hù)反復(fù)進(jìn)行畫(huà)圖或者輸入數(shù)據(jù)。理想狀態(tài)下，用戶(hù)只需選定他為了對(duì)準(zhǔn)而所需要描述的圖像中的特定圖形區(qū)域即可，而這種做法使得該工具可以分析該區(qū)域，以達(dá)到產(chǎn)生能反映該區(qū)域的特征的高級(jí)別的幾何元素。 類(lèi)似的，可簡(jiǎn)化幾何描述的工具在CAD數(shù)據(jù)并不能準(zhǔn)確描述圖像中的物體的典型外形的場(chǎng)合。這些工具在CAD數(shù)據(jù)無(wú)法獲得而幾何抽取工具由于某種原因失效了或者不合適的場(chǎng)合下也是有用的，而這需要在物體的圖像的輔助下手動(dòng)對(duì)幾何元素進(jìn)行描畫(huà)。在這些情況下，簡(jiǎn)化工具極大的降低了數(shù)據(jù)需要準(zhǔn)確地描畫(huà)或者指定的要求。 應(yīng)該注意的是，這些專(zhuān)業(yè)工具是專(zhuān)門(mén)作為建模任務(wù)的一部分而不是整個(gè)生產(chǎn)過(guò)程的一部分的“離線”使用設(shè)計(jì)的。出于此目的，只要這些專(zhuān)業(yè)工具的執(zhí)行時(shí)間不會(huì)緩慢（典型值為幾秒）到令人生厭，則執(zhí)行時(shí)間不是很重要。出于同樣的理由，只要有人工方式（例如，圖像的）提供支持，則即使這些工具偶爾失效，那也是可以接收的。即使偶爾會(huì)失效，使用這類(lèi)工具生成一個(gè)有效的幾何描述所需的平均時(shí)間也得到大大的減少。很自然的，放寬了這些條件會(huì)降低所得到的對(duì)準(zhǔn)工具的性能。生成對(duì)準(zhǔn)工具是整個(gè)生產(chǎn)過(guò)程中必須執(zhí)行的一部分，而典型的執(zhí)行時(shí)間為幾十毫秒，典型的成功率為99.99％。 使用幾何描述法的新式對(duì)準(zhǔn)工具 過(guò)去一年里，Cognex公司引入了可直接從幾何描述對(duì)對(duì)準(zhǔn)工具進(jìn)行綜合訓(xùn)練的技術(shù)，該技術(shù)是其PatMax對(duì)準(zhǔn)技術(shù)的一個(gè)標(biāo)準(zhǔn)化部分。一種幾何描述法目前被指定為“線-框”元素（如圖1所示）的2維放置方法。每一個(gè)線-框都是由用于對(duì)物體的高對(duì)比度邊緣進(jìn)行建模的圓弧和線段前后連接的一部分。線-框可以是封閉的或者是開(kāi)放的。線-框包含用于形成相互連接部分之間的結(jié)點(diǎn)的每一個(gè)凸點(diǎn)的轉(zhuǎn)角平滑信息和與每一部分有關(guān)系的可供選擇的傾斜極性與尺寸許可公差信息。當(dāng)使用線-框元素進(jìn)行空間布置從而完成對(duì)一個(gè)PatMax工具進(jìn)行訓(xùn)練的任務(wù)時(shí)，每個(gè)線-框可能會(huì)被分配一個(gè)與其在決定整體對(duì)準(zhǔn)效果時(shí)的相對(duì)的重要性成正比的權(quán)重。每個(gè)線-框的權(quán)重值甚至可以是負(fù)值的，這樣就使得用戶(hù)能夠指出不應(yīng)出現(xiàn)在物體的圖像中的特征。 離現(xiàn)在更近的時(shí)候，Cognex公司還開(kāi)發(fā)了可以“導(dǎo)入”DXF格式的CAD數(shù)據(jù)以便可以綜合訓(xùn)練它的PatMax工具的功能以及一種用于創(chuàng)建物體的幾何描述并基于這些幾何描述配置并測(cè)試PatMax對(duì)準(zhǔn)工具的交互式快速建模平臺(tái)。共同的，CAD導(dǎo)入功能與建模平臺(tái)使得用戶(hù)可以進(jìn)行一系列的操作，包括： •使用點(diǎn)網(wǎng)格校準(zhǔn)目標(biāo)進(jìn)行校準(zhǔn)（允許以物理單元（例如宏）定義幾何描述） •獲得和/或?qū)胛矬w的圖像 •導(dǎo)入物體的CAD數(shù)據(jù) •在物體的幾何描述的“藍(lán)圖”內(nèi)或者在物體的圖像之上描畫(huà)或者處理線-框的形狀。 •輸入線-框部分的精確尺寸和極性 •在物體的圖像的指定區(qū)域內(nèi)自動(dòng)抽取線-框元素 •在物體的一幅圖像內(nèi)，自動(dòng)將線-框元素簡(jiǎn)化（快拍）為已存在的特征 •在幾何描述體的范圍內(nèi)，自動(dòng)以物體的坐標(biāo)系為中心并對(duì)準(zhǔn)此坐標(biāo)系 •對(duì)由線-框元素的2維分布組成的幾何描述形成的PatMax對(duì)準(zhǔn)工具進(jìn)行設(shè)置和訓(xùn)練 •通過(guò)圖像數(shù)據(jù)庫(kù)對(duì)受訓(xùn)練過(guò)的PatMax工具進(jìn)行測(cè)試，可產(chǎn)生準(zhǔn)確度和執(zhí)行時(shí)間并生成統(tǒng)計(jì)數(shù)據(jù)作為反饋信息 •導(dǎo)入與導(dǎo)出將在整個(gè)生產(chǎn)流程的后續(xù)環(huán)節(jié)用到的最終的幾何描述、獲得圖像、校準(zhǔn)信息和對(duì)準(zhǔn)參數(shù) 范例 對(duì)一個(gè)用于能很好的對(duì)Cognex采集系統(tǒng)的VME面板進(jìn)行對(duì)準(zhǔn)的對(duì)準(zhǔn)工具進(jìn)行設(shè)置的任務(wù)闡述了這個(gè)快速建模環(huán)境的作用。在本例子中，用于該VME面板的格式為DXF的CAD數(shù)據(jù)是作為機(jī)械設(shè)計(jì)過(guò)程（如圖2所示）的副產(chǎn)品而獲得的。這種情況往往發(fā)生在所制造的物體必須被對(duì)準(zhǔn)的場(chǎng)合。在進(jìn)行一步對(duì)準(zhǔn)操作后，包含有幾何數(shù)據(jù)（相對(duì)于注釋而言）的層面被導(dǎo)入編輯器中。得到該面板的一副圖像后，基于這種分布對(duì)PatMax工具進(jìn)行訓(xùn)練的初始測(cè)試是成功的，但也暴露出對(duì)準(zhǔn)的匹配度不高，因?yàn)檫@些幾何描述并不完全與圖像匹配。在很多情況下，如果CAD描述的某些部分由于較大的制造容許公差并不能精確的描述物體的外部尺寸，則匹配度將會(huì)比較低。而在其他情況下，這些部分可通過(guò)修改和/或刪除用于描述它們的線－框元素（或者，也可以通過(guò)給這些元素分配一個(gè)相對(duì)于該分布的其他元素來(lái)說(shuō)相對(duì)低的一個(gè)權(quán)重）而從該幾何描述中得到有效的刪除。而這是在假設(shè)即使沒(méi)有這些部分仍然有大量的信息可用于精確對(duì)準(zhǔn)。圖3所示是，該面板在經(jīng)過(guò)刪除某些部分（例如，用于描述每一個(gè)孔的數(shù)據(jù)）的過(guò)程后的線－框元素分布情況。 請(qǐng)注意，即使無(wú)法得到面板的CAD數(shù)據(jù)，通過(guò)使用專(zhuān)業(yè)幾何抽取與簡(jiǎn)化工具生成面板的幾何描述也是相對(duì)容易的。經(jīng)過(guò)校準(zhǔn)和圖像獲取后，用戶(hù)可以在包含了面板的主要特征（例如孔和外層邊界）的圖像中選擇一個(gè)矩形區(qū)域。幾何抽取工具可高效的完成用于對(duì)這些區(qū)域范圍內(nèi)（如圖4所示）的面板輪廓進(jìn)行精確建模的線－框的生成工作，因此在這種情況下基本不需要人為的介入（除了可能需要?jiǎng)h除不必要的、僅僅是為了生成孔附近的特性的線－框元素）。但是，同樣可以快速在孔的上方描畫(huà)簡(jiǎn)單的線－框元素并利用幾何簡(jiǎn)化工具對(duì)所畫(huà)元素進(jìn)行快拍以形成圖像。不管是哪種情況，幾何描述的坐標(biāo)系在參考用于描述面板邊緣的矩形線－框元素后都可自動(dòng)設(shè)置成中心并對(duì)準(zhǔn)。 經(jīng)過(guò)這些修改步驟之后，對(duì)準(zhǔn)工具成功的完成用于高精度對(duì)準(zhǔn)的設(shè)置。這時(shí)，其性能可通過(guò)使用由一系列的有效照明場(chǎng)景得到的面板圖像的數(shù)據(jù)庫(kù)對(duì)該工具進(jìn)行完整的測(cè)試和通過(guò)對(duì)幾何描述和PatMax參數(shù)作進(jìn)一步的修改從而得到進(jìn)一步的優(yōu)化。放置于一副測(cè)試圖像上方的最終對(duì)準(zhǔn)模型如圖5所示。創(chuàng)建一個(gè)優(yōu)化的描述并對(duì)對(duì)準(zhǔn)工具進(jìn)行設(shè)置的整個(gè)過(guò)程僅僅需要幾分鐘。 結(jié)論 本文介紹了幾種使用幾何描述法對(duì)對(duì)準(zhǔn)工具進(jìn)行直接訓(xùn)練的新技術(shù)。這些技術(shù)為基于圖像的訓(xùn)練提供了一種可代替的方案?；趫D像的訓(xùn)練由于照明與物體形狀的改變引起的變化有時(shí)會(huì)產(chǎn)生有限的性能。Cognex開(kāi)發(fā)了一個(gè)具備了諸多這類(lèi)技術(shù)的建模平臺(tái)。該平臺(tái)具備導(dǎo)入CAD數(shù)據(jù)、編輯用于優(yōu)化對(duì)準(zhǔn)目的的幾何描述和以一種半自動(dòng)化的方式生成并簡(jiǎn)化幾何描述的功能。 當(dāng)然，綜合訓(xùn)練法并不是用于所有的應(yīng)用場(chǎng)合。打比方說(shuō)，當(dāng)擁有將要對(duì)準(zhǔn)的物體的高質(zhì)量圖像，CAD數(shù)據(jù)無(wú)法獲得而該物體的異常復(fù)雜時(shí)，這種方法就可能不適用了。而當(dāng)對(duì)高度對(duì)準(zhǔn)精度沒(méi)有要求時(shí)，這種方法可能就大材小用了。這些情況下，直接通過(guò)物體的幾何描述對(duì)對(duì)準(zhǔn)工具進(jìn)行訓(xùn)練所獲得的好處可能不能抵消創(chuàng)建并簡(jiǎn)化該幾何描述所需付出的額外努力。但是，綜合訓(xùn)練的有效性已經(jīng)在包括基準(zhǔn)對(duì)準(zhǔn)、印制板的表面貼片器件的放置、計(jì)算機(jī)外圍組件裝配與檢測(cè)和光纖維組件檢測(cè)等諸多應(yīng)用場(chǎng)合得到證明。