基于陰影重建形狀的視覺(jué)技術(shù)：一種重要的圖像形狀提取技術(shù)及其應用

自動(dòng)化視覺(jué)檢測已經(jīng)廣泛應用于現今的生產(chǎn)環(huán)境的各個(gè)領(lǐng)域，從半導體、電子、食品和飲料、醫藥包裝、汽車(chē)制造以及其它不同行業(yè)。而視覺(jué)檢測的應用可分類(lèi)為測量、有/無(wú)檢測、機器人導航、瑕疵檢測、一維或二維碼識別，以及光學(xué)文字識別(OCR)閱讀等等。常規的2D算法通常擅長(cháng)處理某些特征清晰且定義明確的應用，因此檢測更加可靠。 換句話(huà)說(shuō)，目標特征必須穩定并且清晰一致地呈現，檢測和識別才會(huì )比較可靠。

不過(guò)就如人生一樣，視覺(jué)檢測時(shí)常面臨挑戰和困境，譬如一些表面帶有天然的紋理或高度反光的物體；再譬如，一些部件經(jīng)過(guò)打磨或沖壓等制造過(guò)程，產(chǎn)生了彎曲或帶紋理的表面；還有一些物件帶有浮雕圖案或凹凸不平特征，例如是沖壓或雕刻標記，這些都會(huì )為檢測帶來(lái)困難。傳統的二維算法和預處理工具往往不能可靠的解決這些問(wèn)題?；陉幱爸亟ㄐ螤?Shape from Shading)技術(shù)則是一種經(jīng)過(guò)驗證的更可靠方法，能夠應付這些復雜的檢測任務(wù)。

本文中一下兩個(gè)應用案例，顯示陰影重建形狀(SFS)技術(shù)如何提高目標物體的反差并盡可能地抑制背景噪聲，使得更容易地檢測出缺陷并成功讀取字符。

上圖：原圖像；下圖：陰影重建形狀技術(shù)處理后的圖像

利用Teledyne DALSA Sherlock軟件的陰影重建形狀技術(shù)處理后的圖像

陰影重建形狀技術(shù)的廣泛應用

下面兩個(gè)例子顯示SFS陰影重建形狀技術(shù)的應用如何解決一些傳統二維算法和預處理器難于處理的情況。在第一個(gè)案例中，制造商試圖檢測瓷磚表面的裂縫或劃痕?？墒怯捎诖纱u表面帶有復雜的紋理背景，使得一般的照明技術(shù)和常規的二維預處理器和算法很難及時(shí)檢測到異常，因為這些缺陷在標準成像中根本無(wú)法察覺(jué)。利用SFS技術(shù)，凹陷、裂縫和刮痕都能夠被輕易從背景中分離，分辨及被檢測出來(lái)。

在上面的示例中，可以看到字體和圖案是以凸壓方式印在名片上。 如第一張圖片所示，在文首的圖片中，在名片上的壓印字體其實(shí)是很難用肉眼來(lái)閱讀的。雖然低角度暗場(chǎng)光源會(huì )有幫助，但還是不夠強大和穩定。利用SFS配合多角度多重光源，可實(shí)現具有更高反差和更出色的合成圖像。圖像經(jīng)處理后，名片上的所有字體均清晰顯示 （如上面第二張圖片所示），以便于標準光學(xué)文字辨識算法查驗。

什么是SFS陰影重建視覺(jué)技術(shù)？

陰影重建形狀(Shape from Shading，簡(jiǎn)稱(chēng)SFS)是一種將物件形狀和它的二維表面紋理分離的技術(shù)。通常，一般來(lái)說(shuō)，它是用于突顯圖像的三維表面紋理信息，即所謂的形狀圖像，并除去高反光部分的眩光，即所謂的紋理圖像。這一技術(shù)的工作原理是利用分段環(huán)燈或獨立的條形燈并將多個(gè)圖像組合為一個(gè)圖像而起作用。拍攝過(guò)程會(huì )從一系列圖像中提取數據以揭示以前隱藏的表面特征或缺陷。

相機會(huì )按照環(huán)燈的逆時(shí)針轉動(dòng)方向，拍攝出四個(gè)不同照明角度的圖像。接著(zhù)利用陰影重建形狀(SFS)技術(shù)把四個(gè)圖像合成，以顯示三維表面結構。上面的四幀圖片顯示出一個(gè)帶紋理的瓶蓋在不同照明角度下拍攝出來(lái)的影像，以及經(jīng)SFS算法處理后的合成圖像。

下圖顯示SFS技術(shù)的合成和處理過(guò)程。

利用多角度多重光源(使用者可編程)擷取的四個(gè)影像

形狀圖像

工作原理如下：算法會(huì )搜尋從每一照明方向建構出來(lái)的陰影以及突顯出來(lái)的邊緣。每一幀圖像的陰影和邊緣會(huì )組合成一個(gè)圖像，以展示各部份的高度差異。這特別有助于偵測刮痕、凹陷、遺失的部件等等。

Teledyne DALSA Sherlock軟件里的SFS算法可計算具有3D效果的合成圖像，以增強對比度，同時(shí)抑制背景噪聲

紋理圖像

該算法還將尋找沒(méi)有直接照明的圖像區域。 然后，它將看起來(lái)相同的圖像的所有區域（即它們沒(méi)有眩光）組合到一個(gè)沒(méi)有眩光的圖像中。 這對于檢查高反射率零件或通過(guò)塑料或透明材料覆蓋物或包裹物檢查零件很有用。

磁磚彩色圖像      磁磚單色圖像

如何處理運動(dòng)中目標物的檢測

假如部件在檢測過(guò)程中處于運動(dòng)狀態(tài)，SFS的嵌入式活動(dòng)矯正機制可以處理同一部件在每一圖像擷取時(shí)位于不同位置的情況。再通過(guò)額外的一副圖像，即所謂的搜尋圖像。通過(guò)比較第一副圖像和搜尋圖像，算法會(huì )找出部件在圖像擷取時(shí)的活動(dòng)模式，從而識別并對齊正確的像素。

經(jīng)SFS處理的圖像

SFS陰影重建技術(shù)的優(yōu)勢

這種先進(jìn)的視覺(jué)解決方案具有許多獨特的優(yōu)勢。 通過(guò)先進(jìn)軟件算法配合多角度照明，它有助于消除表面背景效果（例如噪音或色彩），并產(chǎn)生聚焦于具有強烈對比度的特征的輸出圖像，以方便檢查。 它特別適合檢查多種材料（例如金屬，塑料，橡膠和陶瓷）的反射表面和粗糙表面是否有瑕疵（例如凹痕，凹槽，裂縫和劃痕），并清晰顯示難以理解的字符。