機(jī)器視覺系統(tǒng)

　　視覺系統(tǒng)就是用機(jī)器代替人眼來做測量和判斷。視覺系統(tǒng)是指通過機(jī)器視覺產(chǎn)品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。是用于生產(chǎn)、裝配或包裝的有價值的機(jī)制。它在檢測缺陷和防止缺陷產(chǎn)品被配送到消費(fèi)者的功能方面具有不可估量的價值。

　　機(jī)器視覺系統(tǒng)的特點(diǎn)是提高生產(chǎn)的柔性和自動化程度。在一些不適合于人工作業(yè)的危險工作環(huán)境或人工視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺；同時在大批量工業(yè)生產(chǎn)過程中，用人工視覺檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動化程度。而且機(jī)器視覺易于實現(xiàn)信息集成，是實現(xiàn)計算機(jī)集成制造的基礎(chǔ)技術(shù)。可以在最快的生產(chǎn)線上對產(chǎn)品進(jìn)行測量、引導(dǎo)、檢測、和識別，并能保質(zhì)保量的完成生產(chǎn)任務(wù)。

　　一個典型的機(jī)器視覺系統(tǒng)包括以下五大塊：

　　照明是影響機(jī)器視覺系統(tǒng)輸入的重要因素，它直接影響輸入數(shù)據(jù)的質(zhì)量和應(yīng)用效果。由于沒有通用的機(jī)器視覺照明設(shè)備，所以針對每個特定的應(yīng)用實例，要選擇相應(yīng)的照明裝置，以達(dá)到最佳效果。光源可分為可見光和不可見光。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈。可見光的缺點(diǎn)是光能不能保持穩(wěn)定。如何使光能在一定的程度上保持穩(wěn)定，是實用化過程中急需要解決的問題。另一方面，環(huán)境光有可能影響圖像的質(zhì)量，所以可采用加防護(hù)屏的方法來減少環(huán)境光的影響。照明系統(tǒng)按其照射方法可分為：背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是被測物放在光源和攝像機(jī)之間，它的優(yōu)點(diǎn)是能獲得高對比度的圖像。前向照明是光源和攝像機(jī)位于被測物的同側(cè)，這種方式便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，攝像機(jī)拍攝要求與光源同步。

　　FOV（Field of Vision）=所需分辨率*亞象素*相機(jī)尺寸/PRTM（零件測量公差比）

　　鏡頭選擇應(yīng)注意：

　　①焦距②目標(biāo)高度 ③影像高度 ④放大倍數(shù) ⑤影像至目標(biāo)的距離 ⑥中心點(diǎn) /節(jié)點(diǎn)⑦畸變

　　視覺檢測中如何確定鏡頭的焦距

　　為特定的應(yīng)用場合選擇合適的工業(yè)鏡頭時必須考慮以下因素：

　　· 視野 - 被成像區(qū)域的大小。

　　· 工作距離 (WD) - 攝像機(jī)鏡頭與被觀察物體或區(qū)域之間的距離。

　　· CCD - 攝像機(jī)成像傳感器裝置的尺寸。

　　· 這些因素必須采取一致的方式對待。如果在測量物體的寬度，則需要使用水平方向的 CCD 規(guī)格，等等。如果以英寸為單位進(jìn)行測量，則以英尺進(jìn)行計算，最后再轉(zhuǎn)換為毫米。

　　參考如下例子：有一臺 1/3” C 型安裝的 CDD 攝像機(jī)（水平方向為 4.8 毫米）。物體到鏡頭前部的距離為 12”（305 毫米）。視野或物體的尺寸為2.5”（64 毫米）。換算系數(shù)為 1” = 25.4 毫米（經(jīng)過圓整）。

　　FL = 4.8 毫米 x 305 毫米 / 64 毫米

　　FL = 1464 毫米 / 64 毫米

　　FL = 按 23 毫米鏡頭的要求

　　FL = 0.19” x 12” / 2.5”

　　FL = 2.28” / 2.5”

　　FL = 0.912” x 25.4 毫米/inch

　　FL = 按 23 毫米鏡頭的要求

　　注：勿將工作距離與物體到像的距離混淆。工作距離是從工業(yè)鏡頭前部到被觀察物體之間的距離。而物體到像的距離是 CCD 傳感器到物體之間的距離。計算要求的工業(yè)鏡頭焦距時，必須使用工作距離

　　按照不同標(biāo)準(zhǔn)可分為：標(biāo)準(zhǔn)分辨率數(shù)字相機(jī)和模擬相機(jī)等。要根據(jù)不同的實際應(yīng)用場合選不同的相機(jī)和高分辨率相機(jī)：線掃描CCD和面陣CCD；黑白相機(jī)和彩色相機(jī)。

　　圖像采集卡只是完整的機(jī)器視覺系統(tǒng)的一個部件，但是它扮演一個非常重要的角色。圖像采集卡直接決定了攝像頭的接口：黑白、彩色、模擬、數(shù)字等等。

　　比較典型的是PCI或AGP兼容的捕獲卡，可以將圖像迅速地傳送到計算機(jī)存儲器進(jìn)行處理。有些采集卡有內(nèi)置的多路開關(guān)。例如，可以連接8個不同的攝像機(jī)，然后告訴采集卡采用那一個相機(jī)抓拍到的信息。有些采集卡有內(nèi)置的數(shù)字輸入以觸發(fā)采集卡進(jìn)行捕捉，當(dāng)采集卡抓拍圖像時數(shù)字輸出口就觸發(fā)閘門。

　　視覺處理器

　　視覺處理器集采集卡與處理器于一體。以往計算機(jī)速度較慢時，采用視覺處理器加快視覺處理任務(wù)。由于采集卡可以快速傳輸圖像到存儲器，而且計算機(jī)也快多了，所以視覺處理器用的較少了。

　　在機(jī)器視覺系統(tǒng)中，獲得一張高質(zhì)量的可處理的圖像是至關(guān)重要。系統(tǒng)之所以成功，首先要保證圖像質(zhì)量好，特征明顯，。一個機(jī)器視覺項目之所以失敗，大部分情況是由于圖像質(zhì)量不好，特征不明顯引起的。要保證好的圖像，必須要選擇一個合適的光源。

　　光源選型基本要素：

　　對比度：對比度對機(jī)器視覺來說非常重要。機(jī)器視覺應(yīng)用的照明的最重要的任務(wù)就是使需要被觀察的特征與需要被忽略的圖像特征之間產(chǎn)生最大的對比度，從而易于特征的區(qū)分。對比度定義為在特征與其周圍的區(qū)域之間有足夠的灰度量區(qū)別。好的照明應(yīng)該能夠保證需要檢測的特征突出于其他背景。

　　亮度：當(dāng)選擇兩種光源的時候，最佳的選擇是選擇更亮的那個。當(dāng)光源不夠亮?xí)r，可能有三種不好的情況會出現(xiàn)。第一，相機(jī)的信噪比不夠；由于光源的亮度不夠，圖像的對比度必然不夠，在圖像上出現(xiàn)噪聲的可能性也隨即增大。其次，光源的亮度不夠，必然要加大光圈，從而減小了景深。另外，當(dāng)光源的亮度不夠的時候，自然光等隨機(jī)光對系統(tǒng)的影響會最大。

　　魯棒性：另一個測試好光源的方法是看光源是否對部件的位置敏感度最小。當(dāng)光源放置在攝像頭視野的不同區(qū)域或不同角度時，結(jié)果圖像應(yīng)該不會隨之變化。方向性很強(qiáng)的光源，增大了對高亮區(qū)域的鏡面反射發(fā)生的可能性，這不利于后面的特征提取。

　　好的光源需要能夠使你需要尋找的特征非常明顯，除了是攝像頭能夠拍攝到部件外，好的光源應(yīng)該能夠產(chǎn)生最大的對比度、亮度足夠且對部件的位置變化不敏感。光源選擇好了，剩下來的工作就容易多了。具體的光源選取方法還在于試驗的實踐經(jīng)驗。

　　在布匹的生產(chǎn)過程中，像布匹質(zhì)量檢測這種有高度重復(fù)性和智能性的工作只能靠人工檢測來完成，在現(xiàn)代化流水線后面常?？煽吹胶芏嗟臋z測工人來執(zhí)行這道工序，給企業(yè)增加巨大的人工成本和管理成本的同時，卻仍然不能保證100 %的檢驗合格率（即“零缺陷”）。對布匹質(zhì)量的檢測是重復(fù)性勞動，容易出錯且效率低。

　　流水線進(jìn)行自動化的改造，使布匹生產(chǎn)流水線變成快速、實時、準(zhǔn)確、高效的流水線。在流水線上，所有布匹的顏色、及數(shù)量都要進(jìn)行自動確認(rèn)（以下簡稱“布匹檢測”）。采用機(jī)器視覺的自動識別技術(shù)完成以前由人工來完成的工作。在大批量的布匹檢測中，用人工檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動化程度。

　　特征提取辨識

　　一般布匹檢測（自動識別）先利用高清晰度、高速攝像鏡頭拍攝標(biāo)準(zhǔn)圖像，在此基礎(chǔ)上設(shè)定一定標(biāo)準(zhǔn)；然后拍攝被檢測的圖像，再將兩者進(jìn)行對比。但是在布匹質(zhì)量檢測工程中要復(fù)雜一些：

　　1． 圖像的內(nèi)容不是單一的圖像，每塊被測區(qū)域存在的雜質(zhì)的數(shù)量、大小、顏色、位置不一定一致。

　　2． 雜質(zhì)的形狀難以事先確定。

　　3． 由于布匹快速運(yùn)動對光線產(chǎn)生反射，圖像中可能會存在大量的噪聲。

　　4． 在流水線上，對布匹進(jìn)行檢測，有實時性的要求。

　　由于上述原因，圖像識別處理時應(yīng)采取相應(yīng)的算法，提取雜質(zhì)的特征，進(jìn)行模式識別，實現(xiàn)智能分析。

　　Color檢測

　　一般而言，從彩色CCD相機(jī)中獲取的圖像都是RGB圖像。也就是說每一個像素都由紅（R）綠（G）藍(lán)（B）三個成分組成，來表示RGB色彩空間中的一個點(diǎn)。問題在于這些色差不同于人眼的感覺。即使很小的噪聲也會改變顏色空間中的位置。所以無論我們?nèi)搜鄹杏X有多么的近似，在顏色空間中也不盡相同?；谏鲜鲈?，我們需要將RGB像素轉(zhuǎn)換成為另一種顏色空間CIELAB。目的就是使我們?nèi)搜鄣母杏X盡可能的與顏色空間中的色差相近。

　　Blob檢測

　　根據(jù)上面得到的處理圖像，根據(jù)需求，在純色背景下檢測雜質(zhì)色斑，并且要計算出色斑的面積，以確定是否在檢測范圍之內(nèi)。因此圖像處理軟件要具有分離目標(biāo)，檢測目標(biāo)，并且計算出其面積的功能。

　　Blob分析（Blob Analysis）是對圖像中相同像素的連通域進(jìn)行分析，該連通域稱為Blob。經(jīng)二值化（Binary Thresholding）處理后的圖像中色斑可認(rèn)為是blob。Blob分析工具可以從背景中分離出目標(biāo)，并可計算出目標(biāo)的數(shù)量、位置、形狀、方向和大小，還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)。在處理過程中不是采用單個的像素逐一分析，而是對圖形的行進(jìn)行操作。圖像的每一行都用游程長度編碼(RLE）來表示相鄰的目標(biāo)范圍。這種算法與基于象素的算法相比，大大提高處理速度。

　　結(jié)果處理和控制

　　應(yīng)用程序把返回的結(jié)果存入數(shù)據(jù)庫或用戶指定的位置，并根據(jù)結(jié)果控制機(jī)械部分做相應(yīng)的運(yùn)動。

　　根據(jù)識別的結(jié)果，存入數(shù)據(jù)庫進(jìn)行信息管理。以后可以隨時對信息進(jìn)行檢索查詢，管理者可以獲知某段時間內(nèi)流水線的忙閑，為下一步的工作作出安排；可以獲知內(nèi)布匹的質(zhì)量情況等等。

　　在生產(chǎn)線上，人來做此類測量和判斷會因疲勞、個人之間的差異等產(chǎn)生誤差和錯誤，但是機(jī)器卻會不知疲倦

　　地、穩(wěn)定地進(jìn)行下去。一般來說，機(jī)器視覺系統(tǒng)包括了照明系統(tǒng)、鏡頭、攝像系統(tǒng)和圖像處理系統(tǒng)。對于每一個應(yīng)用，我們都需要考慮系統(tǒng)的運(yùn)行速度和圖像的處理速度、使用彩色還是黑白攝像機(jī)、檢測目標(biāo)的尺寸還是檢測目標(biāo)有無缺陷、視場需要多大、分辨率需要多高、對比度需要多大等。從功能上來看，典型的機(jī)器視覺系統(tǒng)可以分為：圖像采集部分、圖像處理部分和運(yùn)動控制部分。

　　一個完整的機(jī)器視覺系統(tǒng)的主要工作過程如下：

　　1、工件定位檢測器探測到物體已經(jīng)運(yùn)動至接近攝像系統(tǒng)的視野中心，向圖像采集部分發(fā)送觸發(fā)脈沖。

　　2、圖像采集部分按照事先設(shè)定的程序和延時，分別向攝像機(jī)和照明系統(tǒng)發(fā)出啟動脈沖。

　　3、攝像機(jī)停止目前的掃描，重新開始新的一幀掃描，或者攝像機(jī)在啟動脈沖來到之前處于等待狀態(tài)，啟動脈沖到來后啟動一幀掃描。

　　4、攝像機(jī)開始新的一幀掃描之前打開曝光機(jī)構(gòu)，曝光時間可以事先設(shè)定。

　　5、另一個啟動脈沖打開燈光照明，燈光的開啟時間應(yīng)該與攝像機(jī)的曝光時間匹配。

　　6、攝像機(jī)曝光后，正式開始一幀圖像的掃描和輸出。

　　7、圖像采集部分接收模擬視頻信號通過A/D將其數(shù)字化，或者是直接接收攝像機(jī)數(shù)字化后的數(shù)字視頻數(shù)據(jù)。

　　8、圖像采集部分將數(shù)字圖像存放在處理器或計算機(jī)的內(nèi)存中。

　　9、處理器對圖像進(jìn)行處理、分析、識別，獲得測量結(jié)果或邏輯控制值。

　　10、處理結(jié)果控制流水線的動作、進(jìn)行定位、糾正運(yùn)動的誤差等。

　　從上述的工作流程可以看出，機(jī)器視覺是一種比較復(fù)雜的系統(tǒng)。因為大多數(shù)系統(tǒng)監(jiān)控對象都是運(yùn)動物體，系統(tǒng)與運(yùn)動物體的匹配和協(xié)調(diào)動作尤為重要，所以給系統(tǒng)各部分的動作時間和處理速度帶來了嚴(yán)格的要求。在某些應(yīng)用領(lǐng)域，例如機(jī)器人、飛行物體導(dǎo)制等，對整個系統(tǒng)或者系統(tǒng)的一部分的重量、體積和功耗都會有嚴(yán)格的要求。

　　機(jī)器視覺系統(tǒng)的優(yōu)點(diǎn)有：

　　1、非接觸測量，對于觀測者與被觀測者都不會產(chǎn)生任何損傷，從而提高系統(tǒng)的可靠性。

　　2、具有較寬的光譜響應(yīng)范圍，例如使用人眼看不見的紅外測量，擴(kuò)展了人眼的視覺范圍。

　　3、長時間穩(wěn)定工作，人類難以長時間對同一對象進(jìn)行觀察，而機(jī)器視覺則可以長時間地作測量、分析和識別任務(wù)。

　　機(jī)器視覺系統(tǒng)的應(yīng)用領(lǐng)域越來越廣泛。在工業(yè)、農(nóng)業(yè)、國防、交通、醫(yī)療、金融甚至體育、娛樂等等行業(yè)都獲得了廣泛的應(yīng)用，可以說已經(jīng)深入到我們的生活、生產(chǎn)和工作的方方面面。

　　圖像采集設(shè)備機(jī)器視覺教學(xué)實驗平臺是專門針對大學(xué)和研究機(jī)構(gòu)開展機(jī)器視覺教學(xué)和研究的機(jī)器視覺教學(xué)實驗平臺，提供包括圖像測量、檢測、定位、跟蹤識別等多個圖像處理庫函數(shù)，功能強(qiáng)大，可覆蓋工業(yè)生產(chǎn)、機(jī)器視覺、智能交通、航空航天等眾多圖像處理應(yīng)用領(lǐng)域。

　　機(jī)器視覺圖像處理教學(xué)實驗開發(fā)平臺可利用其提供的大量圖像處理和機(jī)器視覺算法進(jìn)行二次開發(fā)，解決現(xiàn)代工業(yè)產(chǎn)品生產(chǎn)過程中涉及的各種各樣視覺問題。實驗平臺結(jié)構(gòu)開放，提供擴(kuò)展接口，也可添加自己的圖像處理優(yōu)異算法。

　　提供多種圖像處理實驗，如圖象分割、圖象融合、機(jī)器學(xué)習(xí)、模式識別、圖象測量、圖象處理、模式識別和人工智能、三維測量、雙目立體視覺等實驗，可以培養(yǎng)學(xué)生對機(jī)器視覺產(chǎn)品知識的深入理解和掌握，鍛煉學(xué)生的研究能力，創(chuàng)新思維以及獨(dú)立解決技術(shù)難題的能力。

　　作為一套完整的機(jī)器視覺教學(xué)實驗開發(fā)平臺，使用者可利用其配套的工業(yè)相機(jī)、LED光源、工業(yè)鏡頭、支架、算法軟件等搭建自己的視覺處理系統(tǒng)原型，了解圖像采集設(shè)備等配件的應(yīng)用和選型，輕松設(shè)計、印證和評估自己的視覺系統(tǒng)，特別適合于大學(xué)和研究機(jī)構(gòu)開展機(jī)器視覺教學(xué)和科研工作。

　　機(jī)器視覺顧名思義就是使機(jī)器具有像人一樣的視覺功能，從而實現(xiàn)各種檢測、判斷、識別、測量等功能。一個典型的機(jī)器視覺系統(tǒng)包括：光源、鏡頭、相機(jī)(CCD相機(jī)和CMOS相機(jī)）、圖像處理器（硬件）、圖像處理軟件、顯示器、執(zhí)行單元等。

　　機(jī)器視覺系統(tǒng)通過圖像采集硬件（相機(jī)、鏡頭、光源等）將被檢測目標(biāo)轉(zhuǎn)換成圖像信號，并傳達(dá)給專用的圖像處理系統(tǒng)。圖像處理系統(tǒng)根據(jù)像素亮度、顏色分布等信息，進(jìn)行目標(biāo)特征的抽取，并進(jìn)行相應(yīng)的判斷，進(jìn)而根據(jù)結(jié)果來控制現(xiàn)場的設(shè)備。機(jī)器視覺系統(tǒng)綜合了光學(xué)、機(jī)械、電子、計算機(jī)軟硬件方面的技術(shù)，設(shè)計圖像處理、模式識別、人工智能、光機(jī)電一體化等多個領(lǐng)域。近年來，圖像處理和模式識別等技術(shù)的快速發(fā)展，大大地推動了機(jī)器視覺的發(fā)展。

　　機(jī)器視覺系統(tǒng)具有效率、高柔性、高度自動化等特點(diǎn)。在大批量工業(yè)生產(chǎn)過程中，如果用人工視覺檢查產(chǎn)品質(zhì)量，往往效率低且精度不高，用機(jī)器視覺檢測可以大幅度提高檢測效率和生產(chǎn)的自動化程度；同時，在一些不適合人工作業(yè)的危險工作環(huán)境或工人視覺難以滿足要求的場合中，也常用機(jī)器視覺來替代人工視覺，如核電站監(jiān)控、晶圓缺陷檢測；而且，機(jī)器視覺易于實現(xiàn)信息集成，是實現(xiàn)計算機(jī)集成制造的基礎(chǔ)技術(shù)之一。正是由于機(jī)器視覺系統(tǒng)可以快速獲取大量信息，而且易于自動處理及信息集成，因此，在現(xiàn)代自動化生產(chǎn)過程中，人們將機(jī)器視覺系統(tǒng)廣泛地用于裝配定位、產(chǎn)品質(zhì)量檢測、產(chǎn)品識別、產(chǎn)品尺寸測量等方面。