自動(dòng)化集成系統(tǒng)配套服務(wù)商-日弘智能今天為大家講講視覺(jué)系統(tǒng)算法開(kāi)發(fā)需要考慮哪些因素？視覺(jué)系統(tǒng)算法開(kāi)發(fā)需要考慮的因素。開(kāi)發(fā)基于相機(jī)的檢測(cè)系統(tǒng)需要不斷迭代、理解采樣和清晰度對(duì)圖像質(zhì)量的影響，并使用數(shù)據(jù)集來(lái)評(píng)估系統(tǒng)性能。

　　由于使用低成本和資源受限的體系結(jié)構(gòu)等要求， 使得基于嵌入式相機(jī)的檢測(cè)系統(tǒng)的設(shè)計(jì)工作變得更加復(fù)雜。因此，在啟動(dòng)算法開(kāi)發(fā)工作時(shí)，就要充分考慮視覺(jué)系統(tǒng)涉及的方方面面。

　　從視覺(jué)系統(tǒng)開(kāi)始很重要，原因有兩個(gè)。首先，算法性能受限于視覺(jué)系統(tǒng)生成的圖像質(zhì)量。雖然可以提升算法的能力，但在某些時(shí)候，算法的性能受到圖像質(zhì)量的限制。其次，視覺(jué)系統(tǒng)較為復(fù)雜，多個(gè)組件之間存在許多交互參數(shù)，因此如果在開(kāi)發(fā)周期后期再更改參數(shù)的話，將會(huì)導(dǎo)致高昂的開(kāi)發(fā)成本。

　　在本文中，基于相機(jī)的檢測(cè)系統(tǒng)由以下組件構(gòu)成：場(chǎng)景中的感興趣目標(biāo);場(chǎng)景成像的環(huán)境;視覺(jué)系統(tǒng)(圖像傳感器、鏡頭和光源);捕獲的數(shù)字化場(chǎng)景，要包括感興趣目標(biāo);以及識(shí)別場(chǎng)景內(nèi)感興趣目標(biāo)的算法。

　　開(kāi)發(fā)方法：構(gòu)建-測(cè)量-學(xué)習(xí)

　　在開(kāi)發(fā)之初，通常存在“雞或蛋”的問(wèn)題：檢測(cè)算法的能力將對(duì)視覺(jué)系統(tǒng)提出要求，而視覺(jué)系統(tǒng)產(chǎn)生的圖像質(zhì)量也將對(duì)檢測(cè)算法提出要求。成功的設(shè)計(jì)是：要保持視覺(jué)系統(tǒng)和檢測(cè)算法的功能協(xié)調(diào)一致，從而滿足商業(yè)目標(biāo)。在開(kāi)發(fā)過(guò)程中，必須要同時(shí)考慮算法和視覺(jué)系統(tǒng)。為了做好這一點(diǎn)，需要有效的迭代。

　　一種稱為“構(gòu)建-測(cè)量-學(xué)習(xí)循環(huán)”的靈活迭代方法，基于精益啟動(dòng)原則，通過(guò)集中學(xué)習(xí)提供有效迭代框架。要使用這種方法，請(qǐng)?jiān)诿看蔚_(kāi)始時(shí)提出以下三個(gè)問(wèn)題：

　　1. 我們需要學(xué)習(xí)什么?這應(yīng)該建立在以前的學(xué)習(xí)基礎(chǔ)上。

　　2. 為了學(xué)習(xí)目標(biāo)，我們需要測(cè)量什么?

　　3. 為了實(shí)現(xiàn)測(cè)量，我們需要構(gòu)建什么?

　　然后，僅構(gòu)建學(xué)習(xí)所需要的東西。

　　例如，我們將構(gòu)建-測(cè)量-學(xué)習(xí)循環(huán)方法應(yīng)用于設(shè)計(jì)基于相機(jī)的低成本線性條形碼閱讀器，這種閱讀器可以在單一圖像捕獲中，以大視場(chǎng)解碼盡可能多的條形碼。想象一下，在一個(gè)高度動(dòng)態(tài)的環(huán)境中，條形碼閱讀器可以在任何方向快速移動(dòng)的場(chǎng)景。不同尺寸的條形碼在整個(gè)環(huán)境中處于隨機(jī)位置，并且與條形碼閱讀器之間的角度和距離也都是隨機(jī)的。

　　使用構(gòu)建-測(cè)量-學(xué)習(xí)循環(huán)的方法，第一步是確定圖像傳感器和鏡頭所需的“類”，這將設(shè)置一個(gè)基礎(chǔ)的硬件成本目標(biāo)(見(jiàn)圖2)。為此，需要測(cè)量基礎(chǔ)相機(jī)生成圖像質(zhì)量的能力，使用解碼精度作為測(cè)量基準(zhǔn)。為了進(jìn)行測(cè)量，我們使用現(xiàn)成的鏡頭和圖像傳感器開(kāi)發(fā)套件構(gòu)建相機(jī)系統(tǒng)。收集一個(gè)小數(shù)據(jù)集，并使用現(xiàn)成的塊開(kāi)發(fā)算法的第一個(gè)版本。

　　第一次迭代學(xué)習(xí)產(chǎn)生的不僅僅是所需的圖像傳感器和鏡頭，還有基礎(chǔ)相機(jī)的成本估算。我們還學(xué)習(xí)到運(yùn)動(dòng)模糊是限制檢測(cè)精度的主要噪聲源。

　　我們將這些學(xué)習(xí)結(jié)果帶入迭代二，并關(guān)注于解決運(yùn)動(dòng)模糊問(wèn)題。為了學(xué)習(xí)這一點(diǎn)，我們測(cè)量了相機(jī)在快速運(yùn)動(dòng)場(chǎng)景中生成高質(zhì)量圖像的能力。利用迭代一的學(xué)習(xí)結(jié)果，我們利用短曝光時(shí)間和全局快門圖像傳感器，設(shè)計(jì)了一種減少運(yùn)動(dòng)模糊的方法。使用現(xiàn)成的組件和全局快門傳感器，就構(gòu)建了一臺(tái)新相機(jī)。收集另一個(gè)數(shù)據(jù)集，修改算法，評(píng)估圖像質(zhì)量和算法性能。

　　迭代二的關(guān)鍵學(xué)習(xí)是全局快門工作方法，以及進(jìn)一步提高算法能力，使得能夠使用更低成本的圖像傳感器。隨著繼續(xù)進(jìn)行更多次迭代，更多的學(xué)習(xí)將指導(dǎo)“如何利用現(xiàn)成的鏡頭、全局快門圖像傳感器和功能強(qiáng)大的算法，構(gòu)建定制視覺(jué)系統(tǒng)的”成功設(shè)計(jì)決策。使用這種構(gòu)建-測(cè)量-學(xué)習(xí)循環(huán)方法，有助于將重點(diǎn)聚焦在下一個(gè)重要的學(xué)習(xí)上，并減少非增值調(diào)查。它提高了迭代的有效性，并使設(shè)計(jì)滿足商業(yè)目標(biāo)，其中視覺(jué)系統(tǒng)的能力與算法的能力相輔相成。

　　設(shè)計(jì)起點(diǎn)：采樣與清晰度

　　空間分辨率可以說(shuō)是最具影響力的圖像質(zhì)量特征，因此在設(shè)計(jì)基于相機(jī)的檢測(cè)系統(tǒng)時(shí)，空間分辨率是一個(gè)合乎邏輯的起點(diǎn)。空間分辨率定義了可以在圖像中檢測(cè)到的最小特征或目標(biāo)的尺寸，可以分為兩個(gè)部分：采樣和清晰度。

　　采樣是一個(gè)給定區(qū)域內(nèi)的像素?cái)?shù)，通常以每英寸像素?cái)?shù)或每毫米像素?cái)?shù)表示。由于它是光學(xué)系統(tǒng)放大倍數(shù)的函數(shù)，因此隨物距而變化。采樣不足將減少鑒別細(xì)節(jié)并增加了混疊偽影。為了確定系統(tǒng)的采樣要求，必須要知道需要鑒別的特征的物理尺寸、最大檢測(cè)距離和精確檢測(cè)所需要的像素?cái)?shù)。

　　為了適應(yīng)具有挑戰(zhàn)性的應(yīng)用情況，在最大檢測(cè)距離處(在放大率最低的區(qū)域內(nèi))開(kāi)始，此處區(qū)別特征的像素?cái)?shù)為4-5像素。通常，在開(kāi)始的時(shí)候不清楚鑒別特征是什么，特別是在應(yīng)用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)時(shí)。開(kāi)始時(shí)，最好采用冗余采樣，因?yàn)樵谲浖袦p少采樣比增加采用更容易，允許使用算法進(jìn)行實(shí)驗(yàn)以確定所需要的最小采樣。

　　使用薄透鏡方程，可以輕松地根據(jù)采樣要求推導(dǎo)出視覺(jué)系統(tǒng)參數(shù)。對(duì)于具有最小失真的光學(xué)疊加尤其如此。最終，采樣要求將決定圖像傳感器的像素?cái)?shù)、圖像傳感器的像素尺寸和鏡頭焦距。關(guān)于薄透鏡方程，最令人興奮的是，在購(gòu)買圖像傳感器或透鏡組件之前，可以在紙上計(jì)算和評(píng)估這些參數(shù)。Twisthink公司使用這些薄透鏡方程創(chuàng)建了一個(gè)Excel工作表(見(jiàn)圖3)，用于快速選擇圖像傳感器和鏡頭產(chǎn)品，工作表可以從http://bit.ly/VSD-TWI下載。

　　如果光學(xué)系統(tǒng)具有大約5%或更大的失真，則薄透鏡方程不能精確地對(duì)系統(tǒng)建模。這時(shí)候通過(guò)采樣確定視覺(jué)系統(tǒng)參數(shù)變得更具挑戰(zhàn)性。

　　清晰度是圖像空間頻率的測(cè)量。通常區(qū)分細(xì)節(jié)將具有很高的空間頻率。在評(píng)估影響清晰度的視覺(jué)系統(tǒng)參數(shù)時(shí)，最簡(jiǎn)單的方法是從兩種不同的場(chǎng)景來(lái)看：靜止?fàn)顟B(tài)和運(yùn)動(dòng)狀態(tài)。

　　在靜止?fàn)顟B(tài)下，清晰度的三大影響因素分別是環(huán)境、鏡頭和圖像傳感器：

　　· 環(huán)境中的霧、灰塵和微粒會(huì)引發(fā)圖像模糊，因此在系統(tǒng)設(shè)計(jì)中需要考慮這些因素。

　　· 低質(zhì)量鏡頭和鏡頭在圖像傳感器上的聚焦，會(huì)引發(fā)圖像模糊。其他因素包括溫度和制造——由于制造差異，模糊程度隨溫度變化，而且每個(gè)鏡頭可能情況都不一樣。

　　· 圖像傳感器因像素串?dāng)_引入圖像模糊。這種模糊情況隨光譜波長(zhǎng)而變化，大多數(shù)圖像傳感器供應(yīng)商會(huì)根據(jù)要求提供此類信息。

　　在運(yùn)動(dòng)狀態(tài)下，運(yùn)動(dòng)速度與曝光時(shí)間共同決定了圖像的模糊程度。為了減少模糊，可以限制最大運(yùn)動(dòng)速度和/或?qū)⑵毓鈺r(shí)間降到最短，當(dāng)然這將影響許多其他的視覺(jué)系統(tǒng)參數(shù)，如圖像亮度、照明強(qiáng)度等等。

　　評(píng)估系統(tǒng)的性能

　　構(gòu)建完系統(tǒng)后，評(píng)估系統(tǒng)性能的一個(gè)好方法就是使用數(shù)據(jù)集。數(shù)據(jù)集用于訓(xùn)練機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法。利用數(shù)據(jù)集，還可以頻繁有效地評(píng)估系統(tǒng)的性能，并且可以為“判斷解決方案是否符合預(yù)期”給出有價(jià)值的參考。

　　Twisthink使用一種稱為算法開(kāi)發(fā)框架的工具來(lái)收集數(shù)據(jù)、管理和處理數(shù)據(jù)，并有效地開(kāi)發(fā)和評(píng)估。該框架包括五個(gè)部分，分別為視覺(jué)系統(tǒng)、數(shù)據(jù)集收集、標(biāo)定的真實(shí)數(shù)據(jù)或標(biāo)簽、算法開(kāi)發(fā)和性能評(píng)估，如圖4所示。

　　為了實(shí)現(xiàn)準(zhǔn)確的系統(tǒng)評(píng)估，必須在代表性環(huán)境中使用代表性視覺(jué)系統(tǒng)收集數(shù)據(jù)集。理想情況下，應(yīng)使用視覺(jué)系統(tǒng)的最終版本來(lái)收集數(shù)據(jù)集。如果無(wú)法做到這一點(diǎn)，請(qǐng)?jiān)谠O(shè)計(jì)視覺(jué)系統(tǒng)時(shí)收集含代表性部分的小的初步數(shù)據(jù)集。

　　得到算法與數(shù)據(jù)集應(yīng)產(chǎn)生的答案是評(píng)估的關(guān)鍵。這稱為真實(shí)數(shù)據(jù)或標(biāo)簽。通常，真實(shí)數(shù)據(jù)需要人工解釋，這通常是一個(gè)昂貴的步驟。具有真實(shí)數(shù)據(jù)的數(shù)據(jù)集可以成為支持產(chǎn)品開(kāi)發(fā)的專有資產(chǎn)。

　　一旦開(kāi)發(fā)出算法，就可以用數(shù)據(jù)集和真實(shí)數(shù)據(jù)來(lái)評(píng)估系統(tǒng)的性能。性能評(píng)估需要定義一個(gè)基準(zhǔn)來(lái)測(cè)量系統(tǒng)的性能。使用預(yù)先記錄的數(shù)據(jù)集來(lái)評(píng)估系統(tǒng)性能，可以加速開(kāi)發(fā)，但是，解決方案的可信度是由數(shù)據(jù)集的內(nèi)容決定的。因此，設(shè)計(jì)表征應(yīng)用空間的數(shù)據(jù)集非常重要。

　　使用數(shù)據(jù)集評(píng)估系統(tǒng)性能，就像軟件世界中的黑盒測(cè)試一樣。但是，有時(shí)必須執(zhí)行較低級(jí)別的“單元”測(cè)試。一種方法是通過(guò)對(duì)信號(hào)路徑建模來(lái)理解噪聲源及其對(duì)圖像質(zhì)量的影響。圖5顯示了基于相機(jī)的檢測(cè)系統(tǒng)的主要組成部分。每個(gè)部分都受到不同噪聲源的影響，每個(gè)噪聲源都會(huì)影響捕獲的圖像質(zhì)量。在每個(gè)部分中不同傳輸功能或噪聲源，將影響初始信號(hào)。

　　對(duì)信號(hào)路徑建模可以深入了解不明顯的噪聲源以及它們是否具有合適的解決方案。它還可以幫助確定哪些噪聲源需要進(jìn)一步研究或?qū)嶒?yàn)。最后，可以幫助理解組件之間的相互作用，并通過(guò)優(yōu)先考慮“容易實(shí)現(xiàn)的目標(biāo)”來(lái)指導(dǎo)開(kāi)發(fā)。

　　當(dāng)您設(shè)計(jì)基于嵌入式相機(jī)的檢測(cè)系統(tǒng)時(shí)，一定記得在開(kāi)始算法開(kāi)發(fā)的時(shí)候就要充分考慮視覺(jué)系統(tǒng)的方方面面。并且請(qǐng)記住使用迭代開(kāi)發(fā)方法，從最高圖像質(zhì)量特征(采樣和清晰度)開(kāi)始，并使用數(shù)據(jù)集來(lái)評(píng)估系統(tǒng)性能。

　　關(guān)于視覺(jué)系統(tǒng)算法開(kāi)發(fā)需要考慮哪些因素？視覺(jué)系統(tǒng)算法開(kāi)發(fā)需要考慮的因素的知識(shí)點(diǎn)，想要了解更多的，可關(guān)注日弘智能官網(wǎng)，如有需要了解更多運(yùn)動(dòng)控制卡,運(yùn)動(dòng)控制器,Ethercat總線控制器,Codesys,視覺(jué)系統(tǒng),視覺(jué)運(yùn)動(dòng)控制系統(tǒng),視覺(jué)激光打標(biāo)機(jī)系統(tǒng),視覺(jué)點(diǎn)膠機(jī)系統(tǒng),五軸聯(lián)動(dòng)系統(tǒng),振動(dòng)刀切割系統(tǒng),裁布切割系統(tǒng)的相關(guān)技術(shù)知識(shí)，歡迎留言獲取!