久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

★ 濟(jì)南博觀智能科技有限公司 

1　目標(biāo)和概述 

傳統(tǒng)的生產(chǎn)線對人工判斷監(jiān)測依賴程度高，人工作 業(yè)存在疲勞以及評判標(biāo)準(zhǔn)的不一。對企業(yè)生產(chǎn)商來說無 法實(shí)現(xiàn)有效質(zhì)量監(jiān)管， 大批量的次品流入消費(fèi)者市場 必然會(huì)引起客訴，進(jìn)而影響品牌方生產(chǎn)企業(yè)的形象。

 以糧油生產(chǎn)為例，目前行業(yè)對于包裝袋的縫線識 別，大多工廠僅依靠人工目檢完成，自動(dòng)化程度低。在 這種情況下，博觀糧油機(jī)器視覺解決方案的應(yīng)用落地， 采用視覺大模型的低代碼算法訓(xùn)練平臺能夠快速實(shí)現(xiàn)流 水線所需碎片化算法訓(xùn)練，提高檢測精度， 減輕糧油 工廠的人力成本，從生產(chǎn)環(huán)節(jié)入手創(chuàng)造更多價(jià)值，助力 工廠降本增效，推動(dòng)糧食加工企業(yè)向規(guī)模化生產(chǎn)和集約 化經(jīng)營方向轉(zhuǎn)變，實(shí)現(xiàn)智慧升級，綜合來看具有較高的 場景價(jià)值性。

 博觀糧油機(jī)器視覺解決方案，借助機(jī)器視覺質(zhì)檢平 臺，以網(wǎng)絡(luò)覆蓋智能制造工廠為切入點(diǎn)，從行業(yè)生產(chǎn)線 視覺外觀缺陷檢測和字符信息識別兩大方面入手進(jìn)行功 能提升，整體視覺方案除應(yīng)用于糧油生產(chǎn)以外，未來還 可應(yīng)用于3C電子、新能源等行業(yè)。該方案在不改變現(xiàn) 有工廠生產(chǎn)制造流水線的前提下，定制化提供機(jī)器視覺 硬件外設(shè)環(huán)境，依靠獨(dú)立開發(fā)的深度學(xué)習(xí)算法檢測平臺 MVIP和視覺業(yè)務(wù)軟件BreVision，智能化實(shí)現(xiàn)視覺檢 測代替人工檢測的需求，達(dá)到工廠降本增效和柔性生產(chǎn) 的目標(biāo)。

 2　方案介紹 

2.1　核心技術(shù) 

2.1.1　OCR字符檢測識 

OCR檢測獲取的面粉袋噴印側(cè)圖像， 如圖1所示， 可識別生產(chǎn)日期、合格信息等，并可判斷字符的完整性。 

 圖1 OCR檢測

（1）端到端識別算法 

該項(xiàng)目采用了端到端的字符識別技術(shù)，以保證整個(gè) 功能的高效、準(zhǔn)確。區(qū)別于傳統(tǒng)的識別算法，如圖2所 示，端到端識別算法無需文字定位、定點(diǎn)、識別多個(gè)步 驟，僅需輸入原始圖像即可輸出識別結(jié)果，在節(jié)約耗時(shí) 的同時(shí)最大程度挖掘可用信息。

 圖2 端到端識別算法 

（2）圖像增強(qiáng)&修復(fù)技術(shù) 

在工業(yè)視覺領(lǐng)域，圖像的清晰度一直是一個(gè)關(guān)鍵問 題，受限于應(yīng)用場景、工業(yè)攝像頭的成像質(zhì)量，獲取的 初始圖像往往不會(huì)非常清晰。為了應(yīng)對這樣的問題，該 項(xiàng)目加入了基于深度學(xué)習(xí)的圖像增強(qiáng)與修復(fù)技術(shù)，在識 別算法的開端加入該模塊，如圖3所示，從根本上解決 字符不清晰或字符有污損的問題。 

圖3 圖像增強(qiáng)與修復(fù) 

（3）完整性判斷 

在實(shí)際應(yīng)用中，經(jīng)常面臨的另一個(gè)問題是字符不完 整和缺位數(shù)問題，為此該項(xiàng)目引入完整性判斷模塊，根 據(jù)字符的分布、深層圖像信息，確定送入的字符塊是否完整。若出現(xiàn)字符明顯殘缺，則判斷為異常樣本，進(jìn)行告警。

 總之，OCR算法在工業(yè)場景需要保持高穩(wěn)定、高 精度和可復(fù)制性，便于支持工業(yè)環(huán)境中不同產(chǎn)線的要 求，比如全天候光線變化、褶皺導(dǎo)致字體變形、噴碼在 畫面任意位置、字體格式、不同大小等情況，在為企業(yè) 降本增效的同時(shí)，做到智能化設(shè)備本身的成本控制。

 2.1.2　縫線完整性缺陷檢測識別

 圖4 縫線檢測 

縫線檢測通過配置ROI區(qū)域，獲取面粉袋的注意力 區(qū)域，通過異常抓拍的識別模型判斷是否為正常拍攝的 圖像，最后通過縫線異常判斷模型，檢測其縫線是否完整，如圖4所示。 

（1）滑動(dòng)ROI 

在ROI配置過程中，由于面粉袋位置發(fā)生移動(dòng)和扭 曲，導(dǎo)致配置的ROI區(qū)域并不準(zhǔn)確，出現(xiàn)大量無效的背 景影響判別效果。為解決此問題，在實(shí)際使用過程中， 使用滑動(dòng)ROI，算法會(huì)根據(jù)面粉袋的邊緣位置得到較為 準(zhǔn)確的封口區(qū)域，如圖5所示。

 圖5 滑動(dòng)ROI 

（2）異常拍攝判斷 

由于生產(chǎn)現(xiàn)場的復(fù)雜環(huán)境以及相機(jī)拍攝的不確定性，實(shí)際情況中會(huì)時(shí)而出現(xiàn)異常拍攝的數(shù)據(jù)，例如未拍 攝到面粉袋、拍攝的面粉袋不完全、拍攝到工作人員等等。這些異常數(shù)據(jù)會(huì)對檢測算法產(chǎn)生干擾，從而影響最 終效果，所以算法需要先判斷是否為正常拍攝圖像，剔 除異常拍攝圖片后可大大提升算法精度。如圖6所示， 分別為正常拍攝、拍攝部分袋子和設(shè)備空拍的圖像。在 實(shí)際使用時(shí)，加入異常拍攝判斷，存在空拍時(shí)進(jìn)行算法 剔除。

 圖6 異常拍攝圖像 

（3）縫線異常判斷 

通過上述流程之后，圖片被送入最終的縫線檢測模 型，判別封口是否縫上，保證面粉在運(yùn)輸過程中，不發(fā) 生灑、漏等問題。此過程中會(huì)出現(xiàn)跳線、彎曲、褶皺、 小口、過曝、過暗等各種形態(tài)的樣本，如圖7所示。多 種形態(tài)的樣本會(huì)嚴(yán)重影響判別的精度。

 圖7 各類樣本 

對于縫線異常判斷，精度要求較高，負(fù)樣本形態(tài)各 異，并且難以收集，同時(shí)褶皺、彎曲、光線環(huán)境差都使得縫線位置判斷困難，而多種多樣的負(fù)樣本類型需要模 型去學(xué)習(xí)更多的特征，但負(fù)樣本難以收集，數(shù)量較少。 針對這些不同類型的情況，該項(xiàng)目設(shè)計(jì)了不同的數(shù)據(jù)增 廣、網(wǎng)絡(luò)算子和損失函數(shù)，并通過實(shí)驗(yàn)表明，可以有效 解決上述各類問題。

 2.1.3　在線訓(xùn)練 

（1）整體流程 

MVIP深度學(xué)習(xí)機(jī)器視覺檢測平臺，首先通過海量 的媒體數(shù)據(jù)+獨(dú)創(chuàng)的大規(guī)模多模態(tài)算法模型，使得大模 型從海量視頻數(shù)據(jù)中實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)通識知識，結(jié)合 Few-ShotLearning等小樣本學(xué)習(xí)算法，本平臺可在幾 百張樣本圖片下達(dá)到下游常見任務(wù)90+%的精度。無損 高速地傳輸給服務(wù)器端。在 服務(wù)器端我們將進(jìn)行強(qiáng)大 的算法模型檢測，包括縫線檢測、文本檢測和文本識別 等一系列算法，然后將迭代后的模型再次使用5G傳輸 技術(shù)傳輸給邊緣側(cè)設(shè)備，供模 型實(shí)時(shí)更新強(qiáng)化。 

（2）技術(shù)原理 

MVIP深度學(xué)習(xí)機(jī)器視覺檢測平臺的核心技術(shù)是博 觀獨(dú)創(chuàng)的在線學(xué)習(xí)算法，該方法通過離線模型做離線識 別，同時(shí)使用監(jiān)督模型協(xié)助監(jiān)督。在實(shí)際應(yīng)用中，將監(jiān) 督模型給出的得分低于閾值的識別圖像無損地保存在在 線學(xué)習(xí)素材庫內(nèi)。設(shè)備運(yùn)行一段時(shí)間后，算法自動(dòng)統(tǒng)計(jì) 運(yùn)行規(guī)律找出低頻率識別時(shí)段，并在素材庫滿足一定條 件后，啟動(dòng)凍結(jié)式網(wǎng)絡(luò)參數(shù)迭代更新在線學(xué)習(xí)，讓離線 模型不斷完善自身“弱點(diǎn)”，從而達(dá)到在線學(xué)習(xí)的優(yōu)化 效果。 

（3）技術(shù)優(yōu)勢 

MVIP深度學(xué)習(xí)機(jī)器視覺檢測平臺場景適應(yīng)能力極 強(qiáng)，模型魯棒性高，可輕松應(yīng)對各種新場景。在識別劣 勢的場景下可自動(dòng)啟用在線學(xué)習(xí)系統(tǒng)，不影響設(shè)備正常 運(yùn)行的情況下，在較短的時(shí)間內(nèi)完善模型快速提升識別 率。搭載 5G技術(shù)，使數(shù)據(jù)在前端與服務(wù)器端不丟包傳 輸并且可 加速在線學(xué)習(xí)素材讀取速度，促進(jìn)了算法的 高效性和實(shí)時(shí)性。

 在實(shí)際應(yīng)用中，算法同時(shí)處理對面粉袋的縫線檢測 和面粉袋上文本識別兩種需求，通過在線學(xué)習(xí)方式，實(shí) 時(shí)更新識別算法，提升算法魯棒性，從而高效精準(zhǔn)地完 成整體算法運(yùn)算。

 2.2　系統(tǒng)架構(gòu) 

MVIP深度學(xué)習(xí)機(jī)器視覺檢測平臺助力的生產(chǎn)環(huán)節(jié) 技術(shù)如下： 

面粉在灌裝到面粉袋后，面粉袋通過流水線輸送到 噴碼機(jī)處，自動(dòng)噴碼生產(chǎn)日期和批次號等OCR信息到面 粉袋外包裝上，然后輸送到縫紉機(jī)處封好縫線，后續(xù)流 水線進(jìn)入機(jī)器視覺智能化系統(tǒng)識別區(qū)，通過機(jī)器視覺技 術(shù)實(shí)現(xiàn)OCR的識別和封口縫線質(zhì)量檢測。 

具體解決方案依靠光電傳感器觸發(fā)工業(yè)相機(jī)拍照， 工業(yè)光源穩(wěn)定照射到OCR區(qū)以及封口縫線區(qū)，得到各自 拍攝到的視覺圖片，視覺檢測系統(tǒng)并行將相機(jī)采集到的 圖像通過深度學(xué)習(xí)的算法進(jìn)行識別和檢測，判定面粉袋 的質(zhì)量狀態(tài)，并通過視覺軟件可視化展示，同時(shí)把結(jié)果 通過通信的手段給到執(zhí)行機(jī)構(gòu)信號并分揀生產(chǎn)的合格品 和次品。

 該解決方案系統(tǒng)架構(gòu)自下而上主要分為采集層、邊 緣計(jì)算層、應(yīng)用層三層，具體邏輯架構(gòu)如圖8所示。 

圖8 博觀糧油機(jī)器視覺解決方案系統(tǒng)架構(gòu) 

2.3　軟硬件部署 

該解決方案在前端部署硬件視覺產(chǎn)品，利用AI算 法賦能機(jī)器視覺一體機(jī)，實(shí)現(xiàn)高效的圖片采集回傳。 基于BreVision視覺業(yè)務(wù)軟件對圖片進(jìn)行分析，可以 檢測出廠的每袋面粉的生產(chǎn)日期和批次號的正確性。 BreVision視覺業(yè)務(wù)軟件是一款基于深度學(xué)習(xí)的智能工 業(yè)視覺軟件平臺，專門用于解決復(fù)雜缺陷的定位、檢 測、分類等問題，同時(shí)具備高效準(zhǔn)確的字符識別能力， 可適用于各類復(fù)雜應(yīng)用場景。該解決方案軟硬件部署如圖9所示。

 圖9 博觀整體視覺方案

 3　代表性及推廣價(jià)值 

 3.1　應(yīng)用情況及效果 

目前，博觀糧油機(jī)器視覺解決方案已經(jīng)在國內(nèi)某知 名糧油工廠實(shí)現(xiàn)落地，賦能后共計(jì)覆蓋30+條生產(chǎn)流水 線，節(jié)省30+人力，并且從人工目檢每條生產(chǎn)線8000多 袋/天的生產(chǎn)能力，提升到應(yīng)用機(jī)器視覺檢測后每條生 產(chǎn)線20000多袋/天的生產(chǎn)能力，生產(chǎn)效率提升150%， 有效實(shí)現(xiàn)了生產(chǎn)設(shè)備滿時(shí)運(yùn)轉(zhuǎn)的工作狀態(tài)。

 3.2　創(chuàng)新性 

3.2.1　技術(shù)的示范效應(yīng) 

該方案中的機(jī)器視覺質(zhì)檢平臺依靠深度學(xué)習(xí)算法， 能高效檢測糧油生產(chǎn)中的包裝袋破損問題，精準(zhǔn)識別 OCR信息，已達(dá)到<0.1%的過檢率和0%的漏檢率，方 案后續(xù)可以投入于國內(nèi)更多的糧油加工企業(yè)及糧食行 業(yè)。我國是農(nóng)業(yè)大國，糧食行業(yè)是直接與農(nóng)業(yè)生產(chǎn)相關(guān) 的基礎(chǔ)行業(yè)，存在大量機(jī)器視覺替換人工檢測的潛在需 求。該方案能夠利用高性價(jià)比的機(jī)器視覺幫助眾多糧油 企業(yè)降低人力成本，促進(jìn)柔性生產(chǎn)，帶動(dòng)智能化轉(zhuǎn)型升 級，應(yīng)用前景廣闊，市場推廣規(guī)模巨大。 

3.2.2　商業(yè)價(jià)值 

近年來，在制造業(yè)向自動(dòng)化、智能化升級轉(zhuǎn)型的趨 勢下，機(jī)器視覺擁有著千億規(guī)模的市場前景。但目前在 工業(yè)領(lǐng)域，將AI融入機(jī)器視覺算法中的嘗試剛剛起步， 在全球范圍尚處于摸索起步階段，本項(xiàng)目的成功應(yīng)用給 行業(yè)內(nèi)客戶提供了比較有借鑒意義的案例。 

博觀機(jī)器視覺質(zhì)檢平臺計(jì)劃在不斷通過人工智能算 法優(yōu)化來進(jìn)一步提升機(jī)器視覺設(shè)備的泛化性和準(zhǔn)確性， 讓人工智能更穩(wěn)定地應(yīng)用于工業(yè)現(xiàn)場的惡劣環(huán)境中，對 于提升整體工業(yè)制造的智能化水平也頗具意義。該機(jī)器 視覺質(zhì)檢平臺探索的路徑是，結(jié)合客戶的痛點(diǎn)以及AI算 法的能力，將兩者合二為一，采用最高效的方式來不斷 地提高工業(yè)場景的生產(chǎn)效率。未來博觀將在智能制造、 高端裝備、自動(dòng)化設(shè)備等行業(yè)探尋更多技術(shù)深化和項(xiàng)目 合作。 

3.2.3　社會(huì)價(jià)值 

（1）節(jié)約人力成本 

從長期來看，伴隨日益嚴(yán)重的人口老齡化趨勢， 人員短缺、勞動(dòng)力價(jià)格上漲的狀態(tài)還將持續(xù)，這都在無 形之中加劇企業(yè)的生產(chǎn)成本。博觀糧油機(jī)器視覺解決方 案的落地應(yīng)用，能夠?qū)崿F(xiàn)機(jī)器視覺對人工檢測的有效替 代，減輕糧油生產(chǎn)過程中對傳統(tǒng)人力的依賴性，能夠?yàn)?企業(yè)節(jié)約大量的人力成本，緩解因人工成本上漲而帶來 的生產(chǎn)壓力，加快降本增效。 

（2）減少糧食資源浪費(fèi) 

在人多地少的基本國情下，節(jié)約糧食是保障14億 人糧食安全的戰(zhàn)略選擇。然而，我國糧食損耗浪費(fèi)現(xiàn)象 嚴(yán)重，糧食供給端存在資源配置效率偏低的問題。據(jù)聯(lián) 合國糧農(nóng)組織估計(jì)，我國每年僅在糧食收獲、運(yùn)輸、儲 存、加工過程中造成的損失浪費(fèi)，就達(dá)到糧食總量的 6%。博觀糧油機(jī)器視覺解決方案通過機(jī)器視覺質(zhì)檢， 在發(fā)現(xiàn)包裝袋斷線、漏縫等多種殘次問題后，能做到第 一時(shí)間報(bào)警并剔除，解決了傳統(tǒng)人工檢測帶來的產(chǎn)品品 質(zhì)波動(dòng)問題，減少了因包裝袋破損產(chǎn)生的糧食損耗，在 保證產(chǎn)品良品率的同時(shí)避免了原材料浪費(fèi)。 

（3）保障糧食生產(chǎn)安全 

保障糧食安全，不僅要從源頭出發(fā)保證原材料的 安全，還要加強(qiáng)對加工制造過程的檢驗(yàn)檢查。包裝袋開 口、破損等加工過程中常見的問題容易引發(fā)袋內(nèi)糧品污 染，保質(zhì)期縮短，還會(huì)招致發(fā)霉蟲害等，威脅人民健 康。博觀糧油機(jī)器視覺解決方案，借助人工智能、機(jī)器 視覺、云計(jì)算等先進(jìn)技術(shù)，高效檢測包裝袋破損問題 并及時(shí)告警相關(guān)人員處理，實(shí)現(xiàn)了糧油工廠的智能化管 控，為糧食生產(chǎn)安全保駕護(hù)航。

摘自《自動(dòng)化博覽》2023年第2期暨《邊緣計(jì)算2023專輯》