★ 固博機器人(重慶)有限公司
1 方案目標概述
1.1 建設背景及行業(yè)面臨的挑戰(zhàn)
(1)監(jiān)控系統(tǒng)發(fā)展需求:在監(jiān)控系統(tǒng)的發(fā)展過程中,從前端攝像頭到信號傳輸?shù)胶笈_存儲再到后臺對前端設備的控制,各種技術和設備一直在進行著突飛猛進的發(fā)展,然而絕大部分存量的公共空間分散應用系統(tǒng)依然要靠24小時人為不間斷通過大屏幕觀察解決異常情況的監(jiān)控問題。
(2)工業(yè)智能化的需求:隨著智慧水電站、智慧電站、智慧工廠等各工業(yè)領域智能化建設的推進,對智慧安防監(jiān)控技術的需求旺盛,通過系統(tǒng)將原來的工業(yè)攝像頭數(shù)據(jù)進行接入,獲取數(shù)據(jù)信息,進行統(tǒng)一識別分析,對原有監(jiān)控系統(tǒng)進行智能升級。
(3)在很多工業(yè)現(xiàn)場,目前仍采用傳統(tǒng)的人工作業(yè)方式,存在效率偏低,及時性、安全性不高,可靠性、穩(wěn)定性偏弱,誤報、漏報現(xiàn)象時有發(fā)生,無法及時快速追蹤現(xiàn)場情況等諸多問題。引入工業(yè)智慧運維系統(tǒng)輔助、替代人工檢查,提高檢查效率和運行可靠性。
1.2 主要目標
工業(yè)智慧運維系統(tǒng)以智慧監(jiān)控為基礎,充分將云計算、人工智能、深度學習算法、大數(shù)據(jù)等各項技術高度融合,在監(jiān)控中心遠程操控,實現(xiàn)定時、周期遙控巡檢,監(jiān)控及數(shù)據(jù)報表分析、及時識別各種報警和異常等數(shù)字化、智能化的管理與反饋機制,助力智慧工業(yè)的建設。
1.3 總體概述
工業(yè)智慧運維系統(tǒng)是基于傳統(tǒng)視頻監(jiān)控系統(tǒng)的智能識別+報警系統(tǒng),通過硬件承載軟件系統(tǒng)組成。工業(yè)智慧運維系統(tǒng)產(chǎn)品架構圖如圖1所示。
圖1 工業(yè)智慧運維系統(tǒng)產(chǎn)品架構圖
工業(yè)智慧運維系統(tǒng)主要通過工業(yè)現(xiàn)場現(xiàn)有的監(jiān)控設備,采用國內(nèi)領先的深度學習算法、大數(shù)據(jù)處理和分布式集群管理技術,實現(xiàn)并發(fā)不少于240路1080P實時視頻實戰(zhàn)平臺分析或不少于240路離線高清視頻的目標結構化分析,實現(xiàn)在海量歷史視頻文件和圖片中快速查找目標完成工業(yè)場景預警或者嫌疑人鎖定。可實時輸入?yún)^(qū)域內(nèi)的所有監(jiān)控點的視頻監(jiān)控抽幀圖片,運用深度學習算法分析出所有行人特征、車輛特征以及公共場合內(nèi)行人行為、設備運行狀態(tài)分析。其識別類型主要分為:
(1)人員違規(guī)行為識別
對監(jiān)控視頻中人員的行為規(guī)范方面進行識別,如有無正確佩戴安全帽,著裝是否規(guī)范、是否存在睡覺、看手機等異常行為。
(2)設備運行狀態(tài)類識別
對監(jiān)控視頻中設備是否存在跑、冒、滴、漏等異常現(xiàn)象,以及設備是否存在缺陷進行識別并報警。
(3)作業(yè)結果類識別
針對自動化或半自動化作業(yè)的結果進行無人檢查并反饋結果。
(4)作業(yè)過程類識別
對作業(yè)過程情況進行無人化檢查。如輸煤系統(tǒng)皮帶停止、皮帶跑偏、皮帶堆料等異常進行識別報警。
2 方案介紹
2.1 系統(tǒng)架構
系統(tǒng)采用分布式系統(tǒng)構架,主要由大數(shù)據(jù)接入、大數(shù)據(jù)結構化及存儲、大數(shù)據(jù)應用平臺三部分組成。
大數(shù)據(jù)接入負責接入現(xiàn)場各個監(jiān)控視頻資源,同時支持直接導入離線視頻;大數(shù)據(jù)處理采用深度學習算法,負責對視頻、圖片數(shù)據(jù)進行轉換、分析處理,將非結構化數(shù)據(jù)轉化為標準的結構化數(shù)據(jù)集,供挖掘和分析使用。目前可以支持對視頻中的人、車輛及人的行為、設備運行狀態(tài)進行分析,形成以上目標的矢量特征。大數(shù)據(jù)存儲中心構建在成熟的云存儲體系之上,具備存儲的復雜均衡,軟硬件的動態(tài)擴展和刪除以及數(shù)據(jù)的自動備份和恢復功能,負責對結構化數(shù)據(jù)集進行管理,同時負責維護系統(tǒng)建立的各種專題庫。大數(shù)據(jù)應用以IE客戶端方式提供各類視頻流和圖片的可視化展示,諸如統(tǒng)計、報表、報警信息可視化展示,配備聲光報警設備等服務應用。
工業(yè)智慧運維系統(tǒng)架構如圖2所示。
圖2 工業(yè)智慧運維系統(tǒng)架構
2.2 硬件平臺
(1)PC桌面電腦帶顯卡
(2)NVR數(shù)字硬盤錄像機(用戶現(xiàn)場提供)
(3)運行環(huán)境
接口系統(tǒng):獨立服務器Web端;
CPU:雙核1.5G以上;
顯卡:1024*768,16位色以上。
2.3 軟件平臺
(1)系統(tǒng)開發(fā)
操作系統(tǒng):windows、linux;
集成開發(fā)環(huán)境為eclipse、Myeclipse、IDEA,碼云作為源代碼管理工具。
(2)系統(tǒng)運行
系統(tǒng)采用基于web平臺的java技術作為主要的開發(fā)技術,jdk版本為1.8.0以上,兼容瀏覽器IE(7.0以上)、360SE、Chrome、Safari、QuikTime、FireFox。
2.4 數(shù)據(jù)通信
本系統(tǒng)的數(shù)據(jù)、命令通信協(xié)議采用TCP/IP(Socket)、SOAP、HTTP等協(xié)議。接口系統(tǒng)與web端采用json格式數(shù)據(jù)進行通信。
2.5 安全措施
(1)系統(tǒng)應用于特殊巡檢,故重點考慮數(shù)據(jù)儲存、數(shù)據(jù)傳輸?shù)陌踩裕约跋到y(tǒng)的物理安全和管理安全。采用成熟、先進的技術開發(fā),確保系統(tǒng)的穩(wěn)定性。
(2)工業(yè)智慧運維系統(tǒng)滿足“技術先進,安全可靠;功能完善,使用簡便;靈活機動,部署快捷”的應用要求,通過專業(yè)化、規(guī)范化的運維服務,達到行業(yè)規(guī)范和標準的要求,保證設備和系統(tǒng)處于最佳運行狀態(tài),發(fā)揮系統(tǒng)的最大效能。
(3)系統(tǒng)設有安全權限管理。不同范圍的人員對不同功能模塊有不同的使用權。
3 應用情況
工業(yè)智慧運維系統(tǒng)已在輸煤皮帶廊、鋼廠(四高及精整包裝線)、熱電廠(零米汽機、GIS室、控制室)等場景下開展應用,且運行效果俱佳,切實提高了工業(yè)領域的設備健康水平和管理水平,取得良好示范效應。
下面以輸煤皮帶廊智慧運維系統(tǒng)為例具體說明解決方案。
輸煤皮帶智慧運維系統(tǒng)為輸煤系統(tǒng)提供一套完整的無人值守巡檢解決方案,具備輸煤系統(tǒng)無人化檢查、輸煤系統(tǒng)皮帶停止、皮帶跑偏、皮帶堆料識別報警等核心功能,配套輸煤系統(tǒng)集控軟件能夠?qū)φ麄€輸送帶監(jiān)控設備控制、并能夠?qū)Υ罅康妮斔蛶到y(tǒng)數(shù)據(jù)進行采集與大數(shù)據(jù)分析、系統(tǒng)報警為一體的智能化運維。
輸煤皮帶智慧運維系統(tǒng)提供了完整的解決方案,可提高工作人員的巡檢進度,對巡檢質(zhì)量實現(xiàn)由人工管理到電子化管理的轉變,并進行考評,保證檢查工作的正常開展。管理者可以通過該系統(tǒng)對閥門、各管道、線路等設施的巡檢實現(xiàn)科學化的管理,同時依托大數(shù)據(jù)計算技術,能夠?qū)Ξ惓顩r進行提前預判分析,在辦公室內(nèi)足不出戶即可通過各類電子報表掌握巡檢的實施質(zhì)量和設施的運行狀況。
(1)系統(tǒng)采用多種通用協(xié)議:WebSocket協(xié)議、HTTP協(xié)議、TCP/UDP協(xié)議、FTP文件傳輸協(xié)議、RTSP實時流傳輸協(xié)議,可接入其他系統(tǒng)及接收其他設備數(shù)據(jù)。
(2)具有可視化地圖管理模塊,可實現(xiàn)地圖創(chuàng)建、地圖編輯、巡檢點采集等基本功能,便于巡檢任務的指定。
(3)后臺界面可根據(jù)采集到的數(shù)據(jù)自動產(chǎn)生巡檢報告,分為日、周、月、年和監(jiān)控報表,并支持對報表的管理、查詢、自定義。
(4)多巡檢任務進行管理,巡檢列表中包括巡檢點設置、巡檢任務計劃制定、巡檢任務瀏覽和巡檢任務跟蹤等任務。
(5)提供所有巡檢數(shù)據(jù)日志報告的導出。
(6)監(jiān)控后臺能攝像頭進行手動操作。
(7)服務器存儲不少于3個月的設備巡檢圖片。系統(tǒng)定期自動備份數(shù)據(jù)庫數(shù)據(jù),防止數(shù)據(jù)丟失。
(8)集控平臺建設遵循“統(tǒng)一規(guī)劃、分級應用”的建設思路,制定一體化的系統(tǒng)架構,實現(xiàn)數(shù)據(jù)規(guī)范、功能模塊的統(tǒng)一與標準化,具備標準化的數(shù)據(jù)接口,實現(xiàn)數(shù)據(jù)高速交互,數(shù)據(jù)能夠與運維自動化系統(tǒng)等專業(yè)系統(tǒng)互聯(lián)互通。同時,系統(tǒng)設計具備良好的功能擴展性,既滿足現(xiàn)階段生產(chǎn)需求,又考慮未來功能升級或網(wǎng)級巡檢中心的數(shù)據(jù)采集要求。
(9)能將站內(nèi)已有的安防系統(tǒng)、視頻系統(tǒng)、監(jiān)控系統(tǒng)融合到我們的機器人進行識別分析,并將識別結果存到數(shù)據(jù)庫,可在管理界面查看,并將故障展示到顯示界面。
(10)平臺架構采用B/S模式,實現(xiàn)與其他系統(tǒng)的數(shù)據(jù)通信,按照數(shù)據(jù)類型將數(shù)據(jù)層劃分為多個獨立模塊,增加數(shù)據(jù)的處理效率和提高穩(wěn)定性。
(11)與第三方平臺進行數(shù)據(jù)對接
操作方式有三種:
一是把系統(tǒng)的單個功能網(wǎng)頁給用戶,用戶把網(wǎng)頁嵌入到用戶已有系統(tǒng),進行對應的數(shù)據(jù)展示;
二是給用戶提供數(shù)據(jù)接口,用戶可以通過接口獲取巡檢系統(tǒng)相應的數(shù)據(jù);
三是甲方提供數(shù)據(jù)接口,可以向用戶的數(shù)據(jù)接口寫入相應巡檢的數(shù)據(jù),進行對應的數(shù)據(jù)展示。
①歷史數(shù)據(jù)查看功能
可以查看近一年的所有巡檢歷史數(shù)據(jù)、圖片等。可以從時間和檢測對象兩個維度進行查看。
②報表功能
巡檢數(shù)據(jù)可自動形成巡檢報告,并可導出巡檢報表和故障報表。
③報警功能
具備設備檢測數(shù)據(jù)的分析、診斷、預判及報警功能;報警發(fā)生時,立即發(fā)出報警信息,并伴有聲光提示,并能人工退出/恢復;報警信號能遠傳。
識別流程圖如圖3所示。
圖3 識別流程圖
4 代表性及推廣價值
4.1 技術亮點
(1)智慧能力庫建設:已建立了工業(yè)領域的能力庫,借助圖像視頻采集、標注、深度學習算法,讓“工業(yè)智慧巡檢系統(tǒng)”在各類工業(yè)應用場景中快速應用,持續(xù)優(yōu)化演進。
(2)全信息感知:系統(tǒng)自動監(jiān)控,全信息感知;用戶可進行定制化、全天候持續(xù)不間斷地數(shù)據(jù)采集。
(3)靈活易用:借助APP工具,對任何一個攝像頭可進行靈活部署和識別能力的賦能,用戶可進行任意的更改,擴展性強,操作簡單方便。
(4)協(xié)同共享:針對NVR\DVR一個系統(tǒng)范圍內(nèi)裝一臺工業(yè)智慧巡檢系統(tǒng),多臺可匯集共享一個后臺系統(tǒng)。
(5)邊緣智能+云智能
工業(yè)智慧運維系統(tǒng)通過搭載具有高可用高穩(wěn)定性的智能算法板,對實時產(chǎn)生的巡檢數(shù)據(jù)做實時智能AI運算處理及數(shù)據(jù)分析。同時判斷告警系統(tǒng)是否產(chǎn)生了預警信息,如果產(chǎn)生了預警信息告警系統(tǒng)會通過聲音,亮燈等方式進行實時預警。同時會把處理好的數(shù)據(jù)結果保存到系統(tǒng)服務當中,如果告警系統(tǒng)當前和云服務已經(jīng)聯(lián)通,通過邊緣智能處理的數(shù)據(jù)會實時地傳輸至云服務器,云服務器可以對數(shù)據(jù)進行大數(shù)據(jù)分析,分析每個點位出現(xiàn)預警頻率,在數(shù)據(jù)足夠充分的情況下甚至能分析出哪些設備將要出現(xiàn)預警,可以提前告知工作人員,提前進行查看維護。
邊緣智能,將云計算能力拓展至用戶現(xiàn)場,可以提供臨時離線、低延時的計算服務,包括消息規(guī)則、函數(shù)計算、AI推斷。隨著收集數(shù)據(jù)并將其轉換到云端進行處理的物聯(lián)網(wǎng)設備數(shù)量增加,邊緣智能應運而生。基于邊緣計算這一新型的計算模式,邊緣智能在更加靠近用戶和數(shù)據(jù)源頭的網(wǎng)絡邊緣側這一位置訓練和部署深度學習模型,從而改善人工智能應用的性能、成本和隱私性。
作為云計算向網(wǎng)絡邊緣和終端用戶的擴展,邊緣計算將計算資源和服務從遠離用戶的云端下沉到網(wǎng)絡邊緣側,從而有效降低網(wǎng)絡延遲和帶寬消耗,并加強隱私保護。相比于傳統(tǒng)應用,物聯(lián)網(wǎng)場景下的基于視頻分析、圖像和語音識別技術等新興人工智能應用的計算和數(shù)據(jù)都更為密集,對延遲和隱私保護要求也更為嚴苛。同時大大地降低了用戶在服務器集中進行運算的硬件成本。
(6)巡檢點位智能快速部署
自動獲取NVR的監(jiān)控設備信息,并對監(jiān)控設備當前位置進點位行初始化。
4.2 經(jīng)濟效益/商業(yè)價值
“工業(yè)智慧運維系統(tǒng)”直接替代目前部分(大部分)人工觀察大屏幕監(jiān)控職責;其二是進行異常圖片智慧保存,建立快速檢索機制,進一步提升存量系統(tǒng)的建設價值、解放大量低級無趣工作下的勞動力并對新構建的分散性監(jiān)控系統(tǒng)提升價值。在大數(shù)據(jù)技術支持下,對公共空間的安全風險進行預測和警報,真正提升公共空間的安全性降低各種安全風險。
“工業(yè)智慧運維系統(tǒng)”產(chǎn)品具有存儲輕量化(視頻數(shù)據(jù)經(jīng)過結構化處理,輸出形式為圖片甚至文本,極大地降低了占用的存儲空間和傳輸壓力)、處理高效化(具有高性能并行處理能力,并支多線程圖片幀抓取,能成倍提高視頻數(shù)據(jù)的結構化處理能力)、應用多樣化(系統(tǒng)內(nèi)嵌應用管理系統(tǒng),能夠提供統(tǒng)計、報表、報警信息可視化展示,配備聲光報警設備等各類豐富應用)特點,其應用面廣,用戶接受度高,商業(yè)價值高。
4.3 社會價值
“工業(yè)智慧運維系統(tǒng)”充分將云計算、人工智能、深度學習算法、大數(shù)據(jù)處理等各項技術高度融合,實現(xiàn)定時、周期遙控巡檢,監(jiān)控及數(shù)據(jù)報表分析、及時識別各種報警和異常等數(shù)字化、智能化的管理與反饋機制,解決現(xiàn)有監(jiān)控系統(tǒng)的痛點問題(如系統(tǒng)自身無法提前預警、人工監(jiān)視存在遺漏、人式監(jiān)視低效枯燥、事后取證復雜、存儲時間受限、存儲數(shù)據(jù)價值無開發(fā)等),減輕(替代)人工作業(yè)(檢查、監(jiān)視)勞動強度,提高作業(yè)效率、解決及時性、安全性、可靠性及穩(wěn)定性問題。
隨著智慧水電站、智慧電站、智慧工廠等各工業(yè)領域智能化建設的推進,以及智慧城市、智慧醫(yī)院、智慧學校等其它領域智能化建設從概念走向落地,對智慧安防監(jiān)控技術的需求旺盛,通過系統(tǒng)將原來的工業(yè)攝像頭數(shù)據(jù)進行接入,獲取數(shù)據(jù)信息,進行統(tǒng)一識別分析,形成智慧運維系統(tǒng)(智慧化視頻監(jiān)控),解決公共空間監(jiān)控系統(tǒng)的直接升級。
摘自《自動化博覽》2022年10月刊