智能視頻信息識(shí)別監(jiān)控系統(tǒng)

智能視頻信息識(shí)別監(jiān)控系統(tǒng)

背景介紹

   在復(fù)雜施工環(huán)境和條件多變的情況下，施工作業(yè)過(guò)程中的操作人員難免存在作業(yè)違章行為并伴隨著較大的作業(yè)風(fēng)險(xiǎn)。不同的操作人員業(yè)務(wù)水平高低不同，在施工作業(yè)過(guò)程中，無(wú)法意識(shí)到自身存在作業(yè)違章行為并存在一定的作業(yè)風(fēng)險(xiǎn)。針對(duì)以上問(wèn)題，開(kāi)展作業(yè)風(fēng)險(xiǎn)告警技術(shù)研究，建立基于人工智能的行為識(shí)別告警技術(shù)。作業(yè)風(fēng)險(xiǎn)識(shí)別告警模型通過(guò)基于作業(yè)指導(dǎo)文件內(nèi)容，同時(shí)結(jié)合歷史風(fēng)險(xiǎn)作業(yè)圖像特征實(shí)現(xiàn)作業(yè)風(fēng)險(xiǎn)識(shí)別告警目的。

系統(tǒng)架構(gòu)

   智能視頻信息識(shí)別監(jiān)控系統(tǒng)整體建設(shè)方案以智能推理平臺(tái)為主，從數(shù)據(jù)采集終端獲取數(shù)據(jù)，通過(guò)網(wǎng)線(xiàn)網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)采集控制中心再通過(guò)網(wǎng)絡(luò)網(wǎng)線(xiàn)將數(shù)據(jù)推送至智能推理平臺(tái)中，搭配人工智能的軟硬件處理，最后以獲取到數(shù)據(jù)的分析結(jié)果進(jìn)行警報(bào)響應(yīng)，從而形成一體化的智能推理平臺(tái)解決方案。

   系統(tǒng)可以兼容已有的前端監(jiān)控設(shè)備和系統(tǒng)，對(duì)監(jiān)控畫(huà)面進(jìn)行不間斷分析和判斷，實(shí)現(xiàn)全天候自動(dòng)化視頻監(jiān)控。邊緣端只負(fù)責(zé)采集數(shù)據(jù)，將采集到的原始數(shù)據(jù)統(tǒng)一上傳到數(shù)據(jù)采集控制中心進(jìn)行緩存和設(shè)備控制。其中視頻數(shù)據(jù)會(huì)傳遞給智能推理平臺(tái)，進(jìn)行處理，并產(chǎn)生報(bào)警信息，之后將報(bào)警信息推送到推理平臺(tái)監(jiān)控中心。推理平臺(tái)監(jiān)控中心根據(jù)接收到的數(shù)據(jù)進(jìn)行可視化的展現(xiàn)以及實(shí)時(shí)觸發(fā)報(bào)警事件。

   方案采用B/S架構(gòu)，系統(tǒng)整體計(jì)算服務(wù)部署在智能推理平臺(tái)服務(wù)器中，使用瀏覽器客戶(hù)端進(jìn)行訪(fǎng)問(wèn)和控制，用戶(hù)無(wú)需安裝客戶(hù)端，具有維護(hù)簡(jiǎn)單，使用方便，分布性強(qiáng)等優(yōu)點(diǎn)。

功能算法介紹

   人工智能介紹：

   “人工智能"（Artificial Intelligence，AI）這一概念最早由被譽(yù)為人工智能之父的美國(guó)學(xué)者John Mc Carthy于1956年在達(dá)特茅斯大學(xué)召開(kāi)的會(huì)議上提出，是研究開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人類(lèi)智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)技術(shù)科學(xué)。人工智能是一門(mén)綜合了計(jì)算機(jī)科學(xué)、控制論、信息論、神經(jīng)生理學(xué)、心理學(xué)、語(yǔ)言學(xué)、哲學(xué)等多種學(xué)科互相滲透而發(fā)展起來(lái)的一門(mén)交叉學(xué)科。關(guān)于人工智能，目前研究界尚無(wú)統(tǒng)一的定義，美國(guó)斯坦福大學(xué)人工智能研究中心尼爾遜教授下過(guò)這樣一個(gè)定義：“人工智能是關(guān)于知識(shí)的學(xué)科，是怎樣表示知識(shí)以及怎樣獲得知識(shí)并使用知識(shí)的科學(xué)。"而麻省理工學(xué)院的溫斯頓教授認(rèn)為：“人工智能就是研究如何使計(jì)算機(jī)去做過(guò)去只有人才能做的智能工作。"而單從人工智能所實(shí)現(xiàn)的功能來(lái)定義，主要是探討如何運(yùn)用計(jì)算機(jī)模仿人腦所從事的推理、證明、識(shí)別、理解、設(shè)計(jì)、學(xué)習(xí)、思考、規(guī)劃以及問(wèn)題求解等思維活動(dòng)，并以此解決如咨詢(xún)、診斷、預(yù)測(cè)、規(guī)劃等需要人類(lèi)專(zhuān)家才能處理的復(fù)雜問(wèn)題，即研究人類(lèi)智能活動(dòng)的規(guī)律。經(jīng)過(guò)多年發(fā)展，人工智能呈現(xiàn)出深度學(xué)習(xí)、跨界融合、人機(jī)協(xié)同、群智開(kāi)放、自主操控等新特征。人工智能正在加速與各行業(yè)的深度融合，催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，將深刻改變?nèi)祟?lèi)社會(huì)生活、改變世界。

   1、深度學(xué)習(xí)

   深度學(xué)習(xí)是人工智能的一個(gè)方面，它涉及模仿人類(lèi)用來(lái)獲取某些類(lèi)型知識(shí)的學(xué)習(xí)方法，簡(jiǎn)單的深度學(xué)習(xí)可以被認(rèn)為是一種自動(dòng)化分析的方法。傳統(tǒng)的機(jī)器學(xué)習(xí)算法是線(xiàn)性的，但深度學(xué)習(xí)算法堆疊在一個(gè)越來(lái)越復(fù)雜和抽象的層次結(jié)構(gòu)中。

   一個(gè)理解深度學(xué)習(xí)的例子是，想象一個(gè)小孩學(xué)習(xí)一個(gè)詞是狗。小孩通過(guò)指向一個(gè)物體并說(shuō)出狗這個(gè)詞來(lái)了解什么是狗/不是狗，父母會(huì)說(shuō)“是的，那是一只狗"或者“不，那不是狗"。小孩進(jìn)而繼續(xù)指向新的物體并繼續(xù)詢(xún)問(wèn)、了解的時(shí)候，他會(huì)越來(lái)越意識(shí)到狗擁有的所有特征。小孩在不了解客觀(guān)事物的情況下做的這個(gè)事情，也就是通過(guò)構(gòu)建一個(gè)層次結(jié)構(gòu)來(lái)闡明復(fù)雜的抽象（狗的概念），其中每個(gè)抽象層次都是從層次結(jié)構(gòu)的前一層獲得的知識(shí)創(chuàng)建的。

   使用深度學(xué)習(xí)的計(jì)算機(jī)程序經(jīng)歷了相同的過(guò)程。層次結(jié)構(gòu)中的每個(gè)算法對(duì)其輸入應(yīng)用非線(xiàn)性變換，并使用其學(xué)習(xí)的內(nèi)容創(chuàng)建統(tǒng)計(jì)模型作為輸出。迭代繼續(xù)直到輸出達(dá)到可接受的準(zhǔn)確度。數(shù)據(jù)必須通過(guò)的處理層數(shù)也就是來(lái)自標(biāo)簽的深層啟發(fā)。

   2、計(jì)算機(jī)視覺(jué)

   計(jì)算機(jī)視覺(jué)是使計(jì)算機(jī)“看到"的科學(xué)。它采用一個(gè)或多個(gè)攝像機(jī)，模數(shù)轉(zhuǎn)換（ADC）和數(shù)字信號(hào)處理（DSP），生成的數(shù)據(jù)將發(fā)送到計(jì)算機(jī)或機(jī)器人控制器。計(jì)算機(jī)視覺(jué)的復(fù)雜性與語(yǔ)音識(shí)別相似。由于人眼只對(duì)390至770納米的電磁波長(zhǎng)敏感。攝像機(jī)可以對(duì)比這更寬的波長(zhǎng)范圍敏感。一些計(jì)算機(jī)視覺(jué)系統(tǒng)就可以在紅外（IR），紫外（UV）或X射線(xiàn)波長(zhǎng)下起作用。

   機(jī)器視覺(jué)需要更具有高級(jí)處理器的計(jì)算機(jī)，這種深度感知需要高分辨率相機(jī)，大量隨機(jī)存取器（RAM）和人工智能（AI）編程。它用于從簽名識(shí)別到醫(yī)學(xué)圖像分析的各種應(yīng)用中。專(zhuān)注于基于機(jī)器的圖像處理的計(jì)算機(jī)視覺(jué)通常與機(jī)器視覺(jué)相混淆。

   基礎(chǔ)設(shè)施提供者為人工智能系統(tǒng)提供計(jì)算能力支持，實(shí)現(xiàn)與外部世界的溝通，并通過(guò)基礎(chǔ)平臺(tái)實(shí)現(xiàn)支撐。計(jì)算能力由智能芯片（CPU、GPU、ASIC、FPGA等硬件加速芯片以及其它智能芯片）等硬件系統(tǒng)開(kāi)發(fā)商提供；與外部世界的溝通通過(guò)新型傳感器制造商提供；基礎(chǔ)平臺(tái)包括分布式計(jì)算框架提供商及網(wǎng)絡(luò)提供商提供平臺(tái)保障和支持，即包括云存儲(chǔ)和計(jì)算、互聯(lián)互通網(wǎng)絡(luò)等。

   基本算法介紹：

   1、目標(biāo)分類(lèi)

   解決“是什么? "的問(wèn)題，即給定一張輸入圖像，圖像分類(lèi)任務(wù)旨在判斷該圖像所屬類(lèi)別。常見(jiàn)的分類(lèi)算法有：ResNet、LetNet、AlexNet、GooleNet等。

   2、目標(biāo)檢測(cè)

   解決“是什么?在哪里? "的問(wèn)題，即給定一張輸入圖像，目標(biāo)檢測(cè)的任務(wù)旨在定位出目標(biāo)的位置并且告知目標(biāo)物是什么。常見(jiàn)的檢測(cè)算法有：SSD、YOLO、Fast RCNN、Faster RCNN等。

   3、目標(biāo)分割

   目標(biāo)分割分為實(shí)例的分割和場(chǎng)景分割，解決“每一個(gè)像素屬于哪個(gè)目標(biāo)物或場(chǎng)景? "的問(wèn)題。常見(jiàn)的分割算法有：DeepLab、Mask R-CNN、U-Net、FCN等。

   算法方案構(gòu)成：

   為保證視頻智能分析的檢測(cè)精度，用戶(hù)現(xiàn)場(chǎng)攝像頭要求：

   1、支持RTSP、RTMP視頻流格式的攝像頭，分辨率不低于200萬(wàn)像素（1920x1080或1600x1200）；

   2、攝像頭安裝位置：一般攝像機(jī)距需要采集的區(qū)域?yàn)?至30米左右，高度為1至8米；室內(nèi)場(chǎng)景監(jiān)控距離一般小于10米,架設(shè)高度1至3米，室外場(chǎng)景監(jiān)控距離一般小于30米，架設(shè)高度小于8米。

安全帽監(jiān)測(cè)

   安全帽檢測(cè)為防范特定區(qū)域內(nèi)人員未佩戴安全帽，本算法方案首先使用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人頭檢測(cè)，定位圖片中的人頭位置，得到包含人頭的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用ResNet-50安全帽的分類(lèi)算法對(duì)檢測(cè)框內(nèi)容進(jìn)行分類(lèi)處理，根據(jù)分類(lèi)輸出的安全帽置信度與預(yù)設(shè)的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對(duì)特定區(qū)域的人員安全帽佩戴情況進(jìn)行檢測(cè)效果，對(duì)于未佩戴安全帽的人員進(jìn)行黃框標(biāo)注，正常佩戴安全帽的人員試用綠框標(biāo)注。

安全帽實(shí)際效果

工作服（紅、藍(lán)）檢測(cè)

  為規(guī)范特定區(qū)域的人員穿戴規(guī)范，對(duì)未合規(guī)穿戴工作服的人員進(jìn)行預(yù)警，本算法方案首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人體檢測(cè)，定位圖片中的人體，得到包含人體的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用質(zhì)量模型進(jìn)行過(guò)濾，去除圖像質(zhì)量不好的圖像。再對(duì)圖像質(zhì)量較好的行人檢測(cè)框進(jìn)行ResNet-50工作服的分類(lèi)處理，根據(jù)分類(lèi)輸出的工作服置信度與預(yù)設(shè)的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對(duì)特定區(qū)域的人員工作服穿著情況進(jìn)行檢測(cè)的效果，對(duì)于未穿著工作服的人員使用黃框標(biāo)注，正常穿著工作服的人員使用綠框標(biāo)注。

工服穿戴實(shí)際效果

反光衣穿戴識(shí)別

   為規(guī)范特定區(qū)域的人員穿戴規(guī)范，對(duì)未合規(guī)穿戴反光衣的人員進(jìn)行預(yù)警，本算法方案首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人體檢測(cè)，定位圖片中的人體，得到包含人體的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用ResNet-50反光衣的分類(lèi)算法對(duì)檢測(cè)框內(nèi)容進(jìn)行分類(lèi)處理，根據(jù)分類(lèi)輸出的反光衣置信度與預(yù)設(shè)的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對(duì)特定區(qū)域的人員反光衣穿著情況進(jìn)行檢測(cè)的效果，對(duì)于未穿著反光衣的人員使用紅框標(biāo)注，正常穿著反光衣的人員使用綠框標(biāo)注。

反光衣佩戴實(shí)際效果演示

行人闖入監(jiān)測(cè)

  目前特定區(qū)域內(nèi)闖入仍然采用人工查看監(jiān)控視頻的方式，對(duì)于防范具有滯后性，不能準(zhǔn)確實(shí)時(shí)的進(jìn)行監(jiān)測(cè)告警。為防止事態(tài)進(jìn)一步惡化，本算法方案先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人體檢測(cè)，定位圖片中的人體，得到包含人體的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上使用質(zhì)量模型進(jìn)行過(guò)濾，去除圖像質(zhì)量不好的人體區(qū)域圖像。然后基于配置好的區(qū)域進(jìn)行判斷，判斷區(qū)域內(nèi)是否有人員在內(nèi)，當(dāng)有人員在區(qū)域內(nèi)則進(jìn)行告警。

下圖為對(duì)特殊區(qū)域內(nèi)行人闖入的檢測(cè)效果，對(duì)出現(xiàn)在違進(jìn)區(qū)域（綠色為禁止進(jìn)入?yún)^(qū)域）的人員進(jìn)行異常報(bào)警。

人員闖入實(shí)際效果

皮膚裸露檢測(cè)

   皮膚裸露檢測(cè)為防范區(qū)域內(nèi)人員未穿戴防護(hù)用品，造成皮膚裸露有事故隱患，本算法方案首先使用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人體檢測(cè)，定位圖片中的人體，得到包含人體的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上使用質(zhì)量模型進(jìn)行過(guò)濾，去除圖像質(zhì)量不好的人體區(qū)域圖像。過(guò)濾后使用DeepLab v3皮膚裸露的分割算法對(duì)剩余檢測(cè)框內(nèi)的圖像進(jìn)行分割處理（注意：分割區(qū)域?yàn)楦觳?、手、腿、腳部），然后計(jì)算分割出的皮膚區(qū)域占人體檢測(cè)框的比值。根據(jù)計(jì)算出的皮膚區(qū)域占比與預(yù)設(shè)的閾值比較，若高于閾值，則輸出告警信息。

   下圖為對(duì)區(qū)域內(nèi)的人員進(jìn)行皮膚裸露檢測(cè)的效果，正常人員以綠框進(jìn)行標(biāo)識(shí)，皮膚裸露的人員以紅框進(jìn)行標(biāo)識(shí)。

皮膚裸露實(shí)際效果

煙火檢測(cè)

   本算法功能首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行煙霧、火焰檢測(cè)，定位圖片中的煙火，得到包含煙火的檢測(cè)框后，基于該檢測(cè)框位置摳取出后4幀的對(duì)應(yīng)圖像，將這5幀中該檢測(cè)框區(qū)域圖像的通道進(jìn)行合并。最后使用ResNet-50算法對(duì)合并后的圖像進(jìn)煙火分類(lèi)處理，根據(jù)分類(lèi)輸出的煙火置信度與預(yù)設(shè)的閾值比較，若高于閾值，則輸出告警信息。

煙火算法效果圖

抽煙檢測(cè)

   為規(guī)范區(qū)域的人員行為，防止人員在禁煙區(qū)域內(nèi)吸煙，有火災(zāi)的安全隱患，本算法方案首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人頭檢測(cè)，定位圖片中的人頭，得到包含人頭的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用ResNet-50抽煙的分類(lèi)算法對(duì)檢測(cè)框內(nèi)容進(jìn)行分類(lèi)處理，根據(jù)分類(lèi)輸出的抽煙置信度與預(yù)設(shè)的閾值比較，若高于閾值，則輸出告警信息。

   下圖為抽煙行為檢測(cè)的效果。

抽煙檢測(cè)算法效果

打電話(huà)檢測(cè)

  為規(guī)范區(qū)域的人員行為，防止意外事故發(fā)生，進(jìn)行人員打電話(huà)行為監(jiān)測(cè)，本算法方案首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行人頭檢測(cè)，定位圖片中的人頭，得到包含人頭的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用ResNet-50打電話(huà)的分類(lèi)算法對(duì)檢測(cè)框內(nèi)容進(jìn)行分類(lèi)處理，根據(jù)分類(lèi)輸出的抽煙置信度與預(yù)設(shè)的閾值比較，若高于閾值，則輸出告警信息。

   下圖為打電話(huà)行為檢測(cè)檢測(cè)效果。

打電話(huà)檢測(cè)算法效果

人員倒地檢測(cè)

   為及時(shí)預(yù)警區(qū)域的人員安全，防止人員在發(fā)生倒地時(shí)無(wú)人發(fā)現(xiàn)，可以采用智能識(shí)別方式，本算法方案首先采用YOLO-V3目標(biāo)檢測(cè)算法進(jìn)行摔倒人體的檢測(cè)，定位圖片中的人體，得到包含人體的檢測(cè)框后，在此檢測(cè)框的基礎(chǔ)上再使用HRNet進(jìn)行人體關(guān)鍵點(diǎn)檢測(cè)，獲取左右肩中點(diǎn)和左右腳踝中點(diǎn)的連線(xiàn)（人體中心線(xiàn)），計(jì)算人體中心線(xiàn)與垂直方向的夾角并進(jìn)行判斷，若大于閾值角度就判定為摔倒，否則繼續(xù)進(jìn)行判斷。基于前一步的人體關(guān)鍵點(diǎn)繪制骨架圖，使用ResNet-50對(duì)骨架圖進(jìn)行分類(lèi)處理，根據(jù)分類(lèi)輸出的摔倒置信度與預(yù)設(shè)的閾值比較，若高于閾值，則輸出告警信息。

   下圖為人員倒地行為檢測(cè)的效果圖。