大數(shù)據是最近最為火爆的技術概念，尤其是在貴陽召開的大數(shù)據博覽會之后，大數(shù)據已經成為國家和各個城市在IT基礎領域下一步的重點發(fā)展方向。不論政府、企業(yè)還是個人，都在關注如何采集數(shù)據，以及如何從數(shù)據中挖掘出有用的信息，進而創(chuàng)造社會價值、商業(yè)價值?；ヂ?lián)網是大數(shù)據最早發(fā)揮效用的行業(yè)，淘寶、京東、亞馬遜等電商企業(yè)通過對海量數(shù)據的掌握和分析,為用戶提供更加專業(yè)化和個性化的服務。大數(shù)據也在重構很多傳統(tǒng)行業(yè)，通過收集、整理生活中方方面面的數(shù)據，進行分析挖掘，從中獲得有價值信息，并衍化出新的商業(yè)模式。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據分析基礎之上的精準選址。
隨著平安城市、智慧城市、工業(yè)4.0等項目和技術的推進，物聯(lián)網大數(shù)據逐步成為大數(shù)據發(fā)展的新方向。對遍布大街小巷的攝像頭、各類傳感器和工業(yè)生產數(shù)據等新的大數(shù)據來源進行分析挖掘的物聯(lián)網技術蓬勃發(fā)展。安防行業(yè)隨著高清化、智能化、網絡化、數(shù)字化的要求，數(shù)據量也迅速增加，早在幾年前就已踏入大數(shù)據的門檻。安防領域的“大數(shù)據”一般具有幾個特點：首先，數(shù)據量巨大，一個地級市30天的視頻錄像數(shù)據就已經是PB級;其次，區(qū)別于傳統(tǒng)的數(shù)據結構，安防領域的數(shù)據結構比較復雜，超過 80% 都是非結構化數(shù)據，比如智慧型平安城市建設中的視頻監(jiān)控數(shù)據、卡口的抓拍照片、智能分析輸出的特征數(shù)據等;再次，數(shù)據更新快，視頻監(jiān)控每秒鐘都在進行;最后，這些更個性化的數(shù)據在存儲后被要求能隨機訪問，這就要求新的物聯(lián)網大數(shù)據系統(tǒng)更加快捷地處理數(shù)據，更具智能地保存和管理數(shù)據。
二、大數(shù)據技術發(fā)展創(chuàng)新
基于大數(shù)據的智慧安防在技術方面重點應關注大數(shù)據處理技術和智能分析技術。大數(shù)據處理技術主要解決數(shù)據的采集、存儲和分析挖掘問題，而智能分析技術是為了實現(xiàn)對視頻的分析和理解，解決視頻結構化問題，推動視頻數(shù)據向視頻信息的轉變。
大數(shù)據應用主要涉及數(shù)據整合、數(shù)據存儲、挖掘應用等多方面和多層次。其中，大數(shù)據技術作為大數(shù)據應用的基礎設施保障至關重要。主要內容包括：
大數(shù)據采集和管理技術
(1)可擴展的數(shù)據描述規(guī)范
數(shù)據的快速增長迫切需要一套可擴展的數(shù)據描述規(guī)范，實現(xiàn)數(shù)據描述、數(shù)據存儲、共享和交換?，F(xiàn)階段，數(shù)據的形式主要有源自攝像頭采集的視頻數(shù)據和其他各類復雜結構數(shù)據。設計面向多維數(shù)據的本體描述框架,可以較全面地描述多維語義內容。
(2)多維數(shù)據集成共性技術
數(shù)據抽取、轉換和加載(ETL)是解決異構多維數(shù)據一致性和集成化的有效方案，利用工具將數(shù)據按照統(tǒng)一的規(guī)則進行集成，完成數(shù)據從多數(shù)據源向統(tǒng)一目標數(shù)據庫的轉化。
大數(shù)據存儲技術
規(guī)模龐大的感知設備、繁多的業(yè)務系統(tǒng)每天產生海量的數(shù)據，這些數(shù)據既有結構化的，也有半結構化和非結構化的，這為數(shù)據的統(tǒng)一描述和存儲帶來了困難。
(1)資源描述元數(shù)據管理技術
資源描述元數(shù)據是海量異構數(shù)據實現(xiàn)透明訪問的基礎。通過擴充現(xiàn)有的數(shù)據對象和存儲資源描述方法，從多個方面描述數(shù)據的內在屬性(關鍵字、數(shù)據編碼格式等)、應用需求(性能、可用性、安全性、持久性等)和資源特性(位置、訪問方式、服務能力等)，以支持智能分級的存儲虛擬化及存儲服務。
(2)基于時空域的視頻數(shù)據管理技術
根據視頻數(shù)據的時空域屬性信息，按需求將空間鄰近或時間鄰近的視頻數(shù)據進行歸類，并在存儲上進行關聯(lián)存儲，同時利用基于語義內容的去冗余技術，提升數(shù)據的價值密度。
(3)大數(shù)據存儲技術
百億甚至千億級的結構化數(shù)據為存儲和查詢帶來巨大壓力，傳統(tǒng)的關系型數(shù)據庫已無法支撐此類應用。采用針對海量數(shù)據特性設計的分布式數(shù)據存儲架構和列式數(shù)據庫技術，可以較好地滿足大數(shù)據存儲系統(tǒng)可擴展性、高可靠性的要求。
大數(shù)據檢索和挖掘技術
(1)分布式智能全文檢索技術
大數(shù)據僅僅依靠單節(jié)點進行智能全文檢索已遠遠無法滿足性能要求，采用分布式的多節(jié)點并行處理技術，能有效縮短響應時間，提高系統(tǒng)性能。
(2)基于圖像識別的檢索技術
智慧安防中存在海量的圖片數(shù)據，目前的檢索技術還是以特征文本描述檢索為主，這需要耗費大量的人力、物力開展特征描述，當數(shù)據持續(xù)增長時，這將是一個不可能的任務。采用圖像識別及模糊匹配技術，能真正滿足用戶的業(yè)務需求，并促進人臉匹配、步態(tài)匹配、行為匹配等應用的開展。
(3)關聯(lián)網絡可視化分析
利用可視化分析，將各種不同信息圖形化，建立不同數(shù)據來源、不同信息之間的公共元素和聯(lián)系，建立起不同實體之間的關聯(lián)，從而發(fā)現(xiàn)那些隱藏在大數(shù)據中的關聯(lián)性線索和情報。
三、大數(shù)據在智能交通領域的應用介紹
近年來，隨著經濟的快速發(fā)展，機動車持有量迅速增加，交通管理現(xiàn)狀和需求的矛盾進一步加劇。在此情況下，如何利用先進的科技手段提高交通管理水平，抑制交通事故發(fā)生，是當前交通管理部門亟待解決的問題。
針對交通管理部門的需求以及我國的道路特點，可通過整合圖像處理、模式識別等技術，實現(xiàn)對監(jiān)控路段的機動車道、非機動車道進行全天候實時監(jiān)控和數(shù)據采集。前端卡口處理系統(tǒng)對所拍攝的圖像進行分析獲取號牌號碼、號牌顏色、車身顏色、車標、車輛子品牌等數(shù)據，并將獲取到的車輛信息連同車輛的通過時間、地點、行駛方向等信息通過計算機網絡傳輸?shù)娇谙到y(tǒng)控制中心的數(shù)據庫中進行數(shù)據存儲、查詢、比對等處理，當發(fā)現(xiàn)肇事逃逸、違規(guī)或可疑車輛時，系統(tǒng)會自動向攔截系統(tǒng)及相關人員發(fā)出告警信號，為交通違章查糾、交通事故逃逸、盜搶機動車輛等案件的及時偵破提供重要的信息和證據。同時，隨著全城Smart系統(tǒng)的建設，新型的Smart IPC監(jiān)控前端也將成為一個卡口系統(tǒng)，這使得城市卡口系統(tǒng)更加嚴密，能夠獲取到更多的過車數(shù)據，能更準確地描繪出車輛動態(tài)信息。
前端卡口系統(tǒng)還能及時準確地記錄經過卡口的目標信息，隨時掌握出入轄區(qū)的車輛流量狀態(tài)，為交通誘導提供重要的參考數(shù)據。為了解決海量過車數(shù)據分析的挑戰(zhàn)，智能交通要轉變思路，積極嘗試使用大數(shù)據技術來解決智能交通數(shù)據分析和挖掘問題。
某經濟發(fā)達地區(qū)城市，近一段時間，交通事故頻發(fā)，由于失駕和毒駕人員造成的惡性交通事件在在人民群眾帶來惡劣影響。市委領導決定開展一次交通整治行動，重點放在“黃標車、逾期未報廢車、套牌車、毒駕失駕人員、遮擋車牌”等重點交通違法行為的整治。除了加大路面巡邏的力度，也要求交警部門通過交通大數(shù)據對交通違法行為進行監(jiān)控與挖掘。
交通大數(shù)據主要來源來自交通道路上卡口的過車記錄。但是卡口覆蓋范圍有限，能否從社會資源上獲取交通數(shù)據?通過協(xié)調，交警部門從停車場出入口、加油站、公共停車位等交通流量重點地區(qū)調取了監(jiān)控視頻。通過海量視頻云分析平臺，將監(jiān)控視頻中的車輛相關數(shù)據取出，包括車牌、車型、駕駛員特征，并存入大數(shù)據平臺。
套牌車分析采用兩種方案對比。對于本地車輛，通過比對同一個車牌記錄中的車型車管庫的車型，如果不一致，有可能是套牌車，可以提取出來進行下一步分析。對于外地車輛，采用時空分析方案。同一個車牌如果在同一時間段出現(xiàn)在距離很遠的兩處，則說明是套牌車，提取出來進行下一步分析。
毒駕和失駕人員是不允許駕駛機動車上路，否則會造成極大的交通隱患。交警部門通過現(xiàn)有的毒駕和失駕人員重點人員庫。當卡口部署的是高清卡口，可以將駕駛員頭部照片取出。將駕駛員照片和毒駕失駕人員庫中的照片進行自動人臉比對，如果相似度較高，說明有可能是毒駕失駕人員，提取出來進行下一步分析。
通過查詢卡口過車記錄中車牌缺失的車輛，即可查詢到車牌被遮擋的車輛。但是光發(fā)現(xiàn)車牌被遮擋車輛還遠遠不夠，還需要找到這輛車的真正車牌。這就需要使用交通大數(shù)據的以圖搜圖功能，通過被遮擋車牌車輛的特征在所有過車記錄中搜索，找到相似度最高的車輛，提取出來進行下一步分析。
查找過車記錄中車輛是否屬于黃標車或者逾期未報廢車輛。如果屬于，提取出來進行下一步處理。
通過以上幾種手段對根據通過交通大數(shù)據平臺分析出來的嫌疑車輛進行仔細排查，確認確實違法的，通過交通大數(shù)據平臺車輛軌跡分析功能獲取嫌疑車活動規(guī)律，預先設卡，攔截并處理。
本次整治行動共分析提取了過車記錄30多億條，分析社會視頻達到30萬小時，提取了70多個子系統(tǒng)的數(shù)據。在為期為半個月的整治期內，通過交通大數(shù)據平臺發(fā)現(xiàn)毒駕、失駕司機十多人，套牌車超過八十輛，未報廢車十幾輛。相關領導對交通大數(shù)據平臺在本次整治活動中的表現(xiàn)非常滿意，并表示“本次整治行動在交通大數(shù)據平臺協(xié)助下，有效并且高效的完成了預定目標”。
四、總結
基于大數(shù)據的智慧交通存在多種可能，交通的智能化是根本的趨勢，利用大數(shù)據技術和智能分析技術，整合城市管理的其他數(shù)據，將真正推動智慧交通建設，為交通管理奠定良好的基礎。目前大數(shù)據技術主要還是應用在交警和交管部門道路，隨著交通數(shù)據的進一步聯(lián)網開放，整合停車場、鐵路、軌道交通、公交等等各種來源的數(shù)據，將可以為城市提供更為豐富的交通應用，讓道路暢通，停車位不再難找，提升城市整體運營效率。
