伴隨著經(jīng)濟(jì)增長(zhǎng)和城市化進(jìn)程的加快，新的城市交通基礎(chǔ)設(shè)施不斷興建，車流量快速增長(zhǎng)，相應(yīng)的智能交通綜合系統(tǒng)也需一再擴(kuò)容。在監(jiān)控系統(tǒng)越來(lái)越龐大、監(jiān)控信息越來(lái)越多的情況下，單純依賴有限的交管人力資源或是在原有的系統(tǒng)基礎(chǔ)之上做擴(kuò)充來(lái)實(shí)現(xiàn)，幾乎是不可能的事情。為了應(yīng)對(duì)當(dāng)前經(jīng)濟(jì)迅速增長(zhǎng)和城市化進(jìn)程加快過(guò)程中所凸顯出的道路擁堵、交通事故頻發(fā)、突發(fā)案件增多等狀況，借助于更便捷、更智能的科技手段，來(lái)加強(qiáng)安全防范和交通管理就顯得至關(guān)重要。

交通領(lǐng)域引進(jìn)海量數(shù)據(jù)處理技術(shù)

針對(duì)交通行業(yè)的海量數(shù)據(jù)處理需求，北京博瑞凱誠(chéng)等一批專注于智能交通領(lǐng)域的高科技企業(yè)紛紛利用當(dāng)今最前沿的智能視頻技術(shù)，設(shè)計(jì)研制了智能交通綜合管理系統(tǒng)，解決了交通行業(yè)目前面臨的數(shù)據(jù)處理難題。本公司設(shè)計(jì)的智能交通管理系統(tǒng)可以在海量數(shù)據(jù)、惡劣網(wǎng)絡(luò)環(huán)境和復(fù)雜業(yè)務(wù)處理情況下，實(shí)現(xiàn)大量圖片、車輛數(shù)據(jù)、視頻數(shù)據(jù)的時(shí)時(shí)網(wǎng)絡(luò)傳輸和快速持久化存儲(chǔ)，同時(shí)對(duì)任意站點(diǎn)的圖像進(jìn)行顯示，對(duì)任意站點(diǎn)的視頻進(jìn)行流暢播放、實(shí)時(shí)進(jìn)行比對(duì)報(bào)警，快速進(jìn)行多條件檢索，并且將各類多媒體數(shù)據(jù)和車輛數(shù)據(jù)合二為一。系統(tǒng)實(shí)現(xiàn)對(duì)目前的城市道路交通中異常行為的智能識(shí)別和自動(dòng)報(bào)警等，從而減輕了交管監(jiān)控人員的工作負(fù)擔(dān)，提高了監(jiān)測(cè)的準(zhǔn)確度，使得交通管理工作更高效。

下面以博瑞凱誠(chéng)智能交通管理系統(tǒng)（以下統(tǒng)稱“博瑞系統(tǒng)”）為例，介紹和分析海量數(shù)據(jù)處理技術(shù)在智能交通綜合管理系統(tǒng)上的應(yīng)用。

博瑞系統(tǒng)設(shè)計(jì)應(yīng)用

1、總體設(shè)計(jì)及其優(yōu)點(diǎn)

博瑞系統(tǒng)充分發(fā)揮了前端攝像機(jī)的潛力，同時(shí)通過(guò)提高傳統(tǒng)以太網(wǎng)的使用效率，實(shí)現(xiàn)了前端攝像機(jī)的功能多樣化，同時(shí)提高了大量并發(fā)的視頻和圖片數(shù)據(jù)的傳輸和存儲(chǔ)效率。

（1）提高前端設(shè)備在線率，通過(guò)改進(jìn)前端設(shè)備的硬件軟件，提高了設(shè)備的可靠性，豐富前端設(shè)備的功能，前端攝像機(jī)除了具備視頻采集功能外，具備了車輛號(hào)牌識(shí)別，車型識(shí)別，車輛顏色識(shí)別，車輛超速檢測(cè)，視頻和圖片長(zhǎng)時(shí)間存儲(chǔ)的功能。

（2）提高網(wǎng)絡(luò)傳輸?shù)男?，解決網(wǎng)絡(luò)傳輸瓶頸，傳統(tǒng)的以太網(wǎng)存在網(wǎng)絡(luò)帶寬利用率低的弊病，通過(guò)改進(jìn)，使的網(wǎng)絡(luò)傳輸發(fā)生了本質(zhì)的提升，保證時(shí)時(shí)的視頻和圖片傳輸，避免交通高峰期帶來(lái)的信息堆積和網(wǎng)絡(luò)阻塞問(wèn)題。

（3）使用分布式數(shù)據(jù)存儲(chǔ)，增加存儲(chǔ)容量，提高存儲(chǔ)性能，通過(guò)使用分布式存儲(chǔ)，加快了存儲(chǔ)的速度，有效避免了存儲(chǔ)瓶頸帶來(lái)的存儲(chǔ)壓力，配合快速的網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)了數(shù)據(jù)的最短時(shí)間持久化。

（4）平臺(tái)數(shù)據(jù)分流，使用分布式的存儲(chǔ)理念和分布式數(shù)據(jù)庫(kù)，加快數(shù)據(jù)庫(kù)的反應(yīng)速度，避免了海量數(shù)據(jù)過(guò)度集中帶來(lái)的一系列數(shù)據(jù)庫(kù)問(wèn)題。提高后端各個(gè)服務(wù)的反應(yīng)速度，進(jìn)而提升了整體平臺(tái)的反應(yīng)速度和用戶的使用體驗(yàn)。

（1）通過(guò)有效提高前端設(shè)備的各方面性能，增加更多的識(shí)別功能，增加數(shù)據(jù)庫(kù)記錄功能，實(shí)際上有效降低了用戶的采購(gòu)成本，一個(gè)設(shè)備實(shí)現(xiàn)了多項(xiàng)功能，有效降低了平臺(tái)的數(shù)量，降低了一系列的采購(gòu)、維護(hù)、運(yùn)行和后續(xù)的成本。

（2）通過(guò)提高現(xiàn)有網(wǎng)絡(luò)設(shè)備的傳輸效率，在現(xiàn)有網(wǎng)絡(luò)上實(shí)現(xiàn)快速傳輸，解決網(wǎng)絡(luò)瓶頸，能夠帶來(lái)更加快速的應(yīng)用體驗(yàn)，提高整體基礎(chǔ)數(shù)據(jù)的服務(wù)質(zhì)量。

（3）通過(guò)使用分布式存儲(chǔ)代替現(xiàn)有的中心節(jié)點(diǎn)存儲(chǔ)，分散存儲(chǔ)壓力，分散了數(shù)據(jù)風(fēng)險(xiǎn)，帶來(lái)的優(yōu)勢(shì)是延長(zhǎng)了數(shù)據(jù)的保存時(shí)間，減小了數(shù)據(jù)丟失的風(fēng)險(xiǎn)，提高了每一個(gè)關(guān)鍵數(shù)據(jù)的訪問(wèn)速度。

（4）通過(guò)使用新的數(shù)據(jù)庫(kù)Hbase1和嵌入式數(shù)據(jù)庫(kù)SDB，通過(guò)分布式數(shù)據(jù)庫(kù)，分流平臺(tái)數(shù)據(jù)，提高數(shù)據(jù)庫(kù)系統(tǒng)的性能，同時(shí)也提高了所有應(yīng)用的服務(wù)質(zhì)量，提供給用戶更加快捷的應(yīng)用體驗(yàn)，提高工作效率和服務(wù)水準(zhǔn)。

2、應(yīng)用實(shí)現(xiàn)

（1）增加前端設(shè)備的功能提高前端設(shè)備穩(wěn)定性。

由普清到高清的轉(zhuǎn)變過(guò)程中，大數(shù)據(jù)量的存儲(chǔ)是智能交通行業(yè)普遍面臨的難題。博瑞凱誠(chéng)最新研制推出的新一代嵌入式高清智能相機(jī)，采用一體化設(shè)計(jì)模式，在每一個(gè)相機(jī)里面配置1T硬盤，用于存儲(chǔ)數(shù)據(jù)。前端機(jī)配置大硬盤解決存儲(chǔ)問(wèn)題，不僅保證了數(shù)據(jù)的安全性同時(shí)保證了數(shù)據(jù)調(diào)取的高效性。

（2）在網(wǎng)絡(luò)傳輸算法中使用基于DNA包的網(wǎng)絡(luò)傳輸算法解決網(wǎng)絡(luò)瓶頸。

基于DNA包的網(wǎng)絡(luò)傳輸算法的優(yōu)勢(shì)：解決了基于傳統(tǒng)網(wǎng)絡(luò)帶寬占用(利用率)低的問(wèn)題。傳統(tǒng)TCP采用了反復(fù)連接、慢啟動(dòng)、動(dòng)態(tài)滑動(dòng)窗口、定時(shí)重傳、擁塞控制等技術(shù)以確保數(shù)據(jù)的可靠傳輸，但卻嚴(yán)重降低了帶寬的利用率和傳輸效率。對(duì)此，提出了基于DNA包傳輸算法，采用先進(jìn)的傳輸機(jī)制，極大地提高了網(wǎng)絡(luò)帶寬利用率和傳輸效率。

博瑞系統(tǒng)改進(jìn)了傳統(tǒng)TCP的Karn算法，引入了針對(duì)網(wǎng)絡(luò)數(shù)據(jù)的快速發(fā)送機(jī)制。獨(dú)特的網(wǎng)絡(luò)擁塞自動(dòng)調(diào)節(jié)。有時(shí)網(wǎng)絡(luò)會(huì)很忙，因?yàn)樗l(fā)送大量的數(shù)據(jù)包，網(wǎng)絡(luò)設(shè)備會(huì)因?yàn)榻邮蘸吞幚泶罅康臄?shù)據(jù)包而超負(fù)荷工作，通過(guò)DNA信令包進(jìn)行設(shè)備間的命令傳遞，網(wǎng)絡(luò)設(shè)備以此為依據(jù)，采用高效的擁塞自動(dòng)調(diào)節(jié)技術(shù)避免網(wǎng)絡(luò)擁塞。

（3）分布式存儲(chǔ)分擔(dān)中心存儲(chǔ)壓力、分布式數(shù)據(jù)庫(kù)分流中心數(shù)據(jù)。

中心存儲(chǔ)設(shè)備和分局存儲(chǔ)設(shè)備采用分布式微服務(wù)器。由公司自主研發(fā)獨(dú)創(chuàng)推出的分布式微服務(wù)器（見(jiàn)圖2），打破了目前整個(gè)業(yè)界普遍采用的高端服務(wù)器外掛磁盤陣列的架構(gòu)模式，該服務(wù)器是將原來(lái)的大數(shù)據(jù)集中式處理，拆分成小模塊單獨(dú)處理，大大提高了數(shù)據(jù)調(diào)取和業(yè)務(wù)處理的效率，利用該服務(wù)器可以實(shí)現(xiàn)真正意義上的分布式。另外其體積小，存放方便；成本低，在原來(lái)高端服務(wù)器外掛磁盤陣列的架構(gòu)模式上至少可降低30%的采購(gòu)成本；外觀簡(jiǎn)單，無(wú)需外掛存儲(chǔ)等設(shè)備。

中心數(shù)據(jù)庫(kù)Hbase1和SDB。圖片數(shù)據(jù)的增加，使傳統(tǒng)的單一服務(wù)器和高性能服務(wù)器方案，不能同時(shí)滿足高速讀，高速寫，高速檢索的要求，原因是由于單一服務(wù)器的磁盤io和cpu內(nèi)存資源，相對(duì)存在極限，即使是強(qiáng)悍的服務(wù)器配置，仍然存在性能方面的極限，并且該極限無(wú)法變動(dòng)。海量數(shù)據(jù)庫(kù)使用分布式理念處理海量數(shù)據(jù)，分布式的核心思想是把一個(gè)巨大的問(wèn)題拆分成若干小型問(wèn)題，拆分完成后同時(shí)在不同計(jì)算機(jī)上處理各個(gè)小型問(wèn)題，最終完成大型問(wèn)題的計(jì)算。圖片數(shù)據(jù)存儲(chǔ)和圖片數(shù)據(jù)檢索符合分布式處理的原則，能夠使用分布式思想解決。

新數(shù)據(jù)庫(kù)方案中心使用Hbase1作為中心數(shù)據(jù)庫(kù)，使用前端設(shè)備嵌入式數(shù)據(jù)庫(kù)SDB(smalldatabase)作為備用檢索數(shù)據(jù)庫(kù)，通過(guò)分布式的讀寫和檢索，滿足高速讀、寫、檢索的需求，有效降低系統(tǒng)的整體負(fù)擔(dān)。

Hbase1針對(duì)過(guò)億條目的數(shù)據(jù)庫(kù)，進(jìn)行分布式計(jì)算處理，分布式計(jì)算(云計(jì)算)有效的提高數(shù)據(jù)的安全性和數(shù)據(jù)的檢索速度，云計(jì)算的第一原則要求：可以進(jìn)行云計(jì)算的問(wèn)題必須是可以并行處理的，Hbase1的基礎(chǔ)是Hbase+hadoop+HDFS以及map_reduce模型，該架構(gòu)完全支持并行處理，使用Hbase1分布式的處理問(wèn)題，將大型的問(wèn)題拆分成并行處理的小問(wèn)題，將海量圖片數(shù)據(jù)的搜索，轉(zhuǎn)變成大量的子搜索處理，提高圖片數(shù)據(jù)庫(kù)的處理速度。

SDB是基于嵌入式系統(tǒng)的小型專用數(shù)據(jù)庫(kù)，前端設(shè)備具備存儲(chǔ)和計(jì)算能力，前端設(shè)備進(jìn)行數(shù)據(jù)檢索，能有效利用前端設(shè)備剩余資源。基于該原則，我們?cè)谇岸嗽O(shè)備中植入嵌入式的數(shù)據(jù)庫(kù)系統(tǒng)SDB，SDB系統(tǒng)提供自身存儲(chǔ)的數(shù)據(jù)查詢，SDB查詢速度快，不消耗中心資源。

SDB是基于嵌入式系統(tǒng)的小型專用數(shù)據(jù)庫(kù)，前端設(shè)備具備存儲(chǔ)和計(jì)算能力，前端設(shè)備進(jìn)行數(shù)據(jù)檢索，能有效利用前端設(shè)備剩余資源?；谠撛瓌t，我們?cè)谇岸嗽O(shè)備中植入嵌入式的數(shù)據(jù)庫(kù)系統(tǒng)SDB，SDB系統(tǒng)提供自身存儲(chǔ)的數(shù)據(jù)查詢，SDB查詢速度快，不消耗中心資源。