移動(dòng)通信網(wǎng)絡(luò)中大數(shù)據(jù)處理關(guān)鍵技術(shù)研究論文
摘要：社會(huì)的發(fā)展以及人們生活水平的提升使得移動(dòng)通信網(wǎng)絡(luò)的應(yīng)用范圍得以大范圍推廣，并且伴隨著社會(huì)對(duì)移動(dòng)通信網(wǎng)絡(luò)需求的增強(qiáng)，大數(shù)據(jù)處理技術(shù)的應(yīng)用就應(yīng)運(yùn)而生了，本文就此展開(kāi)論述。
關(guān)鍵詞：移動(dòng)通信網(wǎng)絡(luò)；大數(shù)據(jù)處理；技術(shù)分析
伴隨著我國(guó)綜合國(guó)力的增強(qiáng)，科技水平也得到了進(jìn)一步增強(qiáng)。計(jì)算機(jī)技術(shù)作為新時(shí)代的重要基礎(chǔ)技術(shù)，其應(yīng)用范圍的擴(kuò)大，在一定程度上促進(jìn)了信息技術(shù)的騰飛發(fā)展。伴隨著日漸龐雜的數(shù)據(jù)規(guī)模，使得大數(shù)據(jù)處理技術(shù)應(yīng)時(shí)代而生。同時(shí)移動(dòng)通信網(wǎng)絡(luò)技術(shù)的發(fā)展，極大的方便了人們的工作和生活。為了滿足人們?nèi)找嬖鲩L(zhǎng)的通信需求，移動(dòng)通信網(wǎng)絡(luò)也需要具備更加有力的數(shù)據(jù)處理能力和處理速度。
1大數(shù)據(jù)技術(shù)概述
現(xiàn)階段，我國(guó)數(shù)據(jù)的發(fā)展主要包括以下幾個(gè)階段：第一，被動(dòng)產(chǎn)生階段。伴隨著數(shù)據(jù)庫(kù)的出現(xiàn)，其在規(guī)范社會(huì)數(shù)據(jù)方面意義深遠(yuǎn)。不過(guò)該階段數(shù)據(jù)庫(kù)的作用相對(duì)較為被動(dòng)，其服務(wù)的對(duì)象主要為政府、大型企業(yè)等，諸如銀行以及超市等主要進(jìn)行經(jīng)營(yíng)活動(dòng)而產(chǎn)生的數(shù)據(jù)交易記錄；第二，主動(dòng)產(chǎn)生階段。伴隨著互聯(lián)網(wǎng)技術(shù)的騰飛發(fā)展，社會(huì)經(jīng)濟(jì)活動(dòng)日漸頻繁，相應(yīng)的也會(huì)產(chǎn)生大量的數(shù)據(jù)信息。同時(shí)在這大量的數(shù)據(jù)信息中包含著大量的用戶原創(chuàng)性信息內(nèi)容，其主要借助QQ日志、微博、博客以及微信等方式發(fā)布到網(wǎng)絡(luò)上。此外智能化電子產(chǎn)品的`誕生，為人們發(fā)布這些原創(chuàng)信息提供了便利。因此，該階段所產(chǎn)生的數(shù)據(jù)信息量不僅數(shù)量巨大，且多是主動(dòng)產(chǎn)生的。第三，自動(dòng)產(chǎn)生階段。隨著大數(shù)據(jù)時(shí)代的到來(lái)，使得數(shù)據(jù)開(kāi)始進(jìn)行自動(dòng)產(chǎn)生。主要原因在于移動(dòng)通信網(wǎng)絡(luò)和物聯(lián)網(wǎng)之間得到了有效融合，從而推動(dòng)數(shù)據(jù)自動(dòng)產(chǎn)生，并直接推動(dòng)者大數(shù)據(jù)時(shí)代的到來(lái)。大數(shù)據(jù)技術(shù)主要具備如下幾個(gè)特點(diǎn)：第一，需要處理規(guī)模相對(duì)較大的數(shù)據(jù)。大數(shù)據(jù)技術(shù)通常需要處理PB級(jí)甚至是EB級(jí)的數(shù)據(jù)量。第二，數(shù)據(jù)非結(jié)構(gòu)化。在大數(shù)據(jù)時(shí)代，非結(jié)構(gòu)化的數(shù)據(jù)迅速增加，高達(dá)數(shù)據(jù)總量的80%左右。第三，多源異構(gòu)。由于基于物聯(lián)網(wǎng)環(huán)境下，大數(shù)據(jù)多運(yùn)用傳感器、移動(dòng)設(shè)備等異構(gòu)終端來(lái)進(jìn)行數(shù)據(jù)的采集，這樣很容易導(dǎo)致數(shù)據(jù)出現(xiàn)多源異構(gòu)特點(diǎn)。第四，數(shù)據(jù)處理的實(shí)時(shí)性。生活節(jié)奏的變快使得人們需要快速處理各種信息數(shù)據(jù)，因此在線實(shí)時(shí)處理數(shù)據(jù)則是大數(shù)據(jù)時(shí)代的另一重要特點(diǎn)。
2大數(shù)據(jù)處理的關(guān)鍵技術(shù)
在移動(dòng)通信網(wǎng)絡(luò)中，尤其是物聯(lián)網(wǎng)中，很多終端設(shè)備都是處在無(wú)人監(jiān)控狀態(tài)下，加之這些終端設(shè)備所處環(huán)境大多較為惡劣，因此在物聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)采集時(shí)，往往會(huì)出現(xiàn)很多錯(cuò)誤，因而收集到的原始數(shù)據(jù)就缺乏可靠性，譬如采集的一些數(shù)據(jù)會(huì)和實(shí)際產(chǎn)生一定誤差，一些數(shù)據(jù)收集不完整，又或者是一些數(shù)據(jù)是無(wú)關(guān)多余的。因此，這就需要通過(guò)各種方式來(lái)提取所需的數(shù)據(jù)。就當(dāng)前來(lái)看，有許多數(shù)據(jù)清洗技術(shù)，然而這些數(shù)據(jù)只適用于較強(qiáng)結(jié)構(gòu)化的數(shù)據(jù)，大數(shù)據(jù)又是非結(jié)構(gòu)性，因而并不能起到很好的作用。
而且利用該技術(shù)也無(wú)法處理大量數(shù)據(jù)，這就難以體現(xiàn)大數(shù)據(jù)的實(shí)時(shí)性。因此，在大數(shù)據(jù)清洗技術(shù)的研究方面還需要進(jìn)一步研究。大數(shù)據(jù)有非常多的來(lái)源，將收集到的各方數(shù)據(jù)融合在一起對(duì)于數(shù)據(jù)分析相當(dāng)重要。數(shù)據(jù)融合就是收集到的數(shù)據(jù)源是不一樣的，這些數(shù)據(jù)要通過(guò)不同表象來(lái)表達(dá)實(shí)體，這就需要將數(shù)據(jù)轉(zhuǎn)換成為對(duì)同一個(gè)表象的表達(dá)，減少相關(guān)數(shù)據(jù)產(chǎn)生沖突的過(guò)程。在移動(dòng)通信網(wǎng)絡(luò)當(dāng)中，數(shù)據(jù)的多源性比較普遍，因而對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一十分必要，讓各數(shù)據(jù)之間產(chǎn)生關(guān)聯(lián)。這就要使結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)發(fā)生關(guān)聯(lián)，再以數(shù)據(jù)融合來(lái)提取關(guān)鍵數(shù)據(jù)。經(jīng)過(guò)一系列處理之后，就要分析所獲得的大數(shù)據(jù)，并挖掘出新的數(shù)據(jù)。要將移動(dòng)通信網(wǎng)絡(luò)中的大數(shù)據(jù)分析和挖掘出來(lái)就要從數(shù)據(jù)表示和存儲(chǔ)兩個(gè)方面給予充分考慮
。其中，要借助先進(jìn)的挖掘工具，并改善數(shù)據(jù)開(kāi)發(fā)環(huán)境。另外一項(xiàng)大數(shù)據(jù)處理關(guān)鍵技術(shù)是利用可視化來(lái)進(jìn)行數(shù)據(jù)分析。眾所周知，移動(dòng)通信網(wǎng)絡(luò)有著十分龐大的數(shù)據(jù)量，其挖掘結(jié)果也是大數(shù)據(jù)，通過(guò)可視化分析這些大數(shù)據(jù)可以讓人們對(duì)這些數(shù)據(jù)更加容易的理解，進(jìn)而更深入來(lái)分析這些數(shù)據(jù)；并且對(duì)數(shù)據(jù)進(jìn)行可視化分析，能夠促進(jìn)人機(jī)交互的開(kāi)展，利用人機(jī)交互來(lái)處理大數(shù)據(jù)可極大的提升數(shù)據(jù)處理能力和工作效率。當(dāng)然，移動(dòng)通信網(wǎng)絡(luò)當(dāng)中大數(shù)據(jù)的處理不僅僅局限于上述挑戰(zhàn)，安全問(wèn)題也是大數(shù)據(jù)處理所面臨的重要問(wèn)題，因此需加強(qiáng)數(shù)據(jù)管理，不斷提升數(shù)據(jù)處理技術(shù)水平，最終實(shí)現(xiàn)大數(shù)據(jù)有效管理。
3云計(jì)算
經(jīng)分析可以看出，移動(dòng)通信網(wǎng)絡(luò)大數(shù)據(jù)處理有兩大趨勢(shì)，主要是數(shù)據(jù)量驟增以及分析深度加劇。這對(duì)于移動(dòng)通信網(wǎng)絡(luò)大數(shù)據(jù)的處理來(lái)講無(wú)疑是一大挑戰(zhàn)。而云計(jì)算的出現(xiàn)則讓移動(dòng)通信網(wǎng)絡(luò)大數(shù)據(jù)處理有了新的思路。2004年，Google就提出了MapReduce技術(shù)來(lái)作為處理大數(shù)據(jù)分析和處理的計(jì)算模型，此舉一出立刻引起了廣泛關(guān)注。MapReduce技術(shù)包含了三個(gè)層面，即分布式文件系統(tǒng)、并行編程模型以及并行執(zhí)行引擎。MapReduce技術(shù)的出現(xiàn)引起了各方面關(guān)注，而在運(yùn)行中，慢慢發(fā)現(xiàn)其很多不足之處，譬如不支持Schema、沒(méi)有存取優(yōu)化以及依靠蠻力來(lái)處理數(shù)據(jù)等等。針對(duì)MapReduce當(dāng)中的不足，研究人員進(jìn)行了深入研究，對(duì)其性能進(jìn)行了相應(yīng)提升，并對(duì)易用性進(jìn)行了一定的改進(jìn)，經(jīng)過(guò)實(shí)踐證明，MapReduce是分析和處理大數(shù)據(jù)的一種有效工具，但是在進(jìn)行大數(shù)據(jù)處理過(guò)程中，MapReduce依舊有著缺陷和不足。就大數(shù)據(jù)處理模式角度而言，流處理和批處理是其中最為重要的模式。MapReduce只可以運(yùn)用批處理模式來(lái)處理大數(shù)據(jù)。然而實(shí)際狀況是，眾多的社交網(wǎng)站和電子商務(wù)均需要進(jìn)行在線處理，而MapRe-duce卻只能愛(ài)莫能助。綜上，移動(dòng)通信網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量不斷增多，這些數(shù)據(jù)為社會(huì)帶來(lái)了便利，然而也面臨著大量數(shù)據(jù)要處理的現(xiàn)實(shí)問(wèn)題。對(duì)此應(yīng)用大數(shù)據(jù)處理關(guān)鍵技術(shù)來(lái)解決越來(lái)越多的數(shù)據(jù)難題，盡管還存在一些不足，但相信在科技的發(fā)展下這種情況會(huì)得到有效改善。
參考文獻(xiàn)：
[1]冷宇,張小麗.基于云計(jì)算的移動(dòng)通信4G網(wǎng)絡(luò)優(yōu)化探討[J].電腦迷,2016（4）:166
[2]鄭彤,崔景伍,鄭夢(mèng)婷.D2D通信中大數(shù)據(jù)處理關(guān)鍵技術(shù)分析與展望[J].移動(dòng)通信,2016（7）:37-40
[3]蔣曉鵬.移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中大數(shù)據(jù)技術(shù)的運(yùn)用分析[J].電子技術(shù)與軟件工程,2016（12）:170
【移動(dòng)通信網(wǎng)絡(luò)中大數(shù)據(jù)處理關(guān)鍵技術(shù)研究論文】相關(guān)文章：
移動(dòng)通信系統(tǒng)中切換技術(shù)研究論文01-23
綠色移動(dòng)信息通信技術(shù)研究論文01-23
淺析移動(dòng)通信網(wǎng)絡(luò)優(yōu)化論文01-23
數(shù)字城管數(shù)據(jù)處理的關(guān)鍵技術(shù)研究07-08
移動(dòng)通信網(wǎng)絡(luò)虛擬化探析論文01-22
移動(dòng)通信網(wǎng)絡(luò)定位技術(shù)及應(yīng)用論文01-21
4G移動(dòng)通信關(guān)鍵技術(shù)探析論文01-22