大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀研究

　　摘 要：大數(shù)據(jù)的產(chǎn)生給未來信息技術帶來新的機遇與挑戰(zhàn)。大數(shù)據(jù)對數(shù)據(jù)處理的有效性、實時性提出了更高要求，需要根據(jù)大數(shù)據(jù)的特點對當前數(shù)據(jù)處理技術實施變革，從而形成更有益于大數(shù)據(jù)采集、存儲、處理、管理、分析、共享的新興技術。本文從大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進行闡述與分析。

　　關鍵詞：大數(shù)據(jù) 物聯(lián)網(wǎng) 信息處理 海量計算

　　一、大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀

　　隨著物聯(lián)網(wǎng)、云計算等信息技術的飛速發(fā)展，大數(shù)據(jù)技術(Big Data)也越發(fā)進入人們的視線。大數(shù)據(jù)是用傳統(tǒng)方法或工具很難處理或分析的數(shù)據(jù)信息。目前，人們對大數(shù)據(jù)的理解還不夠全面和深入，關于大數(shù)據(jù)的含義也沒有一個統(tǒng)一的定義。亞馬遜大數(shù)據(jù)科學家John Rauser認為：大數(shù)據(jù)是超過任何一臺計算機處理能力的龐大數(shù)據(jù)量。Informatica 的中國區(qū)首席顧問但彬指出：大數(shù)據(jù)是海量數(shù)據(jù)與復雜類型的數(shù)據(jù)的結(jié)合。而維基百科則把大數(shù)據(jù)定義成諸多大而復雜的、難以用當前數(shù)據(jù)庫處理的數(shù)據(jù)集合。

　　大數(shù)據(jù)研究受到國內(nèi)外學術界和工業(yè)界的廣泛關注，已成為當今信息時代全世界討論的熱點。2008年，Nature雜志就推出大數(shù)據(jù)專刊，計算社區(qū)聯(lián)盟也在同一年發(fā)表了報告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，報告闡述了解決大數(shù)據(jù)問題所需的關鍵技術以及所面臨的挑戰(zhàn)。美國奧巴馬政府于2012年3月在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，提出了通過收集、處理海量、復雜的數(shù)據(jù)信息，從而提升能力，加快科學和工程領域的創(chuàng)新步伐，轉(zhuǎn)變學習教育模式，強化美國本土的安全”。2011年1月，微軟公司同惠普公司合作開發(fā)了一系列能夠提升生產(chǎn)力，同時提高決策速度的設備。此外，歐盟委員會也提出駕駁大數(shù)據(jù)浪潮的戰(zhàn)略思路，日本發(fā)布的《面向 2020 的 ICT綜合戰(zhàn)略》也提出需要構造大量豐富的數(shù)據(jù)基礎。

　　近年來，我國也積極開展對大數(shù)據(jù)的研究。2011年10月，工信部確認京滬深杭等 5 城市為“云計算中心”試點城市。2012年6月，中國計算機學會青年計算機科技論壇也舉辦了“大數(shù)據(jù)時代，智謀未來”學術報告研討會。大數(shù)據(jù)及其科學研究方法涉及應用領域很廣，并將與國計民生密切相關的科學決策、金融工程以及知識經(jīng)濟領域緊緊接合。

　　二、大數(shù)據(jù)的特點

　　目前，企業(yè)界和學術界都一致認為，大數(shù)據(jù)具有4個“V”特征，即：容量(Volume)、種類(Variety)、速度(Velocity)和至關重要的價值(Value)。

　　(1) 容量(Volume)巨大。海量的數(shù)據(jù)集從TB 級別提升到PB 級別。

　　(2) 種類(Variety)繁多。大數(shù)據(jù)數(shù)據(jù)源有多種，數(shù)據(jù)格式和種類不同于以前所規(guī)定的結(jié)構化數(shù)據(jù)范疇。

　　(3)價值(Value)密度低。如視頻的例子，在不間斷連續(xù)監(jiān)控的過程中，可能有意義的數(shù)據(jù)僅有一兩秒。

　　(4)速度(Velocity)快。包含大量實時、在線數(shù)據(jù)處理分析的需求1秒鐘定律。

　　三、大數(shù)據(jù)應用的領域

　　大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展將推動全球經(jīng)濟由粗放型向集約型轉(zhuǎn)變，這將對提升企

　　業(yè)整體競爭力和政府監(jiān)管能力具有意義深遠的影響。

　　商業(yè)作為大數(shù)據(jù)的重要應用領域。沃爾瑪公司通過對消費者購物行為等一

　　系列非結(jié)構化數(shù)據(jù)的分析，了解不同顧客的購物習慣，公司從所銷售的數(shù)據(jù)進行分析，從而選出適合在一起搭配出售的商品;淘寶也針對買家開設了大數(shù)據(jù)平臺，為客戶量身打造了一整套完善的網(wǎng)購體驗產(chǎn)品。

　　大數(shù)據(jù)在金融業(yè)也起到了至關重要的作用。美國Equifax公司利用大數(shù)據(jù)技術，通過對其的數(shù)據(jù)庫中與財務有關的記錄海量信息進行索引處理和交叉分享，從而得到客戶的個人信用等級，以推斷出客戶的支付需求與能力。

　　隨著大數(shù)據(jù)在醫(yī)療與生命科學研究過程中的廣泛應用和不斷擴展。2010年，中國公布的《十二五規(guī)劃》指出：要重點建設國家級、省級和地市級三級醫(yī)療衛(wèi)生信息平臺，建設電子病歷和電子檔案兩個最為基礎的數(shù)據(jù)庫。各級醫(yī)院也將在醫(yī)療信息倉庫、數(shù)據(jù)中心等領域加大投入，醫(yī)療數(shù)據(jù)信息的存儲將愈加被關注，醫(yī)療信息中心的關注焦點也將由傳統(tǒng)的計算領域轉(zhuǎn)為存儲領域。

　　除此之外，大數(shù)據(jù)在制造業(yè)領域也有著廣闊的應用。制造業(yè)企業(yè)積累了廣泛的數(shù)據(jù)信息，在開展對業(yè)務數(shù)據(jù)進行技術管理的同時，企業(yè)需要通過大數(shù)據(jù)處理技術來幫助決策者從數(shù)據(jù)庫儲存的海量信息中找到有價值的信息，并且對其進行分析處理，從而增強決策的正確性、規(guī)避風險。

　　四、大數(shù)據(jù)所面臨的挑戰(zhàn)

　　大數(shù)據(jù)技術使人們能夠更好地利用之前不能使用的各個數(shù)據(jù)類型，找出被忽略的信息，促進企業(yè)組織更加高效、智能。但隨著對大數(shù)據(jù)研究的不斷深入，人們也更加意識到當大數(shù)據(jù)技術向人們敞開“方便之門”的同時，也帶來了眾多的挑戰(zhàn)：

　　(1)大數(shù)據(jù)需要更為專業(yè)化的管理技術人才。

　　(2) 大數(shù)據(jù)的合理利用需要解決容量大、類別多和時效性高的數(shù)據(jù)處理問題。

　　(3)大數(shù)據(jù)的利用對信息安全提出了更高要求。

　　(4)大數(shù)據(jù)的集成與管理問題。

　　這些挑戰(zhàn)已成為關系到未來大數(shù)據(jù)發(fā)展的重要因素，同時也成為未來引領大數(shù)據(jù)發(fā)展的推動力。

　　五、結(jié)束語

　　大數(shù)據(jù)已經(jīng)逐步滲透到人們工作生活的諸多領域中，對于大數(shù)據(jù)的研究也在不斷的深化。本文針對大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進行闡述與分析。大數(shù)據(jù)的發(fā)展還處于初級階段，還有更為廣闊的空間需要人們不斷開拓，如何合理地利用大數(shù)據(jù)、更加高效地處理大數(shù)據(jù)來為人們服務仍需要廣大研究者不斷地研究和探索。

　　參考文獻：

　　[1]劉智慧，張泉靈.大數(shù)據(jù)技術研究綜述[J].浙江大學學報，2014，46(6)：957- 972.

　　[2]嚴霄鳳，張德馨.大數(shù)據(jù)研究[J].計算機技術與發(fā)展，2013，23(4)：168-172.

　　[3]劉俊.基于大數(shù)據(jù)流的Multi-Agent系統(tǒng)模型研究[J].計算機技術與發(fā)展， 2007，17(5)：166-169.