第一篇：bloomberg數(shù)據(jù)供應(yīng)情況報告

? 彭博API概述：

彭博api為開發(fā)人員提供全天候的編程訪問數(shù)據(jù)來自彭博社的數(shù)據(jù)中心客戶應(yīng)用程序使用。彭博api，您可以集成流實時和延遲數(shù)據(jù)，參考數(shù)據(jù)，歷史數(shù)據(jù)，盤中的數(shù)據(jù)，彭博派生數(shù)據(jù)導(dǎo)入自定義和第三方應(yīng)用程序。

您可以選擇您需要的數(shù)據(jù)單獨的字段級別。

彭博api支持運行時可下載的架構(gòu)提供的服務(wù)和提供方法來查詢這些架構(gòu)在運行時。這意味著彭博api可以支持其他服務(wù)沒有增加接口。

這也使得編寫服務(wù)能適應(yīng)變化的應(yīng)用程序或全新的服務(wù)簡單。

彭博api對象模型包含少量的關(guān)鍵應(yīng)用程序使用的對象請求，接收和解釋數(shù)據(jù)。應(yīng)用程序創(chuàng)建會話對象來管理其與彭博基礎(chǔ)設(shè)施的連接。某些應(yīng)用程序可能選擇創(chuàng)建多個會話對象為冗余。

使用會話對象，應(yīng)用程序創(chuàng)建一個服務(wù)對象，然后"打開'，它將使用每個彭博服務(wù)。例如，彭博提供的流媒體市場數(shù)據(jù)和引用數(shù)據(jù)服務(wù)。

有兩種編程范式可以使用的服務(wù)對象。

通過請求數(shù)據(jù)的對象或客戶端可以開始通過訂閱管理對象與該服務(wù)進行數(shù)據(jù)更新的訂閱的客戶端可以進行單獨的請求。

根據(jù)所使用的服務(wù)，客戶可以編寫處理中的應(yīng)用范例。

使用哪種范式或范式，彭博基礎(chǔ)設(shè)施答復(fù)郵件與客戶端接收到該客戶端必須處理異步事件對象的事件。

以編程方式，客戶應(yīng)用事件的對象獲取會話，然后從這些事件對象的一個或多個包含彭博社的消息對象的提取物.? 支持的調(diào)用方式：

RequestResponseParadigm 同步調(diào)用機制下的方式.請求響應(yīng)方式,在請求/響應(yīng)消息傳送模式中，一方發(fā)送一個請求消息，接收方將返回一個響應(yīng)消息。請求/響應(yīng)處理的兩個典型示例是瀏覽器使用 HTTP 適配器與 Web 服務(wù)器進行交互，以及使用簡單對象訪問協(xié)議(SOAP)適配器進行 Web Services 處理。Subscription Paradigm 多線程的委托實現(xiàn)訂閱.訂閱發(fā)布模式定義了一種一對多的依賴關(guān)系，讓多個訂閱者對象同時監(jiān)聽某一個主題對象。這個主題對象在自身狀態(tài)變化時，會通知所有訂閱者對象，使它們能夠自動更新自己的狀態(tài)。Asynchronous Event Handling 異步方式調(diào)用,線程不用等待直接繼續(xù)執(zhí)行任務(wù).如果想檢索消息但不阻礙應(yīng)用程序的處理，可異步檢索消息。在異步消息處理中，啟動任務(wù)的方法被立即返回而不等待結(jié)果。應(yīng)用程序可以在任務(wù)完成過程中繼續(xù)它原來的工作。任務(wù)完成時，服務(wù)器可以通知應(yīng)用程序消息已被成功處理。

Request Response Multiple 同步調(diào)用請求響應(yīng)的多種方式組合使用.Subscription Multiple 訂閱多組合消息的方式.? 返回結(jié)果數(shù)據(jù)類型及結(jié)構(gòu)：

EventType: SUBSCRIPTION_DATA messageType: MarketDataEvents { LAST_PRICE = 90.89 BID = 90.88 ASK = 90.9 VOLUME = 14304168 HIGH = 93.62 LOW = 90.6 BEST_BID = 90.88 BEST_ASK = 90.9 LAST_TRADE = 90.89 OPEN = 92.6 PREV_SES_LAST_PRICE = 93 INDICATIVE_FAR = 92.62 INDICATIVE_NEAR = 92.62 IMBALANCE_BID = 92.6 VWAP = 91.9119 LAST_ALL_SESSIONS = 90.89 IMBALANCE_INDIC_RT = BUY BID_ALL_SESSION = 90.88 ASK_ALL_SESSION = 90.9 TRADING_DT_REALTIME = 2009-01-30+00:00 EQY_TURNOVER_REALTIME = 1294308731.96565 LAST_UPDATE_BID_RT = 18:45:46.000+00:00 LAST_UPDATE_ASK_RT = 18:45:46.000+00:00 TOT_CALL_VOLUME_CUR_DAY_RT = 12783 TOT_PUT_VOLUME_CUR_DAY_RT = 17211 TOT_OPT_VOLUME_CUR_DAY_RT = 29994 PUT_CALL_VOLUME_RATIO_CUR_DAY_RT = 1 IN_AUCTION_RT = false RT_API_MACHINE = p060 ALL_PRICE_SIZE = 100 ALL_PRICE = 90.89 BID_ASK_TIME = 18:45:46.000+00:00 LAST_AT_TRADE_TDY = 0 SIZE_LAST_AT_TRADE_TDY = 0 OPEN_YLD_TDY = 0 HIGH_YLD_TDY = 0 LOW_YLD_TDY = 0 LAST_YLD_TDY = 0 MID_TDY = 0 SIZE_LAST_TRADE_TDY = 100 SES_START = 14:30:00.000+00:00 SES_END = 21:30:00.000+00:00 RT_PX_CHG_NET_1D =-2.11 RT_PX_CHG_PCT_1D =-2.26882 IND_BID_FLAG = false IND_ASK_FLAG = false OPEN_TDY = 92.6 ASK_SIZE_TDY = 19 BID_SIZE_TDY = 5 VOLUME_TDY = 14304168 LAST_PRICE_TDY = 90.89 BID_TDY = 90.88 ASK_TDY = 90.9 HIGH_TDY = 93.62 LOW_TDY = 90.6 BID_YLD_TDY = 0 ASK_YLD_TDY = 0 LAST2_PRICE = 90.89 LAST_DIR = 1 LAST2_DIR = 1 BID_DIR =-1 ASK_DIR = 1 BID2 = 90.88 ASK2 = 90.9 SIZE_LAST_TRADE = 100 ASK_SIZE = 19 BID_SIZE = 5 TIME = 18:45:45.000+00:00 API_MACHINE = p060 TRADE_SIZE_ALL_SESSIONS_RT = 100 EID = 14005 IS_DELAYED_STREAM = false }

EventType=SESSION_STATUS messageType=SessionStarted SessionStarted = { }

EventType=SERVICE_STATUS messageType=ServiceOpened ServiceOpened = { }

第二篇：45899_造價員應(yīng)掌握的數(shù)據(jù)

造價員應(yīng)掌握的數(shù)據(jù)

一、普通住宅建筑混凝土用量和用鋼量：

1、多層砌體住宅： 鋼筋30KG/m2、砼0.3—0.33m3/m2

2、多層框架： 鋼筋38—42KG/m2、砼0.33—0.35m3/m2

3、小高層11—12層 ：鋼筋50—52KG/m2、砼0.35m3/m2

4、高層17—18層 ：鋼筋54—60KG/m2、砼0.36m3/m2

5、高層30層H=94米 ：鋼筋65—75KG/m2、砼0.42—0.47m3/m2

6、高層酒店式公寓28層H=90米： 鋼筋65—70KG/m2、砼0.38—0.42m3/m2

7、別墅混凝土用量和用鋼量介于多層砌體住宅和高層11—12層之間

以上數(shù)據(jù)按抗震7度區(qū)規(guī)則結(jié)構(gòu)設(shè)計.二、普通多層住宅樓施工預(yù)算經(jīng)濟指標(biāo)

1、室外門窗（不包括單元門、防盜門）面積占建筑面積0.36—0.4

2、模版面積占建筑面積2.2左右

3、室外抹灰面積占建筑面積0.4左右

4、室內(nèi)抹灰面積占建筑面積3.8

三、施工功效

1、一個抹灰工一天抹灰在35平米

2、一個磚工一天砌小紅磚2600—2900塊

3、一個磚工一天砌空心磚800—1000塊

4、瓷磚15平米

5、刮大白第一遍300平米/天，第二遍180平米/天，第三遍壓光90平米/天

四、基礎(chǔ)數(shù)據(jù)

1、混凝土重量2500KG/m3

2、鋼筋每延米重量0.00617*d*d

3、干砂子重量1500KG/m3，濕砂重量1700KG/m3

4、石子重量2200KG/m3

5、一立方米紅磚525塊左右（分墻厚）

6、一立方米空心磚175塊左右

7、篩一方干凈砂需1.3方普通砂

第三篇：土建工程師應(yīng)掌握的數(shù)據(jù)

土建工程師應(yīng)掌握的數(shù)據(jù)

12墻一個平方需要64塊標(biāo)準(zhǔn)磚18墻一個平方需要96塊標(biāo)準(zhǔn)磚24墻一個平方需要128塊標(biāo)準(zhǔn)磚 37墻一個平方需為192塊標(biāo)準(zhǔn)磚49墻一個平方需為256塊標(biāo)準(zhǔn)磚

計算公式：

單位立方米240墻磚用量1/(0.24*0.12*0.6)單位立方米370墻磚用量1/(0.37*0.12*0.6)

空心24墻一個平方需要80多塊標(biāo)準(zhǔn)磚

一、普通住宅建筑混凝土用量和用鋼量：

1、多層砌體住宅： 鋼筋30KG/m2 砼0.3—0.33m3/m22、多層框架 鋼筋38—42KG/m2 砼0.33—0.35m3/m23、小高層11—12層 鋼筋50—52KG/m2 砼0.35m3/m24、高層17—18層 鋼筋54—60KG/m2 砼0.36m3/m25、高層30層H=94米 鋼筋65—75KG/m2 砼0.42—0.47m3/m26、高層酒店式公寓28層H=90米 鋼筋65—70KG/m2 砼0.38—0.42m3/m27、別墅混凝土用量和用鋼量介于多層砌體住宅和高層11—12層之間

以上數(shù)據(jù)按抗震7度區(qū)規(guī)則結(jié)構(gòu)設(shè)計

二、普通多層住宅樓施工預(yù)算經(jīng)濟指標(biāo)

1、室外門窗（不包括單元門、防盜門）面積占建筑面積0.20—0.242、模版面積占建筑面積2.2左右

3、室外抹灰面積占建筑面積0.4左右

4、室內(nèi)抹灰面積占建筑面積3.8

三、施工功效

1、一個抹灰工一天抹灰在35平米

2、一個磚工一天砌紅磚1000—1800塊

3、一個磚工一天砌空心磚800—1000塊

4、瓷磚15平米

5、刮大白第一遍300平米/天，第二遍180平米/天，第三遍壓光90平米/天

四、基礎(chǔ)數(shù)據(jù)

1、混凝土重量2500KG/m32、鋼筋每延米重量0.00617*d*d3、干砂子重量1500KG/m3，濕砂重量1700KG/m34、石子重量2200KG/m35、一立方米紅磚525塊左右（分墻厚）

6、一立方米空心磚175塊左右

7、篩一方干凈砂需1.3方普通砂。

一點不同觀點：

1、一般多層砌體住宅： 鋼筋25-30KG/m2，其中經(jīng)濟適用房為16--18KG/m22、一般多層砌體住宅，室外抹灰面積占建筑面積0.5--0.7。

3、一般多層砌體住宅，模版面積占建筑面積1.3--2.2，根據(jù)現(xiàn)澆板多少、柱密度變化很大。

4、一個磚工一天砌240磚墻1000—1800塊，370或500墻2000--3000塊。

5、鋼筋混凝土重量2200KG/m3，素混凝土重量2100KG/m3。

6、工程石子重量1800KG/m3。

0.617是圓10鋼筋每米重量。鋼筋重量與直徑（半徑）的平方成正比。

G=0.617*D*D/100 每米的重量(Kg)＝鋼筋的直徑(mm)×鋼筋的直徑(mm)×0.00617

其實記住建設(shè)工程常用的鋼筋重量也很簡單φ6＝0.222 Kg φ6.5＝0.26kg φ8＝0.395kg φ10＝0.617kg φ12＝0.888kg Φ14＝1.21kg Φ16＝1.58kg Φ18＝2.0kg Φ24＝2.47kgΦ22＝2.98kgΦ25＝3.85kgΦ28＝4.837kg.....Φ12(含12)以下和Φ28(含28)的鋼筋一般小數(shù)點后取三位數(shù)，Φ14至Φ25鋼筋一般小數(shù)點后取二位數(shù) Φ6=0.222Kg Φ8=0.395Kg Φ10=0.617Kg Φ12=0.888Kg Φ14=1.21Kg Φ16=1.58Kg Φ18=2Kg Φ20=2.47Kg Φ22=3Kg Φ25=3.86Kg

我有經(jīng)驗計算公式，你自己計算一個表格就可以了。也可以去買一本有表格的書，用起來也很方便的。

鋼材理論重量計算簡式 材料名稱 理論重量W（kg/m）扁鋼、鋼板、鋼帶 W＝0.00785×寬×厚 方鋼 W＝0.00785×邊長2 圓鋼、線材、鋼絲 W＝0.00617×直徑2 鋼管 W＝0.02466×壁厚（外徑--壁厚）等邊角鋼 W＝0.00785×邊厚（2邊寬--邊厚）不等邊角鋼 W＝0.00785×邊厚(長邊寬+短邊寬--邊厚)工字鋼 W＝0.00785×腰厚[高+f（腿寬-腰厚）] 槽鋼 W＝0.00785×腰厚[高+e（腿寬-腰厚）]

備注：

1、角鋼、工字鋼和槽鋼的準(zhǔn)確計算公式很繁，表列簡式用于計算近似值。

2、f值：一般型號及帶a的為3.34，帶b的為2.65，帶c的為2.26。

3、e值：一般型號及帶a的為3.26，帶b的為2.44，帶c的為2.24。

4、各長度單位均為毫米

市政工程挖掘機、壓路機，這個根據(jù)合同協(xié)議相互協(xié)商的，我朋友幫忙打聽了一下，挖掘機進場測油，3000元入場費，出場2000元，加進場同等油料；壓路機1500元入場費，出場自費，添加滿箱油料。原因壓路機遍地都是，好找，挖掘機需要板車拖運，在市區(qū)內(nèi)不好操作。僅供參考。

第四篇：大數(shù)據(jù)讀書報告

大數(shù)據(jù)讀書報告

網(wǎng)絡(luò)13-1戴崇卓

大數(shù)據(jù)的概念

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。

大數(shù)據(jù)的5V特點（IBM提出）

Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。

大數(shù)據(jù)的意義

現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達(dá)，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。

大數(shù)據(jù)的結(jié)構(gòu)

大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ?/p>

保持敬畏之心，在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，我著手從三個層面來展開：

第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。

第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍(lán)圖。

大數(shù)據(jù)的應(yīng)用

洛杉磯警察局和加利福尼亞大學(xué)合作利用大數(shù)據(jù)預(yù)測犯罪的發(fā)生。Google流感趨勢(Google Flu Trends)利用搜索關(guān)鍵詞預(yù)測禽流感的散布。統(tǒng)計學(xué)家內(nèi)特.西爾弗(Nate Silver)利用大數(shù)據(jù)預(yù)測2012美國選舉結(jié)果。麻省理工學(xué)院利用手機定位數(shù)據(jù)和交通數(shù)據(jù)建立城市規(guī)劃。

梅西百貨的實時定價機制。根據(jù)需求和庫存的情況，該公司基于SAS的系統(tǒng)對多達(dá)7300萬種貨品進行實時調(diào)價。醫(yī)療行業(yè)早就遇到了海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)，而近年來很多國家都在積極推進醫(yī)療信息化發(fā)展，這使得很多醫(yī)療機構(gòu)有資金來做大數(shù)據(jù)分析。

大數(shù)據(jù)的趨勢

趨勢一：數(shù)據(jù)的資源化

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機。

趨勢二：與云計算的深度結(jié)合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

趨勢三：科學(xué)理論的突破

隨著大數(shù)據(jù)的快速發(fā)展，就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實現(xiàn)科學(xué)技術(shù)上的突破。

趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。

趨勢五：數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。可以說，在未來，每個財富500強企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。在財富500強企業(yè)中，超過50%將會設(shè)置首席信息安全官這一職位。企業(yè)需要從新的角度來確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障，而并非在數(shù)據(jù)保存的最后一個環(huán)節(jié)，僅僅加強后者的安全措施已被證明于事無補。

趨勢六：數(shù)據(jù)管理成為核心競爭力 數(shù)據(jù)管理成為核心競爭力，直接影響財務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。數(shù)據(jù)資產(chǎn)管理效率與主營業(yè)務(wù)收入增長率、銷售收入增長率顯著正相關(guān);此外，對于具有互聯(lián)網(wǎng)思維的企業(yè)而言，數(shù)據(jù)資產(chǎn)競爭力所占比重為36.8%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財務(wù)表現(xiàn)。

趨勢七：數(shù)據(jù)質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵

采用自助式商業(yè)智能工具進行大數(shù)據(jù)處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數(shù)據(jù)源會帶來大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。

趨勢八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強

大數(shù)據(jù)的世界不只是一個單一的、巨大的計算機網(wǎng)絡(luò)，而是一個由大量活動構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。而今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的細(xì)分，也就是市場的細(xì)分;系統(tǒng)機制的調(diào)整，也就是商業(yè)模式的創(chuàng)新;系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度逐漸增強。

大數(shù)據(jù)的IT分析工具

大數(shù)據(jù)概念應(yīng)用到IT操作工具產(chǎn)生的數(shù)據(jù)中，大數(shù)據(jù)可以使IT管理軟件供應(yīng)商解決大廣泛的業(yè)務(wù)決策。IT系統(tǒng)、應(yīng)用和技術(shù)基礎(chǔ)設(shè)施每天每秒都在產(chǎn)生數(shù)據(jù)。大數(shù)據(jù)非結(jié)構(gòu)化或者結(jié)構(gòu)數(shù)據(jù)都代表了?所有用戶的行為、服務(wù)級別、安全、風(fēng)險、欺詐行為等更多操作?的絕對記錄。

大數(shù)據(jù)分析的產(chǎn)生旨在于IT管理，企業(yè)可以將實時數(shù)據(jù)流分析和歷史相關(guān)數(shù)據(jù)相結(jié)合，然后大數(shù)據(jù)分析并發(fā)現(xiàn)它們所需的模型。反過來，幫助預(yù)測和預(yù)防未來運行中斷和性能問題。進一步來講，他們可以利用大數(shù)據(jù)了解使用模型以及地理趨勢，進而加深大數(shù)據(jù)對重要用戶的洞察力。他們也可以追蹤和記錄網(wǎng)絡(luò)行為，大數(shù)據(jù)輕松地識別業(yè)務(wù)影響；隨著對服務(wù)利用的深刻理解加快利潤增長；同時跨多系統(tǒng)收集數(shù)據(jù)發(fā)展IT服務(wù)目錄。

大數(shù)據(jù)分析的想法，尤其在IT操作方面，大數(shù)據(jù)對于我們發(fā)明并沒有什么作用，但是我們一直在其中。Gartner已經(jīng)關(guān)注這個話題很多年了，基本上他們已經(jīng)強調(diào)，如果IT正在引進新鮮靈感，他們將會扔掉大數(shù)據(jù)老式方法開發(fā)一個新的IT操作分析。

第五篇：大數(shù)據(jù)調(diào)研報告

大數(shù)據(jù)技術(shù)市場調(diào)查報告：“BigData浪潮”迫使企業(yè)做出抉擇

發(fā)表于2012-02-06 13:26| 2517次閱讀| 來源CSDN| 0 條評論| 作者李智

數(shù)據(jù)中心浪潮數(shù)據(jù)挖掘數(shù)據(jù)分析大數(shù)據(jù)

摘要：大數(shù)據(jù)時代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)： 結(jié)構(gòu)化信息這種信息可以在關(guān)...根據(jù)IDC的調(diào)查報告預(yù)測到2020年全球電子設(shè)備存儲的數(shù)據(jù)將暴增30倍，達(dá)到35ZB（相當(dāng)于10億塊1TB的硬盤的容量）。大數(shù)據(jù)浪潮的到來也為企業(yè)帶來了新一輪的挑戰(zhàn)。對于有準(zhǔn)備的企業(yè)來說這無疑是一座信息金礦，能夠合理的將大數(shù)據(jù)轉(zhuǎn)換為有價值信息成為未來企業(yè)的必備技能。恰逢此時，CSDN專門針對企業(yè)相關(guān)人員進行了大規(guī)模問卷調(diào)研，并在數(shù)千份的調(diào)查報告中總結(jié)出現(xiàn)今企業(yè)大數(shù)據(jù)業(yè)務(wù)的現(xiàn)狀。在此我們也將調(diào)研結(jié)果展示與此以供大家參考。

大數(shù)據(jù)時代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)：

結(jié)構(gòu)化信息——這種信息可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用。這是關(guān)鍵任務(wù)OLTP系統(tǒng)業(yè)務(wù)所依賴的信息，另外，還可對結(jié)構(gòu)數(shù)據(jù)庫信息進行排序和查詢； 半結(jié)構(gòu)化信息——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。半結(jié)構(gòu)化信息是以內(nèi)容為基礎(chǔ)，可以用于搜索，這也是谷歌存在的理由； 非結(jié)構(gòu)化信息——該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。數(shù)據(jù)必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽或被看）。許多大數(shù)據(jù)都是非結(jié)構(gòu)化的，其龐大規(guī)模和復(fù)雜性需要高級分析工具來創(chuàng)建或利用一種更易于人們感知和交互的結(jié)構(gòu)。

企業(yè)內(nèi)部大數(shù)據(jù)處理基礎(chǔ)設(shè)施普遍落后

從調(diào)查結(jié)果可以看出，接近50%的企業(yè)服務(wù)器數(shù)量在100臺以內(nèi)，而擁有100至500臺占據(jù)了22%的比例。500至2000臺服務(wù)器則占據(jù)剩下28.4%的比例。可以看出面對大數(shù)據(jù)現(xiàn)今大部分企業(yè)還沒有完善其硬件基礎(chǔ)架構(gòu)設(shè)施。以現(xiàn)階段企業(yè)內(nèi)大數(shù)據(jù)處理基礎(chǔ)設(shè)施的情況來看50%的企業(yè)面臨大數(shù)據(jù)處理的問題（中小企業(yè)在面對大數(shù)據(jù)的解決之道應(yīng)遵循采集、導(dǎo)入/處理、查詢、挖掘的流程）。

但這只是暫時狀況，“廉價”服務(wù)器設(shè)施會隨著企業(yè)業(yè)務(wù)的發(fā)展逐漸被淘汰出歷史的舞臺，在未來企業(yè)基礎(chǔ)架構(gòu)體系的硬件選用上，多核多路處理器以及SSD等設(shè)備會成為企業(yè)的首選。Facebook的Open Compute Project就在業(yè)界樹立了榜樣，Open Compute Project利用開源社區(qū)的理念改善服務(wù)器硬件以及機架的設(shè)計。其數(shù)據(jù)中心PUE值也是領(lǐng)先與業(yè)內(nèi)的其他對手。

而在具有大數(shù)據(jù)處理需求的企業(yè)中52.2%的日數(shù)據(jù)生成量在100GB以下，日數(shù)據(jù)生成量100GB到50TB占據(jù)了43.5%，而令人驚訝的是，日數(shù)據(jù)生成量50TB以上也有4.4%的份額。數(shù)據(jù)量持續(xù)的增長，公司將被迫增加基礎(chǔ)設(shè)施的部署。專利費用將一直增加，而開源技術(shù)，則省了這筆一直持續(xù)的專利費。對于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的融合，成了所有人關(guān)心的問題。

企業(yè)面對大數(shù)據(jù)處理的挑戰(zhàn)與問題

現(xiàn)今大數(shù)據(jù)呈現(xiàn)出“4V + 1C”的特點。既Variety：一般包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級別是常態(tài)；Velocity：要求快速處理，存在時效性；Vitality：分析和處理模型必須快速變化，因為需求在變；Complexity：處理和分析的難度非常大。

從圖中我們可以看出資源利用率低、擴展性差以及應(yīng)用部署過于復(fù)雜是現(xiàn)今企業(yè)數(shù)據(jù)系統(tǒng)架構(gòu)面臨的主要問題。其實大數(shù)據(jù)的基礎(chǔ)架構(gòu)首要需要考慮就是前瞻性，隨著數(shù)據(jù)的不斷增長，用戶需要從硬體、軟件層面思考需要怎樣的架構(gòu)去實現(xiàn)。而具備資源高利用率、高擴展性并對文件存儲友好的文件系統(tǒng)必將是未來的發(fā)展趨勢。

應(yīng)用部署過于復(fù)雜也催生了大數(shù)據(jù)處理系統(tǒng)管理員這一新興職業(yè)，其主要負(fù)責(zé)日常Hadoop集群正常運行。例如直接或間接的管理硬件，當(dāng)需要添加硬件時需保證集群仍能夠穩(wěn)定運行。同時還要負(fù)責(zé)系統(tǒng)監(jiān)控和配置，保證Hadoop與其他系統(tǒng)的有機結(jié)合。

而多格式數(shù)據(jù)、讀寫速度（讀寫速度是指數(shù)據(jù)從端點移動到處理器和存儲的速度）以及海量數(shù)據(jù)是企業(yè)面臨大數(shù)據(jù)處理急需解決的技術(shù)挑戰(zhàn)。眾所周知隨著大容量數(shù)據(jù)（TB級、PB級甚至EB級）的出現(xiàn)，業(yè)務(wù)數(shù)據(jù)對IT系統(tǒng)帶來了更大的挑戰(zhàn)，數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點。同時大數(shù)據(jù)不只是關(guān)于數(shù)據(jù)量而已。大數(shù)據(jù)包括了越來越多不同格式的數(shù)據(jù)，這些不同格式的數(shù)據(jù)也需要不同的處理方法。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應(yīng)用。

企業(yè)內(nèi)部數(shù)據(jù)分析與挖掘工具應(yīng)用現(xiàn)狀

云時代企業(yè)數(shù)據(jù)挖掘面臨如下三點挑戰(zhàn)。挖掘效率：進入云計算時代后，BI的思路發(fā)生了轉(zhuǎn)換。以前是基于封閉的企業(yè)數(shù)據(jù)進行挖掘，而面對引入互聯(lián)網(wǎng)應(yīng)用后海量的異構(gòu)數(shù)據(jù)時，目前并行挖掘算法的效率很低；多源數(shù)據(jù)：引入云計算后，企業(yè)數(shù)據(jù)的位置有可能在提供公有云服務(wù)的平臺上，也可能在企業(yè)自建的私有云上，如何面對不同的數(shù)據(jù)源進行挖掘也是一個挑戰(zhàn)；異構(gòu)數(shù)據(jù)：Web數(shù)據(jù)的最大特點就是半結(jié)構(gòu)化，如文檔、報表、網(wǎng)頁、聲音、圖像、視頻等，而云計算帶來了大量的基于互聯(lián)網(wǎng)模式提供的SaaS應(yīng)用，如何梳理有效數(shù)據(jù)是一個挑戰(zhàn)。拋去價格因素之外可以看出反應(yīng)速度慢、操作不方便、數(shù)據(jù)不準(zhǔn)確、分析不準(zhǔn)確這四項是企業(yè)數(shù)據(jù)分析與數(shù)據(jù)挖掘面臨的主要問題。商業(yè)化解決方案固然成熟，但成本也是顯而易見的。而具備在開源平臺之上處理分析大數(shù)據(jù)能力的數(shù)據(jù)科學(xué)家則成為另外的一種選擇。數(shù)據(jù)科學(xué)家具備專業(yè)領(lǐng)域知識并具備研究利用相應(yīng)算法分析對應(yīng)問題的能力，可幫助創(chuàng)建推動業(yè)務(wù)發(fā)展的相應(yīng)的大數(shù)據(jù)產(chǎn)品和大數(shù)據(jù)解決方案。

從調(diào)查結(jié)果中我們可以看出Hadoop占據(jù)了半壁江山，而同為開源的HBase也有將近四分之一的占有率。而商業(yè)化的數(shù)據(jù)分析與挖掘平臺（如Teradata、Netezza、Greenplum等）總共只有13.9%的份額。短期來講，開源分析將越來越廣泛的使用，并且增長迅速。長期來看，混合技術(shù)的應(yīng)用將在高度競爭的市場上出現(xiàn)，兩者將同樣有巨大的需求。可以預(yù)見的是，Hadoop作為企業(yè)級數(shù)據(jù)倉庫體系結(jié)構(gòu)核心技術(shù)，在未來的10年中它將會保持增長。隨著云時代的到來，企業(yè)面臨的應(yīng)用方式更加多元化，通過云的手段提供海量數(shù)據(jù)挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，更利于挖掘應(yīng)用的推廣以及專業(yè)的行業(yè)知識庫的構(gòu)建。同時收集、存儲龐大的新型數(shù)據(jù)充滿了挑戰(zhàn)，然而分析這些數(shù)據(jù)的新方法才是幫助最成功企業(yè)甩開競爭對手的利器。