第一篇：【八斗學(xué)院】2018年最新Hadoop大數(shù)據(jù)簡(jiǎn)歷,Hadoop工程師簡(jiǎn)歷

八斗學(xué)院

3年大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)

求職意向：大數(shù)據(jù)開(kāi)發(fā)工程師

個(gè)人信息

姓名：八斗學(xué)院 工作地點(diǎn)：北京 電話：*** 郵箱：55723447@qq.ccom

性別： 男 生日：1992.10.26 學(xué)歷：本科 微信：55723447 個(gè)人技能

? ? ? ? ? ? ? 精通MapReduce原理，熟練使用Java（Python）開(kāi)發(fā)和優(yōu)化MapReduce 熟悉Storm、Hbase、Hive、Flume、Kafka、Mahout等Hadoop框架及工具 熟悉Spark工作流程，能看懂Spark部分源碼，能使用scala編寫(xiě)Application 熟悉推薦相關(guān)算法和相關(guān)技術(shù)，常用機(jī)器學(xué)習(xí)模型、自然語(yǔ)言處理、數(shù)據(jù)挖掘方法 熟悉Oracle/MS SQL Server等關(guān)系型數(shù)據(jù)庫(kù)，具備基本的SQL編寫(xiě)及優(yōu)化能力 了解tika、jsoup、RabbitMQ、Lucene等工具并運(yùn)用到項(xiàng)目中 了解python（Java）、scala等腳本語(yǔ)言，能進(jìn)行閱讀和簡(jiǎn)單的編寫(xiě)

項(xiàng)目經(jīng)驗(yàn)

xx推薦系統(tǒng)

? 項(xiàng)目描述：

此項(xiàng)目分為數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理，推薦策略算法模塊，檢索引擎模塊，數(shù)據(jù)分析。

數(shù)據(jù)來(lái)源于日志分析系統(tǒng)和DPI，采用HttpClient + HTMLParser對(duì)DPI中的URL進(jìn)行數(shù)據(jù)爬取，通過(guò)字符轉(zhuǎn)換、標(biāo)簽提取、數(shù)據(jù)清洗、特征預(yù)處理等進(jìn)行數(shù)據(jù)預(yù)處理，使用MapReduce/Spark進(jìn)行離線推薦序列計(jì)算，使用ElasticSearch作為檢索引擎模塊，為xx站點(diǎn)推薦服務(wù)，日志分析系統(tǒng)做數(shù)據(jù)分析。

其中特征預(yù)處理使用特征相似度矩陣進(jìn)行特征擴(kuò)展（特征相似度矩陣由推薦策略算法模塊計(jì)算得出），采用Cosine歸一法對(duì)特征進(jìn)行歸一化；推薦算法模塊采用Content Based、協(xié)同過(guò)濾計(jì)算推薦序列，使用Mahout樸素貝葉斯算法計(jì)算用戶偏好，Content Based結(jié)合用戶偏好和用戶個(gè)人信息解決Item和系統(tǒng)冷啟動(dòng)問(wèn)題；利用日志分析的KPI結(jié)果進(jìn)行驗(yàn)證并對(duì)模塊進(jìn)行優(yōu)化。

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn 2015.8-至今

? 項(xiàng)目職責(zé)：

a)推薦算法架構(gòu)設(shè)計(jì)與搭建，搭建整套Online、Nearline和Offline架構(gòu)，為提高推薦效果和質(zhì)量找出適合的解決方法，提高產(chǎn)品體驗(yàn)，提升指標(biāo)；

b)基于人群行為的統(tǒng)計(jì)特征和文本相關(guān)性特征，實(shí)現(xiàn)xx聯(lián)合推薦服務(wù)模型

c)基于NLP HMM的標(biāo)簽提取服務(wù)，提供用戶和TV標(biāo)簽化指紋特征賦權(quán)的離線和在線接口； d)用戶行為大數(shù)據(jù)預(yù)處理及分析，用戶行為記錄偏好挖掘，完善效果反饋機(jī)制； e)數(shù)據(jù)中心設(shè)計(jì)與搭建，為推薦策略提供基礎(chǔ)數(shù)據(jù)服務(wù)

日志分析系統(tǒng)2014.5-2015.10

? 項(xiàng)目描述：

此項(xiàng)目采用Flume實(shí)現(xiàn)數(shù)據(jù)采集和分發(fā)數(shù)據(jù)到HDFS和Kafka，Storm實(shí)時(shí)消費(fèi)Kafka數(shù)據(jù)并對(duì)數(shù)據(jù)預(yù)處理和計(jì)算KPI指標(biāo)及監(jiān)控錯(cuò)誤信息等，Hive離線統(tǒng)計(jì)過(guò)去數(shù)據(jù)并與實(shí)時(shí)數(shù)據(jù)做Merge，采用Hbase做多維度存儲(chǔ)。

? 項(xiàng)目職責(zé)：

1、集群架構(gòu)設(shè)計(jì)與搭建

2、storm編寫(xiě)

3、flume二次開(kāi)發(fā)

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn

第二篇：【八斗學(xué)院】2018年最新Hadoop大數(shù)據(jù)開(kāi)發(fā)學(xué)習(xí)路線圖

2018年最新Hadoop大數(shù)據(jù)開(kāi)發(fā)學(xué)習(xí)路線圖

來(lái)源：八斗學(xué)院

Hadoop發(fā)展到今天家族產(chǎn)品已經(jīng)非常豐富，能夠滿足不同場(chǎng)景的大數(shù)據(jù)處理需求。作為目前主流的大數(shù)據(jù)處理技術(shù)，市場(chǎng)上很多公司的大數(shù)據(jù)業(yè)務(wù)都是基于Hadoop開(kāi)展，而且對(duì)很多場(chǎng)景已經(jīng)具有非常成熟的解決方案。

作為開(kāi)發(fā)人員掌握Hadoop及其生態(tài)內(nèi)框架的開(kāi)發(fā)技術(shù)，就是進(jìn)入大數(shù)據(jù)領(lǐng)域的必經(jīng)之路。

下面詳細(xì)介紹一下，學(xué)習(xí)Hadoop開(kāi)發(fā)技術(shù)的路線圖。

Hadoop本身是用java開(kāi)發(fā)的，所以對(duì)java的支持性非常好，但也可以使用其他語(yǔ)言。

下面的技術(shù)路線側(cè)重?cái)?shù)據(jù)挖掘方向，因?yàn)镻ython開(kāi)發(fā)效率較高所以我們使用Python來(lái)進(jìn)行任務(wù)。

因?yàn)镠adoop是運(yùn)行在Linux系統(tǒng)上的，所以還需要掌握Linux的知識(shí)。

第一階段：Hadoop生態(tài)架構(gòu)技術(shù)

1、語(yǔ)言基礎(chǔ) Java：掌握javase知識(shí)，多理解和實(shí)踐在Java虛擬機(jī)的內(nèi)存管理、以及多線程、線程池、設(shè)計(jì)模式、并行化就可以，不需要深入掌握。

Linux：系統(tǒng)安裝（命令行界面和圖形界面）、基本命令、網(wǎng)絡(luò)配置、Vim編輯器、進(jìn)程管理、Shell腳本、虛擬機(jī)的菜單熟悉等等。

Python：基礎(chǔ)語(yǔ)法，數(shù)據(jù)結(jié)構(gòu)，函數(shù)，條件判斷，循環(huán)等基礎(chǔ)知識(shí)。

2、環(huán)境準(zhǔn)備

這里介紹在windows電腦搭建完全分布式，1主2從。

VMware虛擬機(jī)、Linux系統(tǒng)（Centos6.5）、Hadoop安裝包，這里準(zhǔn)備好Hadoop完全分布式集群環(huán)境。

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn

3、MapReduce MapReduce分布式離線計(jì)算框架，是Hadoop核心編程模型。主要適用于大批量的集群任務(wù)，由于是批量執(zhí)行，故時(shí)效性偏低。

4、HDFS1.0/2.0 Hadoop分布式文件系統(tǒng)(HDFS)是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

5、Yarn（Hadoop2.0）

前期了解即可，Yarn是一個(gè)資源調(diào)度平臺(tái)，主要負(fù)責(zé)給任務(wù)分配資源。Yarn是一個(gè)公共的資源調(diào)度平臺(tái)，所有滿足條件的框架都可以使用Yarn來(lái)進(jìn)行資源調(diào)度。

6、Hive Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，所有的數(shù)據(jù)都是存儲(chǔ)在HDFS上的。使用Hive主要是寫(xiě)Hql，非常類(lèi)似于Mysql數(shù)據(jù)庫(kù)的Sql。其實(shí)Hive在執(zhí)行Hql，底層在執(zhí)行的時(shí)候還是執(zhí)行的MapRedce程序。

7、Spark Spark 是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，其是基于內(nèi)存的迭代式計(jì)算。Spark 保留了MapReduce 的優(yōu)點(diǎn)，而且在時(shí)效性上有了很大提高。

8、Spark Streaming Spark Streaming是實(shí)時(shí)處理框架，數(shù)據(jù)是一批一批的處理。

9、Spark Hive 基于Spark的快速Sql檢索。Spark作為Hive的計(jì)算引擎，將Hive的查詢(xún)作為Spark的任務(wù)提交到Spark集群上進(jìn)行計(jì)算，可以提高Hive查詢(xún)的性能。

10、Storm Storm是一個(gè)實(shí)時(shí)計(jì)算框架，和MR的區(qū)別就是，MR是對(duì)離線的海量數(shù)據(jù)進(jìn)行處理，而Storm是對(duì)實(shí)時(shí)新增的每一條數(shù)據(jù)進(jìn)行處理，是一條一條的處理，可以保證數(shù)據(jù)處理的時(shí)效性。

11、Zookeeper Zookeeper是很多大數(shù)據(jù)框架的基礎(chǔ)，它是集群的管理者。監(jiān)視著集群中各個(gè)節(jié)點(diǎn)的狀態(tài)根據(jù)節(jié)點(diǎn)提交的反饋進(jìn)行下一步合理操作。

最終，將簡(jiǎn)單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn

12、Hbase Hbase是一個(gè)Nosql 數(shù)據(jù)庫(kù)，是一個(gè)Key-Value類(lèi)型的數(shù)據(jù)庫(kù)，是高可靠、面向列的、可伸縮的、分布式的數(shù)據(jù)庫(kù)。

適用于非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)，底層的數(shù)據(jù)存儲(chǔ)在HDFS上。

13、Kafka kafka是一個(gè)消息中間件，在工作中常用于實(shí)時(shí)處理的場(chǎng)景中，作為一個(gè)中間緩沖層。

14、Flume Flume是一個(gè)日志采集工具，常見(jiàn)的就是采集應(yīng)用產(chǎn)生的日志文件中的數(shù)據(jù)，一般有兩個(gè)流程。

一個(gè)是Flume采集數(shù)據(jù)存儲(chǔ)到Kafka中，方便Storm或者SparkStreaming進(jìn)行實(shí)時(shí)處理。

另一個(gè)流程是Flume采集的數(shù)據(jù)存儲(chǔ)到HDFS上，為了后期使用hadoop或者spark進(jìn)行離線處理。

第二階段：數(shù)據(jù)挖掘算法

1、中文分詞

開(kāi)源分詞庫(kù)的離線和在線應(yīng)用

2、自然語(yǔ)言處理 文本相關(guān)性算法

3、推薦算法

基于CB、CF，歸一法，Mahout應(yīng)用。

4、分類(lèi)算法 NB、SVM

5、回歸算法

LR、Decision Tree

6、聚類(lèi)算法

層次聚類(lèi)、Kmeans

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn

7、神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)NN、Tensorflow

以上就是學(xué)習(xí)Hadoop開(kāi)發(fā)的一個(gè)詳細(xì)路線，鑒于篇幅原因只列舉和解釋了框架作用，如果需要了解具體框架的開(kāi)發(fā)技術(shù)，可以百度搜索八斗學(xué)院大綱，詳細(xì)了解。

學(xué)習(xí)完第一階段的知識(shí)，已經(jīng)可以從事大數(shù)據(jù)架構(gòu)相關(guān)的工作，可以在企業(yè)中負(fù)責(zé)某些或某個(gè)的開(kāi)發(fā)與維護(hù)工作。

學(xué)習(xí)完第二階段的知識(shí)，可以從事數(shù)據(jù)挖掘相關(guān)的工作，這也是目前進(jìn)入大數(shù)據(jù)行業(yè)含金量最高的工作。

學(xué)Hadoop大數(shù)據(jù)，就到八斗學(xué)院

www.tmdps.cn

第三篇：Hadoop運(yùn)維工程師崗位職責(zé)簡(jiǎn)潔版

Hadoop運(yùn)維工程師崗位職責(zé)簡(jiǎn)潔版

1.負(fù)責(zé)Hadoop相關(guān)項(xiàng)目日常運(yùn)行維護(hù)、故障排查工作;

2.負(fù)責(zé)Hadoop集群的監(jiān)控和配置調(diào)優(yōu)工作;

3.負(fù)責(zé)Hadoop平臺(tái)的用戶管理、權(quán)限分配、資源分配;

4.負(fù)責(zé)集群服務(wù)器軟件的安裝、維護(hù)、部署、更新;

Hadoop運(yùn)維工程師崗位職責(zé)(二)

1.負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作;

2.保證Hadoop/spark平臺(tái)各核心服務(wù)運(yùn)行的穩(wěn)定、高效;

___對(duì)Hadoop/spark平臺(tái)運(yùn)維不斷優(yōu)化，提升數(shù)據(jù)產(chǎn)品的質(zhì)量和響應(yīng)速度;

4.開(kāi)發(fā)各種Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具;

___平臺(tái)大數(shù)據(jù)環(huán)境的部署維護(hù)和技術(shù)支持;

6.應(yīng)用故障的處理跟蹤及統(tǒng)計(jì)匯總分析;

7.應(yīng)用安全，數(shù)據(jù)的日常備份和應(yīng)急恢復(fù)。

Hadoop運(yùn)維工程師崗位職責(zé)(三)

1、負(fù)責(zé)移動(dòng)大數(shù)據(jù)中心的建設(shè)與維護(hù);

2、負(fù)責(zé)安徽移動(dòng)hadoop集群的故障排查、解決;

3、其他省份hadoop項(xiàng)目建設(shè)提供技術(shù)支持。

Hadoop運(yùn)維工程師崗位職責(zé)(四)

1.負(fù)責(zé)Hadoop及相關(guān)組件的部署和維護(hù)，保證其穩(wěn)定運(yùn)行;

2.開(kāi)發(fā)和使用Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具;

3.基于大數(shù)據(jù)應(yīng)用需求，不斷調(diào)整和優(yōu)化Hadoop框架及組件的配置，提升性能;

4.為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項(xiàng)目提供運(yùn)行環(huán)境支持;

Hadoop運(yùn)維工程師崗位職責(zé)(五)

1.hadoop集群運(yùn)維、監(jiān)控、開(kāi)發(fā);

2.hadoop生態(tài)圈框架部署、故障處理、異常排查等基本工作;

___對(duì)有助于提升集群處理能力、高可用性、擴(kuò)展性的各種解決方案進(jìn)行跟蹤和落地;

4.解決海量數(shù)據(jù)不斷增長(zhǎng)面臨的挑戰(zhàn)，解決業(yè)務(wù)需求;

5、對(duì)Hadoop集群進(jìn)行日常管理，保障系統(tǒng)正常運(yùn)行;

第四篇：Hadoop之父與英特爾研究院院長(zhǎng)分享大數(shù)據(jù)心得

Hadoop之父與英特爾研究院院長(zhǎng)分享大數(shù)據(jù)心得

作者：IT專(zhuān)家網(wǎng)出處：IT專(zhuān)家網(wǎng)2014-12-12 13:42

“數(shù)據(jù)鑄就價(jià)值，激情源于碰撞”來(lái)自英特爾中國(guó)研究院院長(zhǎng)吳甘沙與Hadoop之父Doug Cutting在12月11日分享了大數(shù)據(jù)的一系列心得體會(huì)。

首先進(jìn)行分享的是英特爾中國(guó)研究院院長(zhǎng)吳甘沙先生。

“大數(shù)據(jù)不是一個(gè)人在戰(zhàn)斗!”這是吳院長(zhǎng)分享的開(kāi)始。大數(shù)據(jù)有沒(méi)有摩爾定律？指數(shù)過(guò)濾的滾滾鐵輪下，會(huì)如何發(fā)展？更多精彩內(nèi)容，不要走開(kāi)，道長(zhǎng)馬上更新~

“大家可以看到這條曲線，前面經(jīng)過(guò)長(zhǎng)時(shí)間的緩慢增長(zhǎng)，一旦過(guò)了臨界點(diǎn)以后，大家可以看到爆發(fā)式的增長(zhǎng)，如果在這么一個(gè)時(shí)間點(diǎn)T，它是X的話，下一個(gè)時(shí)間點(diǎn)就是X的平方，如果X是一個(gè)大數(shù)的話，這樣一個(gè)指數(shù)規(guī)律使得在任何一個(gè)周期里面，它的新的值將遠(yuǎn)遠(yuǎn)把前一個(gè)周期的值拋在后面。”

“大家經(jīng)常聽(tīng)說(shuō)在我們IT這個(gè)產(chǎn)業(yè)有這樣一種指數(shù)的規(guī)律，而這樣一種規(guī)律如果應(yīng)用到傳統(tǒng)的產(chǎn)業(yè)來(lái)說(shuō)是不得了的事情。比爾蓋茨曾經(jīng)有一個(gè)比喻，如果汽車(chē)產(chǎn)業(yè)像IT產(chǎn)業(yè)這么發(fā)展的話，到現(xiàn)在我們一輛汽車(chē)是25美金，一加侖汽油能夠跑一千英里，這就是指數(shù)帶來(lái)的威力。”

“這張泛黃的紙片來(lái)自英特爾的創(chuàng)始人之一摩爾曾經(jīng)寫(xiě)就的這么一個(gè)規(guī)律，在這個(gè)規(guī)律下面，每18個(gè)月晶體管數(shù)會(huì)翻番，帶來(lái)一系列指數(shù)式的連鎖反應(yīng)。”

“我們的處理器性能會(huì)翻番，內(nèi)存的容量會(huì)翻番，成本折半，而功耗也是折半，而且這樣一種指數(shù)的效應(yīng)同樣影響了IT的其他領(lǐng)域，比如說(shuō)以氧化鐵為主要技術(shù)的存儲(chǔ)，每18個(gè)月翻番，成本減半，帶寬甚至是每8個(gè)月能夠翻番，甚至是我們數(shù)字影像的芯片每美元的像素?cái)?shù)也是每18個(gè)月翻番，所有的聚合效應(yīng)放在一起就帶來(lái)數(shù)據(jù)的摩爾定律，帶來(lái)數(shù)據(jù)的極大增長(zhǎng)。”

“大數(shù)據(jù)要說(shuō)人話，它要提取人能夠理解的價(jià)值，怎么能夠讓數(shù)據(jù)的工具跟我們的人，跟數(shù)據(jù)科學(xué)家，跟領(lǐng)域?qū)＜遥覀兊慕K端用戶天人合一，降低數(shù)據(jù)分析的門(mén)檻，這又是一個(gè)挑戰(zhàn)。”

“基于這些挑戰(zhàn)，英特爾推出了大數(shù)據(jù)的分析框架，在最底層是基礎(chǔ)設(shè)施，計(jì)算存儲(chǔ)互聯(lián)成為軟件可定義，我們把它做成開(kāi)放式、模塊化的這些標(biāo)準(zhǔn)的模塊，使得我們行業(yè)能夠降低門(mén)檻，更多的創(chuàng)新者能夠進(jìn)來(lái)。”

上面一層是數(shù)據(jù)平臺(tái)，我們跟Cloudera一起推動(dòng)基于Apache Hadoop開(kāi)放、可信的數(shù)據(jù)處理平臺(tái)，推動(dòng)整個(gè)生態(tài)基礎(chǔ)創(chuàng)新，上面是分析應(yīng)用，我們希望能夠把高級(jí)的分析功能平民化，使得它能夠邁入主流的應(yīng)用，使得它能夠?qū)崿F(xiàn)規(guī)模的經(jīng)濟(jì)。最上面是解決方案，我們跟生態(tài)系統(tǒng)伙伴一起構(gòu)建示范性的解決方案，把它變成可擴(kuò)展的參考架構(gòu)，使得在示范的領(lǐng)域成功能夠被復(fù)制到每一個(gè)行業(yè)、每一個(gè)企業(yè)上面去。

同時(shí)英特爾的產(chǎn)品部門(mén)和研究院一起跟生態(tài)系統(tǒng)的伙伴進(jìn)行合作的研發(fā)，這是我們傳統(tǒng)的一個(gè)研發(fā)布局。但是針對(duì)大數(shù)據(jù)的話，我們認(rèn)為這樣一條時(shí)間線未必合理。

大家可以想像，從現(xiàn)在往前推五年的話，“大數(shù)據(jù)”這個(gè)名詞還沒(méi)有火起來(lái)，在這樣高度變化，不可預(yù)測(cè)的環(huán)境里面，我們把這個(gè)研發(fā)周期進(jìn)一步的縮短，我們跟大學(xué)的合作研究也希望盡快的能夠把這個(gè)技術(shù)推向市場(chǎng)。

在我們開(kāi)放式的協(xié)作創(chuàng)新框架下，我們也加入數(shù)據(jù)的安全流通以及定價(jià)的這樣一種研究。這就是我們一個(gè)研究平臺(tái)，我們把它叫做“數(shù)據(jù)咖啡館”，正如咖啡館是讓不同領(lǐng)域的人聚在一起，讓他們的思想進(jìn)行碰撞，產(chǎn)生新的想法，我們的數(shù)據(jù)咖啡館就是希望能夠讓不同領(lǐng)域、不同公司的數(shù)據(jù)能夠湊在一起產(chǎn)生新的價(jià)值。

比如說(shuō)兩個(gè)電商，他們對(duì)于客戶的畫(huà)像是非常片面的，如果我們能夠把他們的數(shù)據(jù)在數(shù)據(jù)咖啡館里進(jìn)行融合，他們能夠獲得對(duì)客戶完整的刻畫(huà)，這里面很重要的一點(diǎn)是叫做'相逢但不相識(shí)'。

這兩家電商愿意把數(shù)據(jù)融合，但是不愿意對(duì)方能夠看到自己的數(shù)據(jù)，如何能夠在不相識(shí)的這樣一種前提下讓他們相逢，讓他們能夠做數(shù)據(jù)的分析，這一定程度上解決了剛才講到的數(shù)據(jù)隱私安全的問(wèn)題。

就在昨天，Cloudera中國(guó)也成立了，這意味著我們跟Cloudera的合作可以從世界范圍來(lái)到中國(guó)。

我們希望能夠攜手一起去為我們中國(guó)的用戶提供滿足他們需求的大數(shù)據(jù)的技術(shù)和解決方案。我們也期待能夠一起為推動(dòng)大數(shù)據(jù)的黃金時(shí)代在中國(guó)發(fā)生盡綿薄之力。

接過(guò)吳院長(zhǎng)話筒的是Cloudera 公司副總裁苗凱翔先生。

Cloudera來(lái)中國(guó)了!Cloudera2008年成立，是由四個(gè)非常重要的互聯(lián)網(wǎng)公司和搞數(shù)據(jù)公司，到現(xiàn)在有六年時(shí)間。

雖然公司人數(shù)只有800多人，但它在全球有1200個(gè)合作伙伴，由于它的技術(shù)領(lǐng)先地位，有1200個(gè)合作伙伴，已經(jīng)帶頭形成全球最大的大數(shù)據(jù)的生態(tài)鏈

每天，美國(guó)70%智能手機(jī)的數(shù)據(jù)后端處理都從Cloudera平臺(tái)有一定的處理，每天都有數(shù)百億的事件在后端處理，對(duì)美國(guó)經(jīng)濟(jì)也好、商業(yè)也好，還是很重要的一個(gè)公司。不光是產(chǎn)品的領(lǐng)先，從服務(wù)來(lái)講、培訓(xùn)來(lái)講也是非常領(lǐng)先的，在全球已經(jīng)培訓(xùn)了很多的Hadoop專(zhuān)家，都成為Hadoop方面很有能力的人。

中國(guó)是一個(gè)很天然的大數(shù)據(jù)環(huán)境，人口眾多。因?yàn)檫@個(gè)，它的終端也好、網(wǎng)絡(luò)數(shù)據(jù)也好、交易數(shù)據(jù)也好，都是非常多的。因?yàn)榇髷?shù)據(jù)不光是技術(shù)創(chuàng)新，也是應(yīng)用創(chuàng)新的環(huán)節(jié)，在中國(guó)搞大數(shù)據(jù)前景巨大。

大數(shù)據(jù)的概念在中國(guó)雖然已經(jīng)不陌生，但是它的部署和應(yīng)用狀態(tài)，真正能應(yīng)用起來(lái)，可能要比美國(guó)滯后兩年的時(shí)間。其中原因之一就是在中國(guó)本土還沒(méi)有一個(gè)公司能夠把大數(shù)據(jù)去普及，真正架起來(lái)和跑起來(lái)，應(yīng)用案例能夠真正搞清楚。中國(guó)對(duì)于Cloudera來(lái)講是非常重要的一個(gè)環(huán)境，我們要幫助中國(guó)在大數(shù)據(jù)上面去發(fā)展，要借助于Cloudera在全球，特別是在美國(guó)的應(yīng)用案例，一些技術(shù)拿過(guò)來(lái)幫助中國(guó)的企業(yè)在這個(gè)領(lǐng)域去發(fā)展。

Cloudera在解決方案上，在軟件上，在應(yīng)用場(chǎng)景上是最領(lǐng)先的，而英特爾在全球它的服務(wù)器的占有率是90%多，這樣大數(shù)據(jù)底層架構(gòu)和英特爾一起能夠合力，幫助中國(guó)的產(chǎn)業(yè)去發(fā)展。

我們是今年3月份公布了英特爾和Cloudera的合作。合作之后，兩家合作非常緊密，第一是把英特爾過(guò)去的經(jīng)驗(yàn)，特別是在中國(guó)的經(jīng)驗(yàn)，通過(guò)Cloudera的合作，把IDH的功能和Cloudera的CDH和EDH功能融合在一塊去研發(fā)更強(qiáng)的產(chǎn)品。很高興的講，當(dāng)時(shí)在3月份開(kāi)始的想法，在5月份開(kāi)始的計(jì)劃已經(jīng)全部實(shí)現(xiàn)，充分把IDH所有的功能和CDH功能結(jié)合在一起。Cloudera5.3會(huì)在本月推出。

Doug Cutting來(lái)啦~(看見(jiàn)真身道長(zhǎng)也是很激動(dòng)>，<)

很高興能夠到這里來(lái)和大家分享。

英特爾的同事剛剛已經(jīng)提到了，中國(guó)市場(chǎng)的機(jī)會(huì)不僅僅是來(lái)自硬件，我們看到了指數(shù)級(jí)的增長(zhǎng)已經(jīng)持續(xù)了大概15年，這也就是說(shuō)，我們現(xiàn)在的數(shù)據(jù)和計(jì)算能力比過(guò)去15年的能力超越了已經(jīng)是成數(shù)百萬(wàn)倍，我們的內(nèi)存、聯(lián)網(wǎng)的帶寬和各種數(shù)據(jù)的級(jí)數(shù)都已經(jīng)出現(xiàn)了指數(shù)性的增長(zhǎng)。

這些增長(zhǎng)持續(xù)了這么長(zhǎng)的時(shí)間，給我們所有的事情帶來(lái)了根本性的變化。在其他的領(lǐng)域我們沒(méi)有看到如此劇烈的變化，比如說(shuō)剛剛提到的汽車(chē)、航空和房地產(chǎn)業(yè)，他們都沒(méi)有如此巨大的變化。

我們所做的事情是在根本上改變了這個(gè)社會(huì)，可以稱(chēng)之為革命性的、階段性的變化。我們現(xiàn)在不能夠再看到這些單獨(dú)的數(shù)據(jù)，而是把所有的數(shù)據(jù)放在一起來(lái)考慮。這后面的驅(qū)動(dòng)因素是什么呢？

現(xiàn)在使用計(jì)算機(jī)的人和正在使用這些設(shè)備的人，還有像英特爾的這些用戶們，他們都正在推進(jìn)整個(gè)進(jìn)程的發(fā)展。我們可以稍微想一想現(xiàn)在使用電腦的人，不光是我們的臺(tái)式計(jì)算機(jī)，還包括所使用的手腕上的設(shè)備、我們的汽車(chē)、各種傳感器、攝像頭等等，使用計(jì)算能力的這些設(shè)備無(wú)處不在。

而且這個(gè)趨勢(shì)會(huì)持續(xù)繼續(xù)下去，我們會(huì)看到越來(lái)越多的設(shè)備他們需要去使用計(jì)算能力，他們也會(huì)同時(shí)產(chǎn)生更多的數(shù)據(jù)，我們知道數(shù)據(jù)是有價(jià)值的，能夠讓我們了解到底這些設(shè)備讓我們處理什么樣的業(yè)務(wù)，能夠幫助我們完成什么工作，如果把數(shù)據(jù)收集起來(lái)，我們可以把數(shù)據(jù)進(jìn)行整合，然后就可以創(chuàng)造出來(lái)一個(gè)高清晰度的圖像，就是關(guān)于各種設(shè)備它們運(yùn)作的情況，而且也會(huì)了解到我們?cè)谶@一塊，我們的企業(yè)、我們的業(yè)務(wù)到底是怎么樣進(jìn)行的，這可以幫助我們的企業(yè)進(jìn)一步改善和優(yōu)化流程，擴(kuò)展發(fā)展。我們可以不斷地去創(chuàng)造一些人們能夠負(fù)擔(dān)得起的、性?xún)r(jià)比較高的設(shè)備，而這些設(shè)備會(huì)不斷產(chǎn)生新的數(shù)據(jù)。

我們看到越來(lái)越多的行業(yè)，它們已經(jīng)通過(guò)利用分析數(shù)據(jù)的方式進(jìn)行業(yè)績(jī)的提升，不光是在高科技產(chǎn)業(yè)，包括在一些其他的行業(yè)，比如說(shuō)采礦業(yè)、交通行業(yè)等等，這些行業(yè)它們都開(kāi)始使用數(shù)據(jù)。因?yàn)樗麄冋J(rèn)識(shí)到通過(guò)使用數(shù)據(jù)可以獲得更快的提升。因?yàn)閿?shù)據(jù)的收集可以幫助他們更好的進(jìn)行業(yè)績(jī)的評(píng)估和衡量。

我們需要有軟件來(lái)支撐，我們要找到一種可以更好的創(chuàng)造軟件的方式。在過(guò)去的20多年當(dāng)中，我們看到現(xiàn)在有越來(lái)越大的趨勢(shì)，就是開(kāi)源的趨勢(shì)。我們第一個(gè)非常成功的社區(qū)開(kāi)源的項(xiàng)目就是Linux，Linux可以說(shuō)在全球使用率最高的操作系統(tǒng)，是在手機(jī)、服務(wù)器等各種設(shè)備上都得到了使用。

其實(shí)在它剛剛開(kāi)始發(fā)明和使用的時(shí)候，Linux可能并不是最好的選擇。但是因?yàn)樵陂_(kāi)源的平臺(tái)之上，越來(lái)越多的開(kāi)發(fā)者們參與進(jìn)來(lái)，讓Linux不斷地完善，不斷地提升。人們也非常喜歡開(kāi)源平臺(tái)，因?yàn)樵谄脚_(tái)之上，他們互相信任，他們不用擔(dān)心要付費(fèi)，他們可以進(jìn)行一些修改，根據(jù)自己的需求來(lái)進(jìn)行修改。

英特爾給我們提供了一些其他的技術(shù)，經(jīng)過(guò)我們不斷地嘗試，不斷地試驗(yàn)，我們發(fā)現(xiàn)在這一塊，這個(gè)平臺(tái)有了一些顛覆式或者重大的突破。

我們可以在這個(gè)平臺(tái)上一起做事情，所以看到這樣的一個(gè)行業(yè)的趨勢(shì)得到了大家的認(rèn)可。我們把它叫做企業(yè)的數(shù)據(jù)中心，企業(yè)數(shù)據(jù)中心可以支持不同的，剛剛提到的這些風(fēng)格，而且現(xiàn)在使用的人數(shù)也越來(lái)越多，他們可以在上面使用自己新的應(yīng)用程序，可以把它作為默認(rèn)的平臺(tái)。

我的同事，他用智能手機(jī)來(lái)做了比喻，我們的智能手機(jī)既是手機(jī)，也是計(jì)算器，是攝像機(jī)，也可以幫我們來(lái)追蹤活動(dòng)，可以幫我們記錄日歷，有很多種功能，而且所有的功能都不一定是最佳的功能，肯定不是你能買(mǎi)到最好的照相機(jī)，但是我們今天90%的照片都是用智能手機(jī)拍攝的，因?yàn)橹悄苁謾C(jī)在那兒，你知道怎么樣來(lái)用它，而且它里面也集成了所有的生活當(dāng)中用到的工具，可以發(fā)送照片、可以分享照片、可以用手機(jī)來(lái)做很多的事情。

相似的事情是當(dāng)我們提到企業(yè)數(shù)據(jù)中心的時(shí)候，它的作用也是類(lèi)似的。我們并不是使用獨(dú)立的系統(tǒng)。大家會(huì)越來(lái)越多的使用數(shù)據(jù)中心的，因?yàn)槲覀兯械墓ぞ叨际羌稍谝黄鸬模@樣的話我們就可以通過(guò)Cloudera和英特爾的合作，為大家來(lái)集成更多的工具，實(shí)現(xiàn)這些功能，彌補(bǔ)我們各個(gè)項(xiàng)目之間的空缺，可以把20個(gè)社區(qū)之間的差距彌補(bǔ)起來(lái)。這樣的話就可以讓人們來(lái)把所有的數(shù)據(jù)整合在一個(gè)地方，從中盈利。這就是我今天想跟大家分享的內(nèi)容。

倡導(dǎo)開(kāi)放架構(gòu)的英特爾+ 倡導(dǎo)開(kāi)放社區(qū)的Hadoop的Cloudera, 傳說(shuō)中的強(qiáng)強(qiáng)聯(lián)合大概就是上面呈現(xiàn)的這個(gè)樣子。這次的直播也就到此為止啦~

不過(guò)最后道長(zhǎng)給大家留個(gè)八卦的小尾巴：Hadoop的LOGO黃色大象是怎么來(lái)的？道友們是否研究過(guò)？保持關(guān)注~道長(zhǎng)之后告訴你!

關(guān)鍵詞：Hadoop之父,英特爾,大數(shù)據(jù),焦點(diǎn)圖

第五篇：采購(gòu)工程師簡(jiǎn)歷

姓

名： 肖xx 性

別： 女 婚姻狀況： 未婚 民

族： 漢族 戶

籍： xx 年

齡： 26 現(xiàn)所在地： xx 身

高： 161cm 希望地區(qū)： xx 希望崗位： 物流/采購(gòu)類(lèi)-采購(gòu)工程師 物流/采購(gòu)類(lèi)-采購(gòu)專(zhuān)員/助理

尋求職位： 采購(gòu)工程師、采購(gòu)員 待遇要求： 可面議 最快到崗： 隨時(shí)到崗 教育經(jīng)歷

20xx-xx ～ 20xx-xx xx學(xué)院 電子商務(wù) 大專(zhuān) 20xx-xx ～ 20xx-xx xx中學(xué) 理科 高中

工作經(jīng)驗(yàn)至今5年1月工作經(jīng)驗(yàn)，曾在3家公司工作 xx公司名稱(chēng)（20xx-xx ～ 20xx-xx）

公司性質(zhì)： 私營(yíng)企業(yè) 行業(yè)類(lèi)別： 多元化業(yè)務(wù)集團(tuán)

擔(dān)任職位： 采購(gòu)員 崗位類(lèi)別： 采購(gòu)專(zhuān)員/助理

工作描述： 主要負(fù)責(zé)供應(yīng)商開(kāi)發(fā)、管理及考核，市場(chǎng)信息和供應(yīng)商信息的收集與調(diào)研，采購(gòu)成本預(yù)算和控制，制定并實(shí)施采購(gòu)計(jì)劃，執(zhí)行并完善成本降低及控制方案；物料采購(gòu)進(jìn)度的反饋，處理物料品質(zhì)異常，跟蹤供應(yīng)商交貨進(jìn)度，對(duì)交期負(fù)責(zé)，確保生產(chǎn)；對(duì)賬及付款計(jì)劃的安排。

離職原因： 公司搬遷

xx公司名稱(chēng)（20xx-xx ～ 20xx-xx）

公司性質(zhì)： 私營(yíng)企業(yè) 行業(yè)類(lèi)別： 家具、家電、工藝品、玩具

擔(dān)任職位： 采購(gòu)員 崗位類(lèi)別： 采購(gòu)專(zhuān)員/助理

工作描述： 20xx-x至20xx-x擔(dān)任采購(gòu)員，主要負(fù)責(zé)根據(jù)請(qǐng)購(gòu)單、采購(gòu)底稿及計(jì)劃做出判斷評(píng)估，有效的下達(dá)采購(gòu)單進(jìn)行采購(gòu)，及時(shí)將采購(gòu)進(jìn)度反饋給各相關(guān)部門(mén)；跟蹤供應(yīng)商交貨情況，物料品質(zhì)異常處理、改善及跟蹤；供應(yīng)商開(kāi)發(fā)、管理及考核，采購(gòu)成本預(yù)算、降低及控制，對(duì)賬，付款計(jì)劃安排。

20xx-x至20xx-x擔(dān)任pmc，主要負(fù)責(zé)協(xié)調(diào)銷(xiāo)貨計(jì)劃，編制合理的生產(chǎn)計(jì)劃與物料需計(jì)劃，物料的請(qǐng)購(gòu)與管控，對(duì)生產(chǎn)用料的分析、統(tǒng)計(jì)與預(yù)測(cè)，生產(chǎn)余料的分配與轉(zhuǎn)用；物料異常的跟蹤處理；物料庫(kù)存過(guò)高檢討與分析，呆滯物料產(chǎn)生的預(yù)防及處理；委外訂單的下達(dá)，跟進(jìn)委外供應(yīng)商的生產(chǎn)進(jìn)度及交貨交期，與委外供應(yīng)商溝通協(xié)調(diào)處理品質(zhì)，生產(chǎn)異常等。

離職原因： 回家

xx公司名稱(chēng)（20xx-xx ～ 20xx-xx）

公司性質(zhì)： 私營(yíng)企業(yè) 行業(yè)類(lèi)別： 家具、家電、工藝品、玩具

擔(dān)任職位： pmc助理 崗位類(lèi)別： 其他相關(guān)職位

工作描述： 主要負(fù)責(zé)完成生產(chǎn)計(jì)劃排程與物料請(qǐng)購(gòu)與管控，生產(chǎn)計(jì)劃和生產(chǎn)訂單情況跟進(jìn)；物料需求計(jì)劃的制定與執(zhí)行。

離職原因： 另謀發(fā)展 技能專(zhuān)長(zhǎng)

專(zhuān)業(yè)職稱(chēng)：

計(jì)算機(jī)水平： 中級(jí)

計(jì)算機(jī)詳細(xì)技能： 熟練操作word與excel等辦公軟件。技能專(zhuān)長(zhǎng)： 熟練操作erp系統(tǒng)及各種辦公軟件，具有良好的溝通、協(xié)調(diào)、談判能力，責(zé)任心與適應(yīng)能力強(qiáng)；具有很強(qiáng)的成本意識(shí)，良好的詢(xún)價(jià)、比價(jià)、議價(jià)和數(shù)據(jù)分析能力；具有較強(qiáng)的市場(chǎng)敏銳感與獨(dú)立開(kāi)發(fā)評(píng)估供應(yīng)商的能力。語(yǔ)言能力

普通話： 流利 粵語(yǔ)： 一般

英語(yǔ)水平：

英語(yǔ)： 一般 求職意向

發(fā)展方向： 采購(gòu)工程師、采購(gòu)員

其他要求： 自身情況

自我評(píng)價(jià)：

熟悉電子元器件和塑膠五金包材等物料；熟練操作erp系統(tǒng)及各種辦公軟件，具備相應(yīng)的電腦操作技能；熟悉采購(gòu)流程及供應(yīng)商評(píng)估、考核等相關(guān)質(zhì)量體系標(biāo)準(zhǔn)，熟悉lrp、mrp及pmc整個(gè)相關(guān)工作運(yùn)程；工作成績(jī)?cè)欢仁艿焦旧霞?jí)領(lǐng)導(dǎo)的肯定。

自信且具有良好的溝通、協(xié)調(diào)、談判能力，責(zé)任心與適應(yīng)能力強(qiáng)；具有很強(qiáng)的成本意識(shí)與良好的職業(yè)道德，良好的詢(xún)價(jià)、比價(jià)、議價(jià)和數(shù)據(jù)分析能力；具有較強(qiáng)的市場(chǎng)敏銳感與獨(dú)立開(kāi)發(fā)評(píng)估供應(yīng)商的能力；工作積極主動(dòng)、細(xì)致警謹(jǐn)，富有服務(wù)心態(tài)和團(tuán)隊(duì)協(xié)作精神，不怕壓力，樂(lè)于迎接各種挑戰(zhàn)；愛(ài)好學(xué)習(xí)、交友，性格活潑開(kāi)朗。