大數(shù)據(jù)工程師簡歷3份

基本資料工作年限：4年工作狀態(tài)：目前正在找工作工作意向:大數(shù)據(jù)研發(fā)工程師、spark工程師，Hadoop工程師薪水：面議個(gè)人技能1深刻理解hdfs分布式文件系統(tǒng)存儲(chǔ)結(jié)構(gòu)和高可用原理2熟練掌握hadoopmapreduce計(jì)算框架編程，對(duì)yarn的資源調(diào)度，作業(yè)監(jiān)控有一定認(rèn)識(shí)3掌握stormstreaming編程，對(duì)定時(shí)批量任務(wù)處理，分布式rpc有一定認(rèn)識(shí)4深刻了解Spark底層運(yùn)行機(jī)制，4熟練掌握scala編程，能運(yùn)用scala進(jìn)行sparkRDD，sparkstreaming編程5熟悉flume，kafka等日志收集，分發(fā)框架的使用，能夠?qū)⑺麄兒蛃torm，spark進(jìn)行整合進(jìn)行數(shù)據(jù)的實(shí)時(shí)處理6能夠熟練運(yùn)用hive數(shù)據(jù)倉庫工具，對(duì)日志數(shù)據(jù)進(jìn)行查詢，統(tǒng)計(jì)等數(shù)據(jù)操作，并且有一定的數(shù)據(jù)優(yōu)化經(jīng)驗(yàn)7能將hive和sparksql進(jìn)行整合，進(jìn)行數(shù)據(jù)查詢等相關(guān)操作8熟悉hbase數(shù)據(jù)庫的使用，及其編程9熟悉redis內(nèi)存數(shù)據(jù)庫，能搭建redis高可用集群及其編程10熟悉ELK技術(shù)棧，了解ElasticSearch，Logstash的整合使用11掌握Sqoop數(shù)據(jù)遷移工具的使用，能熟練的將數(shù)據(jù)從不同的存儲(chǔ)介質(zhì)進(jìn)行遷移12了解linux系統(tǒng)，熟悉常用的linux的shell命令，能在linux系統(tǒng)下搭建開發(fā)環(huán)境13熟練掌握J(rèn)avaSE，深刻理解面向?qū)ο笤O(shè)計(jì)思想，熟練使用IO流操作和集合框架，網(wǎng)絡(luò)編程等JavaSE主流技術(shù)。14能使用反射、注解、動(dòng)態(tài)代理等Java高級(jí)技術(shù)，對(duì)代碼的封裝抽取及其性能優(yōu)化有點(diǎn)一定的經(jīng)驗(yàn)。15熟悉Struts，Spring，Hibernate，Servlet，Jsp等WEB編程技術(shù)16能熟練使用Oracle，MySql主流數(shù)據(jù)庫技術(shù)，擅長SQL語句的編寫工作經(jīng)驗(yàn)1公司名稱：北京聯(lián)想利泰軟件有限公司性質(zhì)：民營時(shí)間：2014年8月-至今職位：大數(shù)據(jù)研發(fā)工程師參與項(xiàng)目：游戲運(yùn)營指標(biāo)分析項(xiàng)目樂玩家社區(qū)用戶行為分析項(xiàng)目移動(dòng)應(yīng)用市場應(yīng)用信息比對(duì)項(xiàng)目2公司名稱：首都信息發(fā)展股份有限公司性質(zhì)：國有控股時(shí)間：2013年4月-2014年7月職位：JavaEE工程師參與項(xiàng)目：欽州個(gè)人貸款系統(tǒng)電子檔案管理系統(tǒng)3公司名稱：浙江長天信息技術(shù)有限公司性質(zhì)：民營時(shí)間：2012年3月-2013年3月職位：javaEE工程師參與項(xiàng)目：杭州市蕭山區(qū)基層公共衛(wèi)生服務(wù)系統(tǒng)杭州市蕭山區(qū)電力中心設(shè)備資源管理系統(tǒng)項(xiàng)目經(jīng)驗(yàn)大數(shù)據(jù)項(xiàng)目部分項(xiàng)目名稱：游戲運(yùn)營指標(biāo)分析項(xiàng)目開發(fā)環(huán)境：IDEA+maven+scala+jdk+git系統(tǒng)架構(gòu)：ElasticSearch+Logstash+Kafka+Zookeeper+Spark+Hdfs+Hbase+Mysql+Echarts項(xiàng)目描述：游戲玩家的各種行為會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)可以幫助游戲運(yùn)維者了解玩家的行為和需求，通過玩家反饋的信息可以不斷地矯正游戲中出現(xiàn)的問題，從而讓游戲健康穩(wěn)定的可持續(xù)運(yùn)營。該項(xiàng)目就是為某公司的一款游戲運(yùn)營情況做多角度的指標(biāo)分析，從而更好的為公司的游戲推廣策略，精準(zhǔn)營銷，游戲玩家的體驗(yàn)優(yōu)化，游戲產(chǎn)品的研發(fā)等多方面提供數(shù)據(jù)反饋參考。項(xiàng)目中分析到的指標(biāo)有新增玩家，活躍玩家，玩家留存率，玩家流失率，玩游戲平均時(shí)長，玩游戲頻次，收入數(shù)據(jù)（收入金額，充值人數(shù)，收入地區(qū)分布等）責(zé)任描述：1負(fù)責(zé)日志數(shù)據(jù)的采集，使用logstash框架，日志數(shù)據(jù)來源分為兩部分：游戲官網(wǎng)埋點(diǎn)采集用戶點(diǎn)擊日志游戲服務(wù)器端收集的所有游戲玩家產(chǎn)生的日志2將采集的日志存入kafka，供各個(gè)業(yè)務(wù)模塊消費(fèi)使用3利用sparkRdd和sparkstreaming編程對(duì)新增玩家，活躍玩家，玩家留存率，收入數(shù)據(jù)等指標(biāo)的多維度統(tǒng)計(jì)分析4將自己分析的實(shí)時(shí)指標(biāo)數(shù)據(jù)存入hbase，離線指標(biāo)數(shù)據(jù)存入mysql5將自己分析的指標(biāo)結(jié)果用Echarts圖標(biāo)展示出來項(xiàng)目名稱：樂玩家社區(qū)用戶行為分析系統(tǒng)開發(fā)環(huán)境：eclipse+maven+jdk+git系統(tǒng)架構(gòu)：hadoop+zookeeper+flume+hive+hbase+sqoop+mysql+SSM+Echarts項(xiàng)目描述：樂玩家社區(qū)是聯(lián)想手機(jī)社區(qū)論壇，用于用戶粉絲交流互動(dòng)，同時(shí)發(fā)布聯(lián)想手機(jī)的各個(gè)品牌宣傳信息，以及收集用戶反饋，用戶可以在上面發(fā)帖，提建議，發(fā)起各種交流活動(dòng)，通過對(duì)樂玩家社區(qū)網(wǎng)站的日志進(jìn)行分析，計(jì)算網(wǎng)站關(guān)鍵指標(biāo)，其中關(guān)鍵性指標(biāo)有，瀏覽量:頁面瀏覽量即為PV(PageView)，每日登陸用戶數(shù)UV，每周UV，。跳出率=跳出數(shù)/PV：跳出率是非常重要的訪客黏性指標(biāo)，它顯示了訪客對(duì)網(wǎng)站的興趣程度：跳出率越低說明流量質(zhì)量越好，訪客對(duì)網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實(shí)用戶。板塊訪問量pv，和板塊獨(dú)立ip訪問量。多維度用戶留存率責(zé)任描述:1使用flume監(jiān)聽每天的日志目錄，將每天的日志文件上傳到hdfs上相應(yīng)的目錄下2.通過寫mapreduce任務(wù)對(duì)數(shù)據(jù)進(jìn)行清洗3.用hive進(jìn)行網(wǎng)站的pv，uv，用戶注冊(cè)數(shù)，用戶留存率進(jìn)行多維度分析統(tǒng)計(jì)開發(fā)步驟：1.使用flume把日志數(shù)據(jù)導(dǎo)入到hdfs中2.通過mapreduce對(duì)數(shù)據(jù)進(jìn)行清洗，生成規(guī)范數(shù)據(jù)文件上傳到hdfs3.使用hive進(jìn)行數(shù)據(jù)的多維分析4.把hive分析結(jié)果使用sqoop導(dǎo)出到mysql中5.提供圖表和表格進(jìn)行數(shù)據(jù)展示項(xiàng)目名稱：應(yīng)用市場應(yīng)用比對(duì)項(xiàng)目開發(fā)環(huán)境：Eclipse+Maven+jdk+git技術(shù)框架：Httpclient+Xpath+Hbase+Redis+Elasticsearch+Springmvc+Jquery+echarts+zookeeper+ganglia項(xiàng)目描述：該項(xiàng)目主要是抓取應(yīng)用寶、應(yīng)用匯、360手機(jī)助手、百度手機(jī)助手，百度安卓市場，小米應(yīng)用商店，樂商店，華為應(yīng)用市場等主要手機(jī)應(yīng)用市場，主要獲取app應(yīng)用的標(biāo)題、軟件作者，下載量、軟件大小和應(yīng)用詳情等信息，在前臺(tái)界面為用戶提供應(yīng)用信息搜索查詢，以及應(yīng)用下載量比對(duì)等功能，主要為公司自己的手機(jī)應(yīng)用市場研發(fā)，提供數(shù)據(jù)參考依據(jù)，這個(gè)項(xiàng)目主要分為6個(gè)模塊，數(shù)據(jù)下載層、數(shù)據(jù)解析層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層、數(shù)據(jù)展現(xiàn)層、系統(tǒng)監(jiān)控層。技術(shù)要點(diǎn)：1：數(shù)據(jù)下載層，主要負(fù)責(zé)爬取指定應(yīng)用市場網(wǎng)站的數(shù)據(jù)，在這我們使用httpclient工具模擬瀏覽器進(jìn)行頁面下載。2：數(shù)據(jù)解析層：主要是這對(duì)抓取過來的頁面數(shù)據(jù)進(jìn)行解析，使用htmlcleaner+xpath對(duì)關(guān)鍵性數(shù)據(jù)進(jìn)行解析提取。3：數(shù)據(jù)存儲(chǔ)層，這個(gè)模塊主要負(fù)責(zé)存儲(chǔ)應(yīng)用的詳細(xì)信息，由于應(yīng)用詳細(xì)信息數(shù)據(jù)量比較大，所以存儲(chǔ)到hbase中。由于需要循環(huán)抓取網(wǎng)站中指定分類或者是所有的數(shù)據(jù)，所以需要把分頁的url和應(yīng)用的url臨時(shí)存儲(chǔ)到一個(gè)隊(duì)列中，這樣可以實(shí)現(xiàn)一個(gè)循環(huán)抓取。這個(gè)url數(shù)據(jù)相對(duì)比較少，并且增刪頻繁，所以存儲(chǔ)到redis的list隊(duì)列中。4：數(shù)據(jù)處理層，這個(gè)模塊主要是為前臺(tái)的查詢提供幫助，因?yàn)橹苯痈鶕?jù)關(guān)鍵字查詢hbase中某一些列的數(shù)據(jù)，效率太低，所以使用elasticsearch對(duì)hbase中的數(shù)據(jù)建立索引，也就是es+hbase的架構(gòu)。5：數(shù)據(jù)展現(xiàn)層，這個(gè)模塊主要提供前臺(tái)搜索、查詢、展示、應(yīng)用下載量等功能，頁面框架使用springmvc，其中價(jià)格趨勢(shì)波動(dòng)圖是使用echarts實(shí)現(xiàn)的。6：數(shù)據(jù)監(jiān)控層，這個(gè)模塊主要負(fù)責(zé)監(jiān)控爬蟲的聲明周期以及服務(wù)器硬件的使用情況，監(jiān)控爬蟲的生命周期使用zookeeper中的臨時(shí)節(jié)點(diǎn)來實(shí)現(xiàn)，監(jiān)控服務(wù)器的硬件使用情況，例如硬盤、CPU、內(nèi)存的使用情況使用ganglia進(jìn)行監(jiān)控責(zé)任描述：1應(yīng)用寶，百度安卓市場，小米應(yīng)用商店3個(gè)應(yīng)用上所有應(yīng)用信息數(shù)據(jù)的網(wǎng)絡(luò)爬取2對(duì)解析出的應(yīng)用信息（應(yīng)用名稱，所屬研發(fā)公司或者團(tuán)隊(duì)，下載量，應(yīng)用大小，評(píng)分以及詳細(xì)介紹）等信息存入hbase，并抽取查詢接口，供前端展示3為加快查詢速度，對(duì)一些關(guān)鍵字段（應(yīng)用名稱，所屬研發(fā)公司或團(tuán)隊(duì)）使用Elasticsearch字段建立索引，使得前端能通過關(guān)鍵字迅速查詢到相應(yīng)結(jié)果JavaEE項(xiàng)目部分項(xiàng)目名稱：欽州個(gè)人公積金貸款系統(tǒng)開發(fā)環(huán)境：MyEclipse+Svn+JavaEE5+JDK技術(shù)架構(gòu)：Spring+SpringMVC+Mybatis+Oracle+ExtJs項(xiàng)目描述：住房公積金的個(gè)人貸款系統(tǒng)分為網(wǎng)點(diǎn)業(yè)務(wù)和中心審批兩部分。網(wǎng)點(diǎn)業(yè)務(wù)業(yè)務(wù)指需要網(wǎng)點(diǎn)辦理的個(gè)人貸款各類日常業(yè)務(wù)，中心審批指在需要中心審批日常業(yè)務(wù)；在實(shí)時(shí)系統(tǒng)下，網(wǎng)點(diǎn)日常貸款業(yè)務(wù)需要?jiǎng)?wù)及中心審批結(jié)合起來共同完成。為實(shí)現(xiàn)上述功能，住房公積貸款管理系統(tǒng)集成了包括網(wǎng)點(diǎn)貸款受理申請(qǐng)、網(wǎng)點(diǎn)審批、中心審批、合同管理、信用評(píng)估、抵押管理、放款管理、項(xiàng)目管理、還款變更、審核設(shè)置和查詢打印等幾大功能模塊。責(zé)任描述：申請(qǐng)受審（咨詢受理，資料錄入，退回上報(bào)，資料掃描）查詢（申請(qǐng)狀態(tài)查詢，總賬查詢，個(gè)人明細(xì)查詢，逾期查詢，貸款還清查詢）項(xiàng)目名稱：電子檔案管理系統(tǒng)開發(fā)環(huán)境：MyEclipse+Svn+JDK技術(shù)架構(gòu)：Spring+SpringMVC+Mybatis+Oracle+Jquery+PB報(bào)表軟件項(xiàng)目描述電子檔案管理系統(tǒng)是一個(gè)采用檔案電子化、影像數(shù)字化、辦公無紙化以及信息網(wǎng)絡(luò)化等先進(jìn)技術(shù)，實(shí)現(xiàn)包括檔案文件、聲音、影像、文本在內(nèi)的多媒體檔案資源的存儲(chǔ)和查詢檢索的計(jì)算機(jī)系統(tǒng)，為檔案資料管理、利用和保護(hù)提供了有效的技術(shù)保證，可大大節(jié)約數(shù)據(jù)存儲(chǔ)空間，無限地延長檔案材料保存時(shí)間，同時(shí)也為查閱、利用檔案文獻(xiàn)帶來了極大的便利。該電子檔案管理系統(tǒng)的功能主要有建檔管理，歸檔管理，檔案變更，檔案查詢，檔案借閱，檔案歸還，檔案催還，檔案預(yù)約，后臺(tái)系統(tǒng)管理（組織機(jī)構(gòu)管理，用戶管理，角色管理，權(quán)限管理）責(zé)任描述：主要負(fù)責(zé)建檔管理，歸檔管理，檔案查詢，檔案借閱，檔案歸還等業(yè)務(wù)模塊項(xiàng)目名稱杭州市蕭山區(qū)電力中心設(shè)備資源管理系統(tǒng)開發(fā)工具：MyEclipse+Struts2+Hibernate3+Spring3+Weblogic+Oracle10g系統(tǒng)環(huán)境：Linux項(xiàng)目介紹：本系統(tǒng)是用于對(duì)電力監(jiān)測(cè)中心設(shè)備資源的管理和維護(hù)。主要功能包括技術(shù)設(shè)施管理，技術(shù)資料圖紙管理，站點(diǎn)設(shè)備運(yùn)行管理，監(jiān)測(cè)臺(tái)建筑管理，系統(tǒng)管理（用戶管理，權(quán)限管理，色管理，待辦事宜，數(shù)據(jù)字典維護(hù)），審批流程管理（申請(qǐng)模板，草擬申請(qǐng)，待我審批，我的申請(qǐng)查詢）。責(zé)任描述：主要負(fù)責(zé)系統(tǒng)管理中的用戶管理，待辦事宜，數(shù)據(jù)字典等模塊和審批流程管理的申請(qǐng)模板和草擬申請(qǐng)模塊，站點(diǎn)設(shè)備運(yùn)行管理項(xiàng)目名稱：杭州市蕭山區(qū)基層公共衛(wèi)生服務(wù)系統(tǒng)開發(fā)工具：Eclipse+Struts2+Hibernate3+Spring3+SQLyog+MySQL+Tomcat系統(tǒng)環(huán)境：WindowsXP項(xiàng)目描述：本系統(tǒng)是杭州市蕭山區(qū)某基層公共衛(wèi)生服務(wù)系統(tǒng)。以維護(hù)居民健康檔案為重點(diǎn)，并對(duì)居民的健康信息進(jìn)行數(shù)據(jù)采集，統(tǒng)計(jì)分析，為決策者了解當(dāng)?shù)氐墓残l(wèi)生服務(wù)狀況提供數(shù)據(jù)參考。主要功能模塊包括：系統(tǒng)管理（員工管理，權(quán)限管理，角色管理，待辦任務(wù)，數(shù)據(jù)字典維護(hù)），日志管理（門診日志查詢），檔案管理（檔案審核入庫，檔案調(diào)出，調(diào)出審核、檔案歸還），公衛(wèi)服務(wù)（健康教育，傳染病填報(bào)，國家疫苗管理，公衛(wèi)突發(fā)事件管理），統(tǒng)計(jì)報(bào)表等。主要負(fù)責(zé)模塊：系統(tǒng)管理中的員工管理、數(shù)據(jù)字典維護(hù)、檔案管理整個(gè)模塊自我評(píng)價(jià)1為人隨和，具備團(tuán)隊(duì)合作精神

2對(duì)待學(xué)習(xí)工作認(rèn)真負(fù)責(zé)，能勝任壓力較大的工作；

3具備較強(qiáng)的英文閱讀能力，能夠閱讀英文技術(shù)類文檔

4學(xué)習(xí)新事物的能力較強(qiáng)，能較快的掌握一門新技術(shù)。Hadoop軟件工程師個(gè)人信息 個(gè)人信息姓名： 性別：男 年齡：26歲 學(xué)歷：本科籍貫： 英語水平：CET-4，熟練閱讀API文檔畢業(yè)院校：聯(lián)系電話： 工作經(jīng)驗(yàn)：3年電子郵件：求職意向求職意向工作性質(zhì)：全職 目標(biāo)地點(diǎn)：北京目標(biāo)職能：hadoop高級(jí)工程師 目標(biāo)薪資：面議工作經(jīng)歷工作經(jīng)歷單位名稱：正保教育 職位名稱：hadoop軟件工程師工作時(shí)間：2014.3-2015年7月工作描述：1、主要從事軟件編碼工作。2、需求調(diào)研，需求分析，功能模塊分析以及編碼實(shí)現(xiàn)等。3、調(diào)整整個(gè)項(xiàng)目的開發(fā)周期4、參與系統(tǒng)的業(yè)務(wù)需求分析5、把握項(xiàng)目周期單位名稱：創(chuàng)維互聯(lián)新能源科技有限公司 職位名稱：hadoop項(xiàng)目經(jīng)理工作時(shí)間：2015.7-至今工作描述：1、項(xiàng)目的需求分析2、項(xiàng)目的架構(gòu)設(shè)計(jì)3、項(xiàng)目的擴(kuò)展性設(shè)計(jì)4、編碼工作5、把握項(xiàng)目周期專業(yè)技能專業(yè)技能1.理解hadoop的分布式文件系統(tǒng)，掌握hadoop集群的搭建根據(jù)業(yè)務(wù)需求，完成Map/Reduce編程3.設(shè)計(jì)hive數(shù)據(jù)倉庫設(shè)計(jì)，數(shù)據(jù)倉庫主題分析4.擅長sqoop數(shù)據(jù)傳輸工具5.擅長kafak消息隊(duì)列，和strom的對(duì)接6.設(shè)計(jì)storm實(shí)時(shí)處理方案7.設(shè)計(jì)storm數(shù)據(jù)落地的完整性需求8.設(shè)計(jì)hbase數(shù)據(jù)倉庫，實(shí)現(xiàn)二級(jí)索引，達(dá)到完美的批量寫，毫秒級(jí)別的查詢9.設(shè)計(jì)hbase和hive的數(shù)據(jù)增量10.熟練掌握redis實(shí)時(shí)nosql數(shù)據(jù)庫的使用11.扎實(shí)的Java基礎(chǔ)，良好的編碼風(fēng)格項(xiàng)目經(jīng)歷項(xiàng)目經(jīng)歷項(xiàng)目一：創(chuàng)維互聯(lián)新能源大數(shù)據(jù)平臺(tái)項(xiàng)目名稱：新能云平臺(tái)軟件架構(gòu)：kafka+strom+redis+hbase+hive+cdh+sqoop開發(fā)環(huán)境：eclipse+jdk1.7+mysql+maven+svn項(xiàng)目描述：隨著國家對(duì)新能源行業(yè)的重視和發(fā)展，利用大數(shù)據(jù)技術(shù)，以軟件免費(fèi)共享的模式，實(shí)現(xiàn)電站發(fā)電設(shè)備狀態(tài)可控在控、故障處理準(zhǔn)確及時(shí)、人員操作安全規(guī)范、統(tǒng)計(jì)分析深入全面、運(yùn)行維護(hù)智能高效、經(jīng)營效益不斷提高。責(zé)任描述：1.參與前期項(xiàng)目分析，設(shè)計(jì)系統(tǒng)整體架構(gòu)2.數(shù)據(jù)采集設(shè)計(jì)，實(shí)時(shí)處理部分strom設(shè)計(jì)3.strom寫hbase的實(shí)質(zhì)意義的批量寫設(shè)計(jì)4.hbase和hive增量對(duì)接方案設(shè)計(jì)，hbase二級(jí)索引，分頁方案設(shè)計(jì)5.hive數(shù)據(jù)倉庫設(shè)計(jì)和維護(hù)，數(shù)據(jù)主題的抽取，數(shù)據(jù)維度分析開發(fā)步驟：1.通過遠(yuǎn)程調(diào)用，把二進(jìn)制數(shù)據(jù)壓縮傳輸給kafak，在kafak的消費(fèi)者端進(jìn)行解壓2.strom通過和kafak對(duì)接，消費(fèi)kafak消息隊(duì)列里面的數(shù)據(jù)，strom進(jìn)行故障判斷等分析3.strom將分析的結(jié)果實(shí)時(shí)存入到redis中，同事把歷史數(shù)據(jù)全量寫入到hbase中，滿足實(shí)時(shí)查詢4.數(shù)據(jù)落地到hbase中，把hbase中的數(shù)據(jù)和hive進(jìn)行對(duì)接，每天增量更新，傳入到hive數(shù)據(jù)倉庫中按天進(jìn)行分表操作5.hive數(shù)據(jù)倉庫設(shè)計(jì)，主題抽取，維度分析，分析歷史數(shù)據(jù)，最后把每天分析的結(jié)果存放到hbase中，供給也沒進(jìn)行查詢操作項(xiàng)目二：中華會(huì)計(jì)網(wǎng)數(shù)據(jù)分析統(tǒng)計(jì)項(xiàng)目名稱：中華會(huì)計(jì)網(wǎng)數(shù)據(jù)分析統(tǒng)計(jì)

軟件架構(gòu)：hadoop+flume+Hbase+hive開發(fā)環(huán)境：Eclipse+Jdk1.7+maven+svn項(xiàng)目描述：該項(xiàng)目主要對(duì)教師，學(xué)生，已經(jīng)課件，課程的相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。通過統(tǒng)計(jì)分析可以分析出老師的受歡迎程度，老師上課的質(zhì)量，學(xué)生的學(xué)習(xí)的情況，學(xué)生的學(xué)習(xí)習(xí)慣，學(xué)習(xí)行為進(jìn)行分析，以及課件的受歡迎程度，題庫的答疑。已經(jīng)對(duì)賬號(hào)公用，對(duì)非法登賬號(hào)異常進(jìn)行統(tǒng)計(jì)分析，從而保證產(chǎn)品的版權(quán)問題。課程的難易程度進(jìn)行分析。從而為決策者提供有效的策略方案。責(zé)任描述：1.數(shù)據(jù)的收集工作，通過flume，把數(shù)據(jù)存放到hadoop系統(tǒng)中。2.通過hbase的數(shù)據(jù)導(dǎo)入，從而方便以后的查詢等操作3.對(duì)hive和hbase進(jìn)行優(yōu)化操作開發(fā)步驟：1.利用flume收集數(shù)據(jù)，存放到hadoop中，例如來自傳統(tǒng)數(shù)據(jù)的的數(shù)據(jù)用mr進(jìn)行收集，存 放到hadoop中。2.對(duì)數(shù)據(jù)進(jìn)行初級(jí)過濾，把過濾后的數(shù)據(jù)存放到基礎(chǔ)數(shù)據(jù)層中3.對(duì)基礎(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行進(jìn)一步分析，存放到通用數(shù)據(jù)層中4.根據(jù)業(yè)務(wù)需求，對(duì)通用數(shù)據(jù)層中的數(shù)據(jù)進(jìn)行進(jìn)一步的分析，從而得到業(yè)務(wù)需求數(shù)據(jù)，5把業(yè)務(wù)分析過后的數(shù)據(jù)通過sqoop導(dǎo)入到mysql中，從而進(jìn)行前臺(tái)展現(xiàn)項(xiàng)目三：正保教育畫像系統(tǒng)平臺(tái)項(xiàng)目名稱：正保教育畫像系統(tǒng)平臺(tái)軟件架構(gòu)：hadoop+hive+Hibernate+mysql+spring開發(fā)環(huán)境：eclipse+tomcat6.0+mysql+svn項(xiàng)目描述：正保教育用戶畫像系統(tǒng)，主要基于hive數(shù)據(jù)倉庫之上的數(shù)據(jù)分析展現(xiàn)模塊，其中主要用用戶基礎(chǔ)信息畫像，包括：年齡，地域，性別，職業(yè)等基礎(chǔ)信息畫像。不同網(wǎng)站的流量趨勢(shì)畫像，其中包括：訪問趨勢(shì)，新增訪問客，活躍訪客，訪問量（每日，每周，每月）。訪問畫像：地域分析，客戶端環(huán)境，設(shè)備屬性畫像，移動(dòng)終端，網(wǎng)絡(luò)連接畫像（運(yùn)營商）。責(zé)任描述：1.項(xiàng)目前期分析，負(fù)責(zé)整個(gè)項(xiàng)目的數(shù)據(jù)庫設(shè)計(jì)和規(guī)劃2.主要負(fù)責(zé)對(duì)整個(gè)系統(tǒng)開發(fā)的模塊管理和規(guī)劃3.系統(tǒng)主要用easyUI最為前臺(tái)展示自我評(píng)價(jià)自我評(píng)價(jià)1、參與過多個(gè)項(xiàng)目的開發(fā)，熟悉常見業(yè)務(wù)處理，能快速融入團(tuán)隊(duì)；2、邏輯思維能力強(qiáng)，思路清楚，學(xué)習(xí)能力強(qiáng)，對(duì)新技術(shù)有著強(qiáng)烈的好奇心；3、對(duì)工作盡職盡責(zé)，樂于從事有挑戰(zhàn)性的工作；4、樂于與用戶以及同事和領(lǐng)導(dǎo)溝通，以便快速解決項(xiàng)目遇到的問題；5、具有良好的英語閱讀能力，能閱讀英文資料、技術(shù)文檔等；個(gè)人簡歷個(gè)人概況個(gè)人概況求職意向求職意向工作性質(zhì)：全職 目標(biāo)地點(diǎn)：北京目標(biāo)職位：大數(shù)據(jù)研發(fā)工程師 目標(biāo)薪資：面議工作經(jīng)歷工作經(jīng)歷公司名稱：北京融易通信息技術(shù)有限公司職位名稱：大數(shù)據(jù)研發(fā)工程師 工作時(shí)間：2013年7月-至今專業(yè)技能專業(yè)技能基礎(chǔ)技能：熟練掌握J(rèn)ava初級(jí)知識(shí)以及高級(jí)知識(shí)，例如：反射、泛型及代理等技術(shù)。具備良好的面向?qū)ο缶幊趟枷耄⑶沂煜こＳ玫腏ava設(shè)計(jì)模式（如單例、裝飾、工廠等設(shè)計(jì)模式）熟練掌握Scala熟悉python,shell熟悉jvm熟悉常用的數(shù)據(jù)結(jié)構(gòu)和算法熟悉linux操作系統(tǒng)大數(shù)據(jù)技能：熟練掌握：Spark熟讀spark核心源碼，深入理解spark工作機(jī)制。掌握spark任務(wù)的提交，執(zhí)行流程,對(duì)分布式計(jì)算有一定的理解熟悉：SparkStreaming,SparkSql熟練掌握:Hadoop(MapReduce,Yarn,Hdfs)，可以調(diào)優(yōu),重寫大部分mr組件,深入理解MapReduce編程模型。熟練掌握：Hive，及優(yōu)化，UDF,UDTF,UDAF熟悉：Hbase，理解Hbase的存儲(chǔ)原理和存儲(chǔ)架構(gòu)熟悉：Storm及其原理 熟悉：flume,logStash,kafka,elasticsearch,Sqoop,zookeeper,kibana，azkaban等大數(shù)據(jù)相關(guān)組件了解Ik-analyzer，MongoDB等開源技術(shù)了解機(jī)器學(xué)習(xí)(Canopy，KNN，Kmeans,樸素貝葉斯，協(xié)同過濾，決策樹，邏輯回歸，SVM)了解mahout，MLlib JavaEE技能：熟悉JavaEE相關(guān)框架：Struts2,Hibernate,Spring,Mybatis，SpringMVC，等web相關(guān)技術(shù)了解Activity，lucene，WebService數(shù)據(jù)庫技能：熟悉Oracle、MySQL數(shù)據(jù)庫，能夠進(jìn)行簡單的PL/SQL開發(fā)，并且了解數(shù)據(jù)庫的優(yōu)化。項(xiàng)目經(jīng)驗(yàn)項(xiàng)目經(jīng)驗(yàn)MDAP移動(dòng)數(shù)據(jù)分析平臺(tái)開發(fā)環(huán)境：Windows+JDK1.7+Eclipse+linux+mysql軟件架構(gòu)：Spark1.3，hbase,kafka,flume,hdfs,zookeeper開發(fā)時(shí)間/開發(fā)周期：2015.3-至今系統(tǒng)目標(biāo)：MDAP2.0是融易通打造的一款數(shù)據(jù)分析產(chǎn)品，專注于移動(dòng)應(yīng)用領(lǐng)域，旨在為企業(yè)更好地了解用戶行為習(xí)慣、及時(shí)掌握運(yùn)營情況提供幫助，同時(shí)以數(shù)據(jù)作為支撐，為應(yīng)用設(shè)計(jì)優(yōu)化和實(shí)現(xiàn)精準(zhǔn)營銷提供依據(jù)。系統(tǒng)實(shí)現(xiàn)：移動(dòng)應(yīng)用集成數(shù)據(jù)采集SDK后，數(shù)據(jù)采集SDK自動(dòng)采集應(yīng)用和設(shè)備的部分信息，對(duì)于SDK無法自動(dòng)采集的數(shù)據(jù)，使用Nginx插件結(jié)合LuaAPI進(jìn)行采集。發(fā)送到數(shù)據(jù)采集服務(wù)器。數(shù)據(jù)采集服務(wù)器使用flume進(jìn)行數(shù)據(jù)采集，把數(shù)據(jù)采集到Kafka集群。業(yè)務(wù)服務(wù)器生成的日志通過flume采集到kafka集群。然后kafka集群的數(shù)據(jù)落地到hdfs上。離線業(yè)務(wù)從hdfs集群中讀取數(shù)據(jù)，在Spark集群中進(jìn)行業(yè)務(wù)處理，指標(biāo)計(jì)算。離線計(jì)算有3個(gè)job：增量計(jì)算，聚合，批量計(jì)算。增量計(jì)算是指每次計(jì)算數(shù)據(jù)指標(biāo)時(shí)只包含數(shù)據(jù)新增的部分，然后將計(jì)算得出的增量結(jié)果累加到最終的結(jié)果中，我們通過給每個(gè)用戶維護(hù)一個(gè)state數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)增量計(jì)算，state的初始狀態(tài)為空，在進(jìn)行增量計(jì)算時(shí)首先讀取用戶的state，然后借助state判斷本次增量結(jié)果，然后將增量結(jié)果累加到最終結(jié)果，最后更新用戶的state狀態(tài)并對(duì)state做持久化保存。增量計(jì)算完的結(jié)果保存在Hbase中。聚合：將新增數(shù)據(jù)和以往的數(shù)據(jù)聚合。批量計(jì)算：批量修改算有的用戶。kibana報(bào)表展現(xiàn)實(shí)時(shí)業(yè)務(wù)直接從kafka集群中讀取數(shù)據(jù)，通過SparkStreaming進(jìn)行實(shí)時(shí)計(jì)算，業(yè)務(wù)監(jiān)控。日志監(jiān)控告警系統(tǒng)開發(fā)環(huán)境：Windows+JDK1.7+Eclipse+linux+mysql軟件架構(gòu)：flume,kafka,Strom，redis,mysql,Zookeeper開發(fā)時(shí)間/開發(fā)周期：2015.1-2015.3 系統(tǒng)目標(biāo)：監(jiān)控系統(tǒng)日志中的內(nèi)容，按照一定規(guī)則進(jìn)行過濾。發(fā)現(xiàn)問題之后通過短信和郵件進(jìn)行告警系統(tǒng)實(shí)現(xiàn)：主要架構(gòu)為應(yīng)用+flume+kafka+storm+mysql、redis+Javaweb。數(shù)據(jù)流程如下：應(yīng)用程序使用log4j產(chǎn)生日志部署flume客戶端監(jiān)控應(yīng)用程序產(chǎn)生的日志信息，并發(fā)送到kafka集群中stormspout拉去kafka的數(shù)據(jù)進(jìn)行消費(fèi)，逐條過濾每條日志的進(jìn)行規(guī)則判斷，對(duì)符合規(guī)則的日志進(jìn)行郵件告警。最后將告警的信息保存到mysql數(shù)據(jù)庫中，用來進(jìn)行管理。日志信息統(tǒng)計(jì)分析系統(tǒng) 開發(fā)環(huán)境：Windows+JDK1.7+Hadop-2.4.1+Eclipse+linux+mysql軟件架構(gòu)：Hadoop-2.4.1，Zookeeper,Hive,sqoop開發(fā)時(shí)間/開發(fā)周期：2014.3-2015.1 系統(tǒng)目標(biāo)： 通過Hadoop集群處理銀行產(chǎn)生的大量的日志信息，通過分布式存儲(chǔ)，按小時(shí)保存并以小時(shí)為周 期上一小時(shí) 的數(shù)據(jù)同步到日志分析機(jī)上。統(tǒng)計(jì)數(shù)據(jù)按天更新，供業(yè)務(wù)系統(tǒng)處理使用。系統(tǒng)實(shí)現(xiàn)：1、數(shù)據(jù)采集清洗、分類、合并上傳HDFS集群把數(shù)據(jù)采集下來后對(duì)數(shù)據(jù)進(jìn)行清洗，過濾掉交易狀態(tài)為0的數(shù)據(jù)，把小文件進(jìn)行合并上傳到Hdfs集群。需要對(duì)各個(gè)業(yè)務(wù)部門的日志進(jìn)行分類，分別輸出到不同的文件里面（需要重寫Partitioner組件）。有些日志有很多