杭-大數(shù)據(jù)開發(fā)工程師

1、杭_大數(shù)據(jù)開發(fā)工程師_2 年求職意向: 大數(shù)據(jù)開發(fā)工程師 、spark 工程師，Hadoop 工程師2015 年 12 月2017 年 12 月哈爾濱千安科技大數(shù)據(jù)開發(fā)工程師目標職位大數(shù)據(jù)開發(fā)工程師工作性質(zhì)全職目標地點目標薪資面議01.02.03.04.05.06.07.08.09.10.熟悉 Hadoop hdfs 分布式文件系統(tǒng)原理及 HA 原理，掌握 MapReduce 計算框架編程掌握 spark core，spark sql，spark streaming 編程了解 storm 的運行原理，ack 機制，組件，掌握 storm streanming 編程掌握 redis 內(nèi)存數(shù)據(jù)庫的

2、基本原理，實現(xiàn)數(shù)據(jù)庫的毫秒查詢理解 hive 的工作原理，了解數(shù)據(jù)倉庫的建立，完成對數(shù)據(jù)日志進行查詢，統(tǒng)計等操作掌握 kafka，flume 等日志，分發(fā)框架的使用，能夠與 spark，storm 進行整合能夠使用 sqoop 工具，azkaban 工作流調(diào)度系統(tǒng)掌握 zookeeper 集群和 redis 集群的搭建和使用，及 Nginx 反向和負載均衡理解 hbase 數(shù)據(jù)倉庫的了解使用 scala 編程語言，原理，使用，及其編程編程語言11.12.了解機器學習中監(jiān)督學習與非監(jiān)督學習，pca，softmax 算法了解深度學習中 MP，感知機，BP 神經(jīng)網(wǎng)絡模型項目經(jīng)驗項目名稱基于日志的實時

3、告警系統(tǒng)開發(fā)環(huán)境IDEA+maven+jdk+git項目架構flume+kafka+hadoop +spark-streaming+echarts+ssm開發(fā)周期2017.4-2017.7專業(yè)技能求職意向工作經(jīng)歷姓名杭電子郵箱年齡26學歷本科個人博客基本資料項目名稱訪客行為軌跡分析系統(tǒng)開發(fā)環(huán)境IDEA+Maven+JDK+git開發(fā)周期2016.10-2016.12技術框架Storm+Hadoop+Flume+redis+Echarts+musql+kafka項目描述伴隨著公司業(yè)務的壯大， 投入的資本也越來越多， 對公司業(yè)務增長和支撐也越來越重要。要甄別不同 帶來的轉(zhuǎn)化率，除了從各個 統(tǒng)計的數(shù)

4、據(jù)以外，公司 也需要對這些數(shù)據(jù)進行收集和統(tǒng)計，以針對新一輪的 做出更好的策略支撐，從而提高公司的 能力。除此之外，用戶行為軌跡中其他維度的信息（包括但不僅限于 pv、uv、等等指標）也能夠為 管理員，運營 提供更準確的數(shù)據(jù)依據(jù)。從而幫助提高 流量，用戶體驗，讓訪客 的沉淀下來成為會員或客戶，通過更少的投入獲取最大化的收入。項目描述隨著公司業(yè)務的不斷發(fā)展，支撐公司業(yè)務正常運行的各種系統(tǒng)越來越多，對外提供服務接口主鍵增多，需要對此項目線上運行進行 ，做到問題的及時發(fā)現(xiàn)和處理，最大程度減少對業(yè)務的影響，通過 系統(tǒng)日志中的內(nèi)容，按照一定規(guī)則進行過濾，發(fā)現(xiàn)問題之后通過 和郵件進行告警。模塊一Flume

5、日志1、flume 客戶端應用程序產(chǎn)生的日志信息2、自定義過濾器為每個應用創(chuàng)建相應的 aap，添加在日志的第一列3、使用.apache flume.plugins.KafkaSink到 kafka 相應的 topic模塊二Storm 實時計算1、KafkaSpout對應 topic 中數(shù)據(jù)2、截取 ap和錯誤信息 message3、通過 ap查詢系統(tǒng)規(guī)則，獲取系統(tǒng)責任人相關信息4、遍歷規(guī)則，調(diào)用網(wǎng)關發(fā)送告警郵件和，并將告警信息存入數(shù)據(jù)庫5、設置定時任務，從中加載規(guī)則信息模塊三|郵件告警1、發(fā)送使用阿里大于，申請簽名，模板，內(nèi)容申請2、郵件發(fā)送使用 java，使用的日志告警郵箱模塊四系統(tǒng)管理界面

6、和報表系統(tǒng)1、spring+springmvc+mybitas+angularjs+構建 web 項目 2、實現(xiàn)用戶，申請，條件配置，3、echarts 實現(xiàn)報表展示，告警狀態(tài)展示，系統(tǒng)報表展示責任描述1、參與項目結構的設計2、負責 flume 客戶端應用程序產(chǎn)生的日志信息，并發(fā)送到 kafka 集群中3、參與數(shù)據(jù)庫用戶表，規(guī)則表，應用表等表設計4、編寫 spark-streaming 程序出現(xiàn)問題的日志發(fā)送郵件給響應責任人項目名稱應用市場應用數(shù)據(jù)比對項目開發(fā)環(huán)境IDEA+Maven+jdk+git開發(fā)周期2016.7-2016.10技術框架Httpc nt+Hbase+Redis+Elast

7、icsearch+echarts+zookeeper項目描述該項目主要是抓取應用寶、應用匯、360 助手、助手， 安卓市場，小米應用商店，樂商店， 應用市場等主要 應用市場，獲取 app 應用的標題、 作者， 量、 大小和應用詳情等信息。 臺界面為用戶提供應用信息搜索查詢，以及應用 量比對等功能，主要為公司自己 機應用市場研發(fā)，提供數(shù)據(jù)參考依據(jù)，項目主要分為 6 個模塊： 數(shù)據(jù) 層1、使用 httpcnt 爬取指定應用市場的數(shù)據(jù)二 數(shù)據(jù)層1、對爬取過來的頁面數(shù)據(jù)進行，并對關鍵性數(shù)據(jù)進行提取三 數(shù)據(jù)層1、使用 hbase應用的詳細信息2、使用 redis 的 list 隊列分頁 url 和應用

8、url，以降低 url 頻繁增刪對系統(tǒng)性能的影響，實現(xiàn)循環(huán)抓取四 數(shù)據(jù)處理層1、使用 elasticsearch 對 hbase 中的數(shù)據(jù)建立索引，提高查詢效率五 數(shù)據(jù)展現(xiàn)層1、使用 echarts+javaWeb 提供對應用量的搜索，查詢，展示，功能六 數(shù)據(jù)層1、使用 zookeeper 中的歷時節(jié)點爬蟲的生命周期2、使用 ganglia 來硬盤，CPU，內(nèi)存的使用狀況技術實現(xiàn)系統(tǒng)1、通過 Flume數(shù)據(jù)到 kafka 相應的 topic 中二 Storm-streanming 實時計算系統(tǒng)1、從 kafka 消費數(shù)據(jù)進行實時計算，并將結果存放在 redis 中三 定時任務系統(tǒng)1、定時從 redis 中數(shù)據(jù)存入中 2、根據(jù)增量數(shù)據(jù)計算不同維度的數(shù)據(jù)四 報表系統(tǒng)1、從中數(shù)據(jù)，使用 Echarts+Javaweb 展示責任描述1、參與項目架構，庫表設計2、業(yè)務代碼開發(fā)3、協(xié)助搭建測試環(huán)境自我介紹1234學習能力強，能夠快速的學習新和新技術。表達能力突出，能夠高效的實現(xiàn)與團隊和的溝通。具備一定的英文閱讀