大數(shù)據(jù)工程師崗位職責(zé)18篇

Word版本，下載可自由編輯大數(shù)據(jù)工程師崗位職責(zé)(18篇）大數(shù)據(jù)工程師崗位職責(zé)（1）

職責(zé):

1、負(fù)責(zé)所分管團(tuán)隊(duì)的團(tuán)隊(duì)建設(shè)和日常管理工作;

2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化，持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺(tái)中，支撐城市級(jí)大數(shù)據(jù)平臺(tái)業(yè)務(wù);

3、擔(dān)當(dāng)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計(jì);

4、擔(dān)當(dāng)項(xiàng)目中數(shù)據(jù)相關(guān)方案設(shè)計(jì)及數(shù)據(jù)團(tuán)隊(duì)管理;

5、參與城市大數(shù)據(jù)項(xiàng)目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實(shí)施工作。

任職資格:

1、1年以上數(shù)據(jù)開發(fā)工作閱歷，嫻熟使用SQL查詢引擎;

2、熟識(shí)Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

3、具備良好的編程語言基礎(chǔ)如：java/python/scala/c++/shell等

4、二本以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)受者優(yōu)先

5、個(gè)人素養(yǎng)要求：目光長(zhǎng)遠(yuǎn)、態(tài)度懇切、崗位有穩(wěn)定性，能夠長(zhǎng)期培育、具備很強(qiáng)的自學(xué)力量、承壓力量強(qiáng)、接受出差支援項(xiàng)目等工作。對(duì)數(shù)據(jù)工作具備深厚的愛好并有明確職業(yè)規(guī)劃，優(yōu)秀的學(xué)習(xí)力量和團(tuán)隊(duì)溝通協(xié)作力量，對(duì)新技術(shù)有深厚愛好并有鉆研精神。

大數(shù)據(jù)工程師崗位職責(zé)（2）

職責(zé)

1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級(jí)別數(shù)據(jù)的全文檢索，搜尋引擎的產(chǎn)品研發(fā);

2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研發(fā)數(shù)據(jù)與實(shí)際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);

3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開發(fā)，擔(dān)當(dāng)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。

任職要求：

1、熟識(shí)Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈，具備相關(guān)項(xiàng)目開發(fā)閱歷，有數(shù)據(jù)實(shí)時(shí)計(jì)算項(xiàng)目閱歷優(yōu)先;

2、有搜尋引擎全文檢索開發(fā)閱歷，如：elasticsearch、solr;

3、熟識(shí)python、R任意一門開發(fā)語言;

4、有SAAS，PAAS企業(yè)級(jí)應(yīng)用平臺(tái)或者互聯(lián)網(wǎng)，金融等大型應(yīng)用平臺(tái)開發(fā)閱歷優(yōu)先考慮;

5、本科及以上學(xué)歷，計(jì)算機(jī)/軟件工程/統(tǒng)計(jì)學(xué)/數(shù)學(xué)等相關(guān)專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作閱歷;

6、擁有良好的代碼習(xí)慣，要求結(jié)構(gòu)清楚、命名規(guī)范、規(guī)律性強(qiáng)、代碼冗余率低，代碼解釋清楚;

7、熟識(shí)使用svn，禪道等項(xiàng)目管理工具，有良好的團(tuán)隊(duì)協(xié)作開發(fā)閱歷.

大數(shù)據(jù)工程師崗位職責(zé)（3）

職責(zé)：

1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理，相關(guān)處理腳本和程序的開發(fā);

2、負(fù)責(zé)開發(fā)大數(shù)據(jù)工具，如報(bào)表平臺(tái)、多維度分析工具、ETL平臺(tái)、調(diào)度平臺(tái)的研發(fā);

3、負(fù)責(zé)分布式大數(shù)據(jù)平臺(tái)應(yīng)用開發(fā)(Hadoop/Spark/Hive/HBase等);

4、負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的維護(hù)、優(yōu)化。

任職要求：

1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)閱歷，熟識(shí)大數(shù)據(jù)組件的維護(hù)以及調(diào)優(yōu);

2、嫻熟掌控Java或Python編程語言，熟識(shí)大數(shù)據(jù)架構(gòu)體系，熟識(shí)Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個(gè)或者多個(gè)，熟識(shí)Sqoop、DataX等數(shù)據(jù)導(dǎo)入工具;

3、能嫻熟使用Hive、HBase、Spark等加工和處理數(shù)據(jù)，有海量數(shù)據(jù)處理閱歷;

4、有數(shù)據(jù)倉庫開發(fā)閱歷/BI系統(tǒng)開發(fā)閱歷優(yōu)先;

5、有電商行業(yè)數(shù)據(jù)處理與分析平臺(tái)開發(fā)閱歷者優(yōu)先。

大數(shù)據(jù)工程師崗位職責(zé)（4）

職責(zé)：

1、依據(jù)客戶需求完成大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)分析及建模;

2、進(jìn)行大數(shù)據(jù)核心算法的編寫;

3、參與項(xiàng)目的需求分析、系統(tǒng)設(shè)計(jì)、編碼工作;

4、參與開發(fā)過程中相關(guān)新技術(shù)的研發(fā)和驗(yàn)證。

幫助擔(dān)當(dāng)架構(gòu)性的體系設(shè)計(jì)和改造工作，協(xié)作制定技術(shù)實(shí)施方案，依據(jù)總體設(shè)計(jì)組織子系統(tǒng)的設(shè)計(jì)和開發(fā)。

任職要求：

1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設(shè)，具備數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和處理性能調(diào)優(yōu)等相關(guān)閱歷;

2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫建設(shè)閱歷，精通基于hadoop源碼的開發(fā)、優(yōu)化改造及勝利應(yīng)用案例;

3、精通hadoop生態(tài)體系各項(xiàng)技術(shù)，如kafka、flume、hive、impala、hbase、spark等，具有100+節(jié)點(diǎn)hadoop集群的開發(fā)、運(yùn)維閱歷;

4、具有對(duì)大型hadoop集群的硬件規(guī)劃力量;

大數(shù)據(jù)工程師崗位職責(zé)（5）

職責(zé)：

1、從事Hadoop、Spark、Hbase、hive等分布式大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開發(fā);

2、針對(duì)部門大數(shù)據(jù)業(yè)務(wù)進(jìn)行大數(shù)據(jù)分析、挖掘等產(chǎn)品應(yīng)用的開發(fā);

3、大數(shù)據(jù)平臺(tái)各類數(shù)據(jù)業(yè)務(wù)抽象及模型化;

4、參與大數(shù)據(jù)管理平臺(tái)的開發(fā)及維護(hù);

5、負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)及相關(guān)的應(yīng)用開發(fā)，調(diào)優(yōu)及維護(hù);

6、為項(xiàng)目相關(guān)開發(fā)人員供應(yīng)大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平臺(tái)應(yīng)用中遇到的技術(shù)難題;

7、良好的團(tuán)隊(duì)合作與溝通力量。

任職要求：

1、本科及以上學(xué)歷，2年以上大數(shù)據(jù)應(yīng)用開發(fā)閱歷;

2、具備Java、Python、Scala其中兩種語言的開發(fā)閱歷;

3、認(rèn)識(shí)泛Hadoop大數(shù)據(jù)生態(tài)圈，熟識(shí)HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術(shù)，并有實(shí)際的項(xiàng)目開發(fā)閱歷，有相關(guān)源碼研發(fā)者優(yōu)先;

4、具備ETL開發(fā)與運(yùn)維力量，有Flume、kettle閱歷優(yōu)先;

5、熟識(shí)大數(shù)據(jù)平臺(tái)的搭建過程，熟識(shí)數(shù)據(jù)處理流程，有TB級(jí)以上數(shù)據(jù)處理閱歷優(yōu)先，有實(shí)時(shí)數(shù)據(jù)處理閱歷者優(yōu)先;

6、熟識(shí)離線和實(shí)時(shí)數(shù)據(jù)處理流程，嫻熟使用Spark，F(xiàn)link處理TB級(jí)數(shù)據(jù)優(yōu)先;

7、熟識(shí)Linux系統(tǒng)環(huán)境，有shell等腳本編寫閱歷，熟識(shí)Mysql、PostgreSql、Oracle等常用關(guān)系數(shù)據(jù)庫，嫻熟編寫SQL語句;

8、熟識(shí)Yarn,Kubernetes,Azkaban等資源調(diào)度框架者優(yōu)先;

9、熟識(shí)Datax的二次開發(fā)，并有實(shí)際開發(fā)閱歷優(yōu)先。

大數(shù)據(jù)工程師崗位職責(zé)（6）

職責(zé)：

1、負(fù)責(zé)公司大數(shù)據(jù)集群的構(gòu)建，目標(biāo)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺(tái)，保證穩(wěn)定性、平安性;

2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守，參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);

3、深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)自動(dòng)化運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的大數(shù)據(jù)運(yùn)維技術(shù)及進(jìn)展方向;

任職要求：

1、熟識(shí)Linux系統(tǒng)及基礎(chǔ)命令操作，能夠單獨(dú)編寫Shell或Python腳本，開展日常服務(wù)器的運(yùn)維工作;

2、熟識(shí)并不限于大數(shù)據(jù)生態(tài)圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

等相關(guān)基礎(chǔ)組件的框架學(xué)問和運(yùn)行原理;

3、熟識(shí)軟硬件設(shè)備，網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺(tái)(CDH、HDP)部署、集群運(yùn)維和性能優(yōu)化等閱歷;

4、具備肯定的系統(tǒng)自動(dòng)化運(yùn)維理論體系和實(shí)際閱歷，能夠利用各種開源監(jiān)控工具、運(yùn)維工具，HA、負(fù)載均衡軟件完成工作目標(biāo);

5、具備較強(qiáng)的學(xué)習(xí)力量、抗壓力量、動(dòng)手力量和分析解決問題的力量;

6、熟識(shí)JVM虛擬機(jī)調(diào)優(yōu);

7、熟識(shí)jenkins持續(xù)集成;

8、有肯定的文檔編寫力量;

9、能適應(yīng)短期出差,有視頻圖像偵查業(yè)務(wù)方向閱歷者優(yōu)先;

大數(shù)據(jù)工程師崗位職責(zé)（7）

職責(zé)：

負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作、集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化;

設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

參與業(yè)務(wù)架構(gòu)設(shè)計(jì)，在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的大數(shù)據(jù)運(yùn)維技及進(jìn)展方向;

負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的應(yīng)用監(jiān)控、容量管理，應(yīng)急響應(yīng)等;

領(lǐng)導(dǎo)支配的其他工作。

任職要求：

1、本科及以上學(xué)歷，軟件工程、計(jì)算機(jī)等相關(guān)專業(yè);

2、熟識(shí)計(jì)算機(jī)原理、網(wǎng)絡(luò)原理等學(xué)問;至少2年以上運(yùn)維或開發(fā)工作閱歷;

3、搭建，管理及調(diào)優(yōu)Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項(xiàng)目?jī)?yōu)先;

4、至少掌控java/python/go中的一種語言;

5、熟識(shí)HBase/Flink/mysql/redis運(yùn)維優(yōu)先;

6、熟識(shí)zabbix/graphit/grafana加分;

7、具有很強(qiáng)的分析和解決問題的力量;

8、具有攻克難題的劇烈愛好，以及提升技術(shù)力量的意愿;

9、擅長(zhǎng)積極學(xué)習(xí)，責(zé)任心強(qiáng)，能夠承受較大的工作壓力。

大數(shù)據(jù)工程師崗位職責(zé)（8）

職責(zé)：

負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

參與業(yè)務(wù)架構(gòu)設(shè)計(jì)，在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的大數(shù)據(jù)運(yùn)維技及進(jìn)展方向;

兼顧應(yīng)用系統(tǒng)的運(yùn)維工作。

任職要求：

要求掌控java、shell語言，有SpringCloud微服務(wù)架構(gòu)開發(fā)閱歷的優(yōu)先;

認(rèn)識(shí)Docker，能夠做簡(jiǎn)潔應(yīng)用;

熟識(shí)Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項(xiàng)目?jī)?yōu)先;

熟識(shí)Linux操作系統(tǒng)的配置、管理及優(yōu)化，能夠單獨(dú)排查及解決操作系統(tǒng)層面的問題;

掌控puppet、kerberos應(yīng)用的優(yōu)先;

良好的客戶服務(wù)意識(shí)，劇烈的責(zé)任心和使命感，落實(shí)力強(qiáng)，富有團(tuán)隊(duì)合作精神;

對(duì)大數(shù)據(jù)方向運(yùn)維有很高的熱忱和愛好，能積極學(xué)習(xí)認(rèn)識(shí)相關(guān)學(xué)問;

大數(shù)據(jù)工程師崗位職責(zé)（9）

職責(zé)：

負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維保障;

負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)審核、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等;

為線上服務(wù)高效穩(wěn)定運(yùn)行負(fù)責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;

負(fù)責(zé)生產(chǎn)及測(cè)試集群諸如故障定位恢復(fù)、系統(tǒng)平安、性能優(yōu)化等;

任職要求：

計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，3年以上相關(guān)工作閱歷

精通Hadoop大數(shù)據(jù)生態(tài)圈，熟識(shí)Hadoop各組件的原理，并有實(shí)際部署維護(hù)閱歷;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

具備很強(qiáng)故障排查力量，有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別力量,良好的服務(wù)意識(shí)，擅長(zhǎng)團(tuán)隊(duì)協(xié)作，項(xiàng)目管理，積極思索，自我驅(qū)動(dòng)力強(qiáng);

有相關(guān)動(dòng)態(tài)編排容器技術(shù)和虛擬化技術(shù)工作閱歷者優(yōu)先;

深化理解Hadoop各組件的原理和實(shí)現(xiàn)，有閱讀源碼力量者優(yōu)先;

具備很強(qiáng)的ownership，故障排查力量，有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別力量。

大數(shù)據(jù)工程師崗位職責(zé)（10）

職責(zé)：

負(fù)責(zé)公司核心集群的運(yùn)維工作,保證其高可用和穩(wěn)定性。

負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及集群性能優(yōu)化。

深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的Hadoop運(yùn)維技術(shù)及進(jìn)展方向。

設(shè)計(jì)實(shí)現(xiàn)分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái)。

職位要求：

年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運(yùn)維閱歷。

對(duì)各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu),性能優(yōu)化等有實(shí)際閱歷。

有實(shí)際踩坑經(jīng)受,對(duì)于相關(guān)組件的版本跟進(jìn),補(bǔ)丁跟蹤,bug追蹤等有相關(guān)閱歷。

實(shí)際處理過各種集群在線版本升級(jí),數(shù)據(jù)遷移,集群擴(kuò)容,穩(wěn)定性監(jiān)控等工作。

熟識(shí)Kerberos平安認(rèn)證系統(tǒng)，實(shí)施過集群權(quán)限管理,資源隔離方面的方案規(guī)劃或二次開發(fā)工作。

有Cloudera的CM使用閱歷尤佳。

大數(shù)據(jù)工程師崗位職責(zé)（11）

職責(zé)：

負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

參與業(yè)務(wù)架構(gòu)設(shè)計(jì)，在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的大數(shù)據(jù)運(yùn)維技及進(jìn)展方向;

兼顧應(yīng)用系統(tǒng)的運(yùn)維工作。

任職要求：

要求掌控java、shell語言，有SpringCloud微服務(wù)架構(gòu)開發(fā)閱歷的優(yōu)先;

認(rèn)識(shí)Docker，能夠做簡(jiǎn)潔應(yīng)用;

熟識(shí)Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項(xiàng)目?jī)?yōu)先;

熟識(shí)Linux操作系統(tǒng)的配置、管理及優(yōu)化，能夠單獨(dú)排查及解決操作系統(tǒng)層面的問題;

掌控puppet、kerberos應(yīng)用的優(yōu)先;

良好的客戶服務(wù)意識(shí)，劇烈的責(zé)任心和使命感，落實(shí)力強(qiáng)，富有團(tuán)隊(duì)合作精神;

對(duì)大數(shù)據(jù)方向運(yùn)維有很高的熱忱和愛好，能積極學(xué)習(xí)認(rèn)識(shí)相關(guān)學(xué)問;

大數(shù)據(jù)工程師崗位職責(zé)（12）

職責(zé)：

1、負(fù)責(zé)公司大數(shù)據(jù)集群的構(gòu)建，目標(biāo)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺(tái)，保證穩(wěn)定性、平安性;

2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守，參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);

3、深化研發(fā)大數(shù)據(jù)業(yè)務(wù)相關(guān)自動(dòng)化運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探究新的大數(shù)據(jù)運(yùn)維技術(shù)及進(jìn)展方向;

任職要求：

1、熟識(shí)Linux系統(tǒng)及基礎(chǔ)命令操作，能夠單獨(dú)編寫Shell或Python腳本，開展日常服務(wù)器的運(yùn)維工作;

2、熟識(shí)并不限于大數(shù)據(jù)生態(tài)圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

等相關(guān)基礎(chǔ)組件的框架學(xué)問和運(yùn)行原理;

3、熟識(shí)軟硬件設(shè)備，網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺(tái)(CDH、HDP)部署、集群運(yùn)維和性能優(yōu)化等閱歷;

4、具備肯定的系統(tǒng)自動(dòng)化運(yùn)維理論體系和實(shí)際閱歷，能夠利用各種開源監(jiān)控工具、運(yùn)維工具，HA、負(fù)載均衡軟件完成工作目標(biāo);

5、具備較強(qiáng)的學(xué)習(xí)力量、抗壓力量、動(dòng)手力量和分析解決問題的力量;

6、熟識(shí)JVM虛擬機(jī)調(diào)優(yōu);

7、熟識(shí)jenkins持續(xù)集成;

8、有肯定的文檔編寫力量;

9、能適應(yīng)短期出差,有視頻圖像偵查業(yè)務(wù)方向閱歷者優(yōu)先;

大數(shù)據(jù)工程師崗位職責(zé)（13）

職責(zé)：

負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維保障;

負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)審核、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等;

為線上服務(wù)高效穩(wěn)定運(yùn)行負(fù)責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;

負(fù)責(zé)生產(chǎn)及測(cè)試集群諸如故障定位恢復(fù)、系統(tǒng)平安、性能優(yōu)化等;

任職要求：

計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，3年以上相關(guān)工作閱歷

精通Hadoop大數(shù)據(jù)生態(tài)圈，熟識(shí)Hadoop各組件的原理，并有實(shí)際部署維護(hù)閱歷;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

具備很強(qiáng)故障排查力量，有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別力量,良好的服務(wù)意識(shí)，擅長(zhǎng)團(tuán)隊(duì)協(xié)作，項(xiàng)目管理，積極思索，自我驅(qū)動(dòng)力強(qiáng);

有相關(guān)動(dòng)態(tài)編排容器技術(shù)和虛擬化技術(shù)工作閱歷者優(yōu)先;

深化理解Hadoop各組件的原理和實(shí)現(xiàn)，有閱讀源碼力量者優(yōu)先;

具備很強(qiáng)的ownership，故障排查力量，有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別力量。

大數(shù)據(jù)工程師崗位職責(zé)（14）

1、負(fù)責(zé)建設(shè)大數(shù)據(jù)平臺(tái)的規(guī)劃、架構(gòu)設(shè)計(jì)和技術(shù)選型;

2、開發(fā)和使用Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具;

3、基于大數(shù)據(jù)應(yīng)用需求，負(fù)責(zé)優(yōu)化平臺(tái)的性能，消退性能瓶頸，解決業(yè)務(wù)的疑難問題;

4、熟識(shí)Hadoop、Hive、Hbase、Storm、Spark等技術(shù)框架;熟識(shí)java、scala、sqllite等相關(guān)技術(shù);具備軟件設(shè)計(jì)、編碼開發(fā)測(cè)試、文檔編寫的力量;

5、樂觀認(rèn)識(shí)業(yè)界進(jìn)展、互聯(lián)網(wǎng)相關(guān)新技術(shù)及趨勢(shì)，參與規(guī)劃公司大數(shù)據(jù)產(chǎn)品以后技術(shù)架構(gòu)方向;

6、負(fù)責(zé)大數(shù)據(jù)平臺(tái)內(nèi)部所涉及到的各類數(shù)據(jù)庫、數(shù)據(jù)存儲(chǔ)的搭建、備份、日常維護(hù)、性能調(diào)優(yōu);以及大數(shù)據(jù)平臺(tái)系統(tǒng)運(yùn)維、監(jiān)控和故障分析與處理;

7、能夠很好的和其它團(tuán)隊(duì)的同事溝通協(xié)作;

8、負(fù)責(zé)文檔的書寫和完善，保證文檔的準(zhǔn)時(shí)更新;

9、有大型開源系統(tǒng)維護(hù)閱歷優(yōu)先。

大數(shù)據(jù)工程師崗位職責(zé)（15）

職責(zé):

1、負(fù)責(zé)所分管團(tuán)隊(duì)的團(tuán)隊(duì)建設(shè)和日常管理工作;

2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化，持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺(tái)中，支撐城市級(jí)大數(shù)據(jù)平臺(tái)業(yè)務(wù);

3、擔(dān)當(dāng)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計(jì);

4、擔(dān)當(dāng)項(xiàng)目中數(shù)據(jù)相關(guān)方案設(shè)計(jì)及數(shù)據(jù)團(tuán)隊(duì)管理;

5、參與城市大數(shù)據(jù)項(xiàng)目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實(shí)施工作。

任職資格:

1、1年以上數(shù)據(jù)開發(fā)工作閱歷，嫻熟使用SQL查詢引擎;

2、熟識(shí)Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

3、具備良好的編程語言基礎(chǔ)如：java/python/scala/c++/shell等

4、二本以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)受者優(yōu)先

5、個(gè)人素養(yǎng)要求：目光長(zhǎng)遠(yuǎn)、態(tài)度懇切、崗位有穩(wěn)定性，能夠長(zhǎng)期培育、具備很強(qiáng)的自學(xué)力量、承壓力量強(qiáng)、接受出差支援項(xiàng)目等工作。對(duì)數(shù)據(jù)工作具備深厚的愛好并有明確職業(yè)規(guī)劃，優(yōu)秀的學(xué)習(xí)力量和團(tuán)隊(duì)溝通協(xié)作力量，對(duì)新技術(shù)有深厚愛好并有鉆研精神。

大數(shù)據(jù)工程師崗位職責(zé)（16）

職責(zé)：

1、依據(jù)客戶需求完成大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)分析及建模;

2、進(jìn)行大數(shù)據(jù)核心算法的編寫;

3、參與項(xiàng)目的需求分析、系統(tǒng)設(shè)計(jì)、編碼工作;

4、參與開發(fā)過程中相關(guān)新技術(shù)的研發(fā)和驗(yàn)證。

幫助擔(dān)當(dāng)架構(gòu)性的體系設(shè)計(jì)和改造工作，協(xié)作制定技術(shù)實(shí)施方案，依據(jù)總體設(shè)計(jì)組織子系統(tǒng)的設(shè)計(jì)和開發(fā)。

任職要求：

1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設(shè)，具備數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和處理性能調(diào)優(yōu)等相關(guān)閱歷;

2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫建設(shè)閱歷，精通基于hadoop源碼的開發(fā)、優(yōu)化改造及勝利應(yīng)用案例;

3、精通hadoop生態(tài)體系各項(xiàng)技術(shù)，如kafka、flume、hive、impala、hbase、spark等，具有100+節(jié)點(diǎn)hadoop集群的開發(fā)、運(yùn)維閱歷;

4、具有對(duì)大型hadoop集群的硬件規(guī)劃力量;

大數(shù)據(jù)工程師崗位職責(zé)（17）

職責(zé)

1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級(jí)別數(shù)據(jù)的全文檢索，搜尋引擎的產(chǎn)品研發(fā);

2