大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)（8篇）

第大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)（8篇）

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)（通用8篇）

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇1

職位描述：

1.負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、環(huán)境和框架的搭建以及部分核心編碼工作；

2.參與業(yè)務(wù)需求調(diào)研，根據(jù)需求及行業(yè)特點(diǎn)設(shè)計(jì)大數(shù)據(jù)解決方案并跟進(jìn)具體實(shí)施項(xiàng)目；

3.規(guī)劃公司級(jí)數(shù)據(jù)平臺(tái)，架構(gòu)實(shí)時(shí)流與離線數(shù)據(jù)計(jì)算平臺(tái)；

4.對(duì)業(yè)務(wù)需求進(jìn)行分析建模并持續(xù)進(jìn)行優(yōu)化，包括但不限于推薦、排序、用戶(hù)畫(huà)像等。

任職要求：

1.本科及以上學(xué)歷，5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)；

2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及應(yīng)用；

3.深刻理解大數(shù)據(jù)處理實(shí)時(shí)流計(jì)算、分布式計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)等相關(guān)技術(shù)和實(shí)現(xiàn)方法，有架構(gòu)和設(shè)計(jì)實(shí)踐經(jīng)驗(yàn)；

4.精通scala/java語(yǔ)言的一種或多種；

5.有數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)及數(shù)據(jù)挖掘架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇2

職位描述：

1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控等基礎(chǔ)設(shè)施；

2、參與存儲(chǔ)、計(jì)算、devinfra、監(jiān)控當(dāng)中的一個(gè)或多個(gè)方向。

任職要求：

1、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；

2、樂(lè)于挑戰(zhàn)沒(méi)有明顯答案的問(wèn)題，能快速理解業(yè)務(wù)場(chǎng)景，從具體問(wèn)題中抽象出通用的解決方案；

3、存儲(chǔ)方向：對(duì)hdfs，rocksdb，ceph，hbase，kafka的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

4、計(jì)算方向：對(duì)yarn，spark，flink，hive的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

5、devinfra方向：對(duì)docker，mesos，kubernetes的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

6、監(jiān)控方向：對(duì)opentsdb，influ_db，prometheus，falcon的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇3

職位描述：

1、參與計(jì)算框架和服務(wù)的定制和改進(jìn)，為公司批處理和流式計(jì)算能力提供支撐；

2、深入理解業(yè)務(wù)場(chǎng)景，解決性能瓶頸，實(shí)現(xiàn)業(yè)務(wù)目標(biāo)；

3、計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)方面基礎(chǔ)技術(shù)的探索和儲(chǔ)備。

任職要求：

1、精通各種性能分析和調(diào)試工具，高效進(jìn)行分析；

2、熟練的c/c++/java開(kāi)發(fā)能力，代碼質(zhì)量高；

3、熟悉網(wǎng)絡(luò)、linu_、hadoop等系統(tǒng)，能夠靈活解決新問(wèn)題；

4、較好的團(tuán)隊(duì)協(xié)作和溝通能力。

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇4

工作職責(zé)：

1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算等分布式系統(tǒng)；

2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。

任職要求：

1、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；

2、樂(lè)于挑戰(zhàn)沒(méi)有明顯答案的.問(wèn)題，能快速理解業(yè)務(wù)場(chǎng)景，從具體問(wèn)題中抽象出通用的解決方案；

3、存儲(chǔ)方向：對(duì)hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

4、計(jì)算方向：對(duì)spark，mapreduce，storm，hive，presto，impala的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

5、集群管理方向：對(duì)yarn，mesos的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

6、向開(kāi)源社區(qū)貢獻(xiàn)過(guò)patch者優(yōu)先，請(qǐng)?jiān)诤?jiǎn)歷上說(shuō)明。

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇5

崗位職責(zé)：

1、參與公司數(shù)據(jù)開(kāi)發(fā)平臺(tái)、bi產(chǎn)品等大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開(kāi)發(fā)；

2、負(fù)責(zé)數(shù)據(jù)開(kāi)發(fā)平臺(tái)、bi產(chǎn)品等大數(shù)據(jù)產(chǎn)品的部署和維護(hù)，保證其穩(wěn)定和可靠；

3、關(guān)注和參與大數(shù)據(jù)方向開(kāi)源產(chǎn)品的技術(shù)動(dòng)態(tài)與演進(jìn)，推動(dòng)產(chǎn)品與技術(shù)架構(gòu)持續(xù)更新；

任職要求：

1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，本科及以上學(xué)歷，5年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)，3年以上互聯(lián)網(wǎng)產(chǎn)品或分布式系統(tǒng)開(kāi)發(fā)設(shè)計(jì)經(jīng)驗(yàn)；

2、精通java，python，scala等一種或幾種編程語(yǔ)言，并熟悉linu_操作系統(tǒng)及bashshell編程；

3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經(jīng)驗(yàn)，并熟悉上述常用的分布式系統(tǒng)架構(gòu)設(shè)計(jì)和原理；

4、熟悉微服務(wù)框架及相關(guān)技術(shù)，如dubbo，springcloud等；

5、熟悉mysql、redis，并了解或接觸過(guò)其他數(shù)據(jù)庫(kù)如oracle，sqlserver，postgresql，mongodb等；

6、了解容器技術(shù)，如docker，kubernetes；

7、具有一定的軟件設(shè)計(jì)能力，熱愛(ài)大數(shù)據(jù)和技術(shù)，相信技術(shù)改變世界，學(xué)習(xí)能力強(qiáng)，認(rèn)同數(shù)據(jù)價(jià)值，有面向業(yè)務(wù)的思維，較強(qiáng)的自主學(xué)習(xí)能力和英文技術(shù)文檔閱讀能力；

8、良好的溝通能力、團(tuán)隊(duì)精神及服務(wù)意識(shí)，勇于接受挑戰(zhàn)，能承受較大的工作壓力；

9、有生產(chǎn)環(huán)境快速trouble—shooting的經(jīng)驗(yàn)和能力者優(yōu)先；

10、有olap，多維度數(shù)據(jù)分析經(jīng)驗(yàn)優(yōu)先，有對(duì)數(shù)據(jù)倉(cāng)庫(kù)有較強(qiáng)的理論基礎(chǔ)和理解者優(yōu)先；

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇6

崗位職責(zé)：

1、基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開(kāi)發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲(chǔ)，建模，分析挖掘等

2、根據(jù)業(yè)務(wù)用戶(hù)需要分析數(shù)據(jù)，提供數(shù)據(jù)支持

3、參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求：

1、具備本科以上學(xué)歷，計(jì)算機(jī)，軟件以及相關(guān)專(zhuān)業(yè)，5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)

2、熟悉數(shù)據(jù)倉(cāng)庫(kù)維度建模，并能根據(jù)客戶(hù)需求進(jìn)行數(shù)據(jù)開(kāi)發(fā)，向模型更新數(shù)據(jù)

3、使用過(guò)至少一種以上的etl工具

4、熟練掌握java，對(duì)hadoop相關(guān)的技術(shù)和組件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解

5、熟練掌握shell或者python中的一種

6、具備spark開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先

7、具備實(shí)時(shí)計(jì)算（kafka+storm/sparkstreaming）經(jīng)驗(yàn)者優(yōu)先

8、具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇7

崗位職責(zé)：

1、負(fù)責(zé)全公司的數(shù)據(jù)平臺(tái)數(shù)據(jù)可視化研發(fā)工作

2、獨(dú)立完成數(shù)據(jù)可視化研發(fā)工作

任職要求：

1、計(jì)算機(jī)、電子通信、數(shù)學(xué)、統(tǒng)計(jì)或者相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷

2、熟練掌握java/python中的一種語(yǔ)言

3、熟悉數(shù)據(jù)可視化開(kāi)發(fā)，熟悉echarts應(yīng)用開(kāi)發(fā)的優(yōu)先

4、熟悉web開(kāi)發(fā)，熟悉html，js，css

5、熟悉quickbi的優(yōu)先

6、具備良好的團(tuán)隊(duì)合作精神，工作有激情

7、對(duì)數(shù)據(jù)敏感，有產(chǎn)品思維的優(yōu)先

大數(shù)據(jù)架構(gòu)工程師崗位職責(zé)篇8

崗位職責(zé)：

1、參與大數(shù)據(jù)開(kāi)放平臺(tái)基礎(chǔ)能力建設(shè)，承擔(dān)系統(tǒng)架構(gòu)、組件開(kāi)發(fā)、方案驗(yàn)證等工作；

2、參與構(gòu)建大數(shù)據(jù)系列產(chǎn)品，包括但不限于用戶(hù)畫(huà)像、用戶(hù)增長(zhǎng)與用戶(hù)經(jīng)營(yíng)、數(shù)據(jù)分析挖掘、實(shí)時(shí)計(jì)算、數(shù)據(jù)分發(fā)、機(jī)器學(xué)習(xí)平臺(tái)、風(fēng)控反欺詐等產(chǎn)品線；

任職要求：

1、統(tǒng)招本科或以上學(xué)歷，5年以上大數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn)；

2、扎實(shí)的java基礎(chǔ)，能熟練使用java進(jìn)行軟件功能開(kāi)發(fā)；

3、熟練掌握基于hadoop生態(tài)的大數(shù)據(jù)開(kāi)發(fā)工具，包括h