大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)（匯編5篇）

第第頁(yè)大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)（匯編5篇）大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)第1篇職責(zé)：1、大數(shù)據(jù)的分布式采集與環(huán)境搭建和測(cè)試；2、大數(shù)據(jù)存儲(chǔ)、處理和分析工作；3、大數(shù)據(jù)相關(guān)產(chǎn)品線的改進(jìn)和相關(guān)核心開(kāi)發(fā)工作；4、其他大數(shù)據(jù)相關(guān)工作。任職要求：1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)；2、2年以上Java開(kāi)發(fā)及大數(shù)據(jù)相關(guān)開(kāi)發(fā)閱歷，java基礎(chǔ)堅(jiān)固結(jié)實(shí)，嫻熟把握多線程、集合、緩存、序列化、nio等技術(shù)；3、諳習(xí)Linux環(huán)境，諳習(xí)Linuxshell/python/perl任一腳本；4、諳習(xí)Hadoop、Spark、ZooKeeper等主流的大數(shù)據(jù)處理架構(gòu)，并有1年以上Hadoop相關(guān)的實(shí)際開(kāi)發(fā)、架構(gòu)及調(diào)優(yōu)閱歷；5、使用過(guò)阿里云；6、諳習(xí)架構(gòu)；7、具有較好的學(xué)習(xí)本領(lǐng)、溝通表達(dá)本領(lǐng)及團(tuán)隊(duì)合作本領(lǐng)。大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)第2篇職責(zé)：1、本崗位培育方向?yàn)樽C券基金行業(yè)數(shù)據(jù)架構(gòu)師；2、輔佑襄助大數(shù)據(jù)架構(gòu)師訂立項(xiàng)目開(kāi)發(fā)流程、規(guī)范，輔佑襄助數(shù)據(jù)模型設(shè)計(jì)人員進(jìn)行模型設(shè)計(jì)；3、輔佑襄助技術(shù)架構(gòu)師進(jìn)行大數(shù)據(jù)平臺(tái)調(diào)優(yōu)（業(yè)務(wù)邏輯角度）；4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)，包括數(shù)據(jù)抽取、轉(zhuǎn)換和加載；5、負(fù)責(zé)掌控?cái)?shù)據(jù)需求、管理項(xiàng)目開(kāi)發(fā)進(jìn)度，搭配QA完成項(xiàng)目質(zhì)量管理；職位要求：1、2年以上證券或者基金行業(yè)數(shù)據(jù)中心、大數(shù)據(jù)平臺(tái)建設(shè)閱歷；2、具備較強(qiáng)的學(xué)習(xí)本領(lǐng)，對(duì)數(shù)據(jù)模型和大數(shù)據(jù)技術(shù)有深厚的愛(ài)好；3、嫻熟把握基于ORACLE或MPP數(shù)據(jù)庫(kù)或Hadoop等開(kāi)發(fā)技術(shù)；4、至少把握一種ETL開(kāi)發(fā)工具。如：Informatica、DataStage、SSIS、Kettle等；5、良好的團(tuán)隊(duì)合作精神、公司供給優(yōu)厚待遇。大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)第3篇職責(zé):1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理工具ETL、流處理平臺(tái)等建設(shè)，功能規(guī)劃，平臺(tái)演進(jìn)，維護(hù)調(diào)優(yōu)等；2、結(jié)合公司業(yè)務(wù)特征，負(fù)責(zé)公司數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)倉(cāng)管理等；3、負(fù)責(zé)大數(shù)據(jù)處理技術(shù)討論及新技術(shù)引進(jìn)，參加超大規(guī)模實(shí)時(shí)/離線數(shù)據(jù)計(jì)算框架，存儲(chǔ)、查詢、可視化解決方案的設(shè)計(jì)，研發(fā)；4、負(fù)責(zé)公司業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)及全業(yè)務(wù)數(shù)據(jù)域打通；5、負(fù)責(zé)BI報(bào)表和可視化項(xiàng)目，和客戶深度溝通，理解客戶的業(yè)務(wù)挑戰(zhàn)，供給解決方案，訂立開(kāi)發(fā)計(jì)劃并執(zhí)行，支持各單位日常數(shù)據(jù)需求和任務(wù)；任職資格:1、嫻熟把握關(guān)系型數(shù)據(jù)庫(kù),例如：Oracle、Mysql、Vertica等；諳習(xí)NoSql數(shù)據(jù)庫(kù)，例如HBase、Redis、MongodDB等；具備豐富的數(shù)據(jù)庫(kù)管理和運(yùn)維調(diào)優(yōu)閱歷；2、諳習(xí)數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域?qū)W問(wèn)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理，數(shù)據(jù)打通等；3、有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)閱歷，諳習(xí)Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐閱歷著優(yōu)先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm；4、精通數(shù)據(jù)預(yù)處理、檢驗(yàn)、清洗、分析方法，精通各種常用統(tǒng)計(jì)檢驗(yàn)方法；嫻熟把握一門或多門編程語(yǔ)言，并有大型項(xiàng)目建設(shè)閱歷者優(yōu)先，如Java、Python、Shell和scala等；5、精通Linux，諳習(xí)日常運(yùn)維、搭建常見(jiàn)服務(wù)器、定位解決日常問(wèn)題的本領(lǐng)，具備ETL開(kāi)發(fā)閱歷優(yōu)先；6、良好的語(yǔ)言溝通與表達(dá)本領(lǐng)，有豐富的數(shù)據(jù)開(kāi)發(fā)閱歷，較強(qiáng)的數(shù)據(jù)、平臺(tái)、技術(shù)理解本領(lǐng)；7、具備數(shù)學(xué)類、計(jì)算機(jī)類等相關(guān)專業(yè)統(tǒng)招本科及以上學(xué)歷，具有3年及以上大數(shù)據(jù)開(kāi)發(fā)工作閱歷，有互聯(lián)網(wǎng)行業(yè)背景優(yōu)先。大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)第4篇職責(zé)：1、在hadoop平臺(tái)進(jìn)行hive/hbase/spark開(kāi)發(fā)；2、處理公司大數(shù)據(jù)平臺(tái)產(chǎn)品的技術(shù)工作，包括存儲(chǔ)、處理、分析、挖掘、架構(gòu)設(shè)計(jì)、研發(fā)工作；3、諳習(xí)設(shè)計(jì)、構(gòu)建和優(yōu)化基于hadoop/Hbase的存儲(chǔ)平臺(tái)架構(gòu)；4、諳習(xí)整體提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴(kuò)展特性；5、部門相關(guān)工作。崗位要求：1、計(jì)算機(jī)等相關(guān)專業(yè)大專及以上學(xué)歷；2、3年以上軟件開(kāi)發(fā)閱歷，精通Java開(kāi)發(fā)，至少2年以上Hadoop相關(guān)開(kāi)發(fā)閱歷；3、諳習(xí)分布式系統(tǒng)、分布式計(jì)算系統(tǒng)的工作機(jī)制，具有大規(guī)模數(shù)據(jù)平臺(tái)，高并發(fā)大型系統(tǒng)，大數(shù)據(jù)等架構(gòu)設(shè)計(jì)和開(kāi)發(fā)閱歷；4、諳習(xí)sqoop、Hive、hbase、spark等大數(shù)據(jù)生態(tài)組件；5、精通linuxshell和sql腳本；6、有javaweb開(kāi)發(fā)閱歷者優(yōu)先；7、良好的團(tuán)隊(duì)精神和溝通本領(lǐng)，很強(qiáng)的邏輯思維本領(lǐng)和學(xué)習(xí)本領(lǐng)。大數(shù)據(jù)開(kāi)發(fā)工程師的實(shí)在職責(zé)第5篇職責(zé)負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開(kāi)發(fā)工作，包括數(shù)據(jù)存儲(chǔ)、預(yù)處理、查詢、統(tǒng)計(jì)、實(shí)時(shí)分析、數(shù)據(jù)優(yōu)化及配置等功能；對(duì)大數(shù)據(jù)分析系統(tǒng)存在的問(wèn)題進(jìn)行跟蹤和定位并適時(shí)解決；負(fù)責(zé)上級(jí)交辦的其他相關(guān)工作。崗位要求：本科以上學(xué)歷，2年以上工作閱歷；Java基礎(chǔ)堅(jiān)固結(jié)實(shí)，嫻熟使用JavaIDE進(jìn)行代碼編寫和調(diào)試，諳習(xí)JUnit單元測(cè)試框架；諳習(xí)Linux操作系統(tǒng)，能在Linux上完成開(kāi)發(fā)、調(diào)試工作；諳習(xí)網(wǎng)絡(luò)IO、多線程并發(fā)編程、集合等基礎(chǔ)框架，精通數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)算法；參加過(guò)分布式高性能服務(wù)的設(shè)計(jì)開(kāi)發(fā)過(guò)程，有大規(guī)模分布式