大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述

大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述大數(shù)據(jù)運(yùn)維工程師需要負(fù)責(zé)服務(wù)過(guò)程中問(wèn)題現(xiàn)象和處理方案的收集撰寫， 形成知識(shí)庫(kù)，并對(duì)知識(shí)庫(kù)進(jìn)行維護(hù)更新。以下是小編整理的大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述。TOC\o"1-5"\h\z\o"CurrentDocument"大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述 1職責(zé)：1，負(fù)責(zé)軟件系統(tǒng)的部署運(yùn)行 ;2、負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)系統(tǒng)接入的規(guī)劃和實(shí)施 ;3，理解行業(yè)業(yè)務(wù)，梳理業(yè)務(wù)數(shù)據(jù)模型 ;4，完成項(xiàng)目實(shí)施過(guò)程中各類文檔的編寫、收集、整理、歸檔;5，與客戶保持密切溝通，建立良好的客戶關(guān)系，保障良好的客戶滿意度 ;有效的分析和控制客戶需求，解決項(xiàng)目實(shí)施過(guò)程中遇到的質(zhì)量問(wèn)題和管理問(wèn)題。崗位要求：1、全日制本科以上學(xué)歷，軟件工程、計(jì)算機(jī)科學(xué)相關(guān)專業(yè)shell/python腳本開(kāi)源分布式系ETL工作;shell/python腳本開(kāi)源分布式系ETL工作;3、熟悉 Linux操作，熟練編寫4、了解常用Hadoop/Spark/Hive/Hbase;5、熟練使用 SQL語(yǔ)句，熟悉6、熟悉 Oracle，mysql等關(guān)系型數(shù)據(jù)庫(kù)7、具有強(qiáng)烈的責(zé)任感與團(tuán)隊(duì)合作精神，出色的溝通及學(xué)習(xí)能力;8、有較強(qiáng)的分析問(wèn)題能力，獨(dú)立解決問(wèn)題能力，能接受在客戶公司辦公。大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述 2職責(zé):管理公司數(shù)據(jù)庫(kù)，提供高可用、高性能數(shù)據(jù)庫(kù)系統(tǒng)，并保障系統(tǒng)穩(wěn)定運(yùn)行。負(fù)責(zé)數(shù)據(jù)庫(kù)性能監(jiān)控與優(yōu)化，故障處理，數(shù)據(jù)備份及災(zāi)難恢復(fù)。負(fù)責(zé)數(shù)據(jù)庫(kù)自助平臺(tái)的高可用架構(gòu)設(shè)計(jì)和負(fù)載均衡的設(shè)計(jì)和實(shí)現(xiàn)。負(fù)責(zé)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)管理，包括數(shù)據(jù)庫(kù)日常維護(hù)，系統(tǒng)數(shù)據(jù)安全以及權(quán)限管理、故障處理、日常錯(cuò)誤情況處理等。負(fù)責(zé)依據(jù)業(yè)務(wù)需求優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，負(fù)責(zé)數(shù)據(jù)庫(kù)系統(tǒng)部署方案的計(jì)劃、設(shè)計(jì)和實(shí)施。負(fù)責(zé)系統(tǒng)數(shù)據(jù)庫(kù)定期檢查，進(jìn)行性能分析與調(diào)優(yōu)，充分保證信息系統(tǒng)數(shù)據(jù)的安全及系統(tǒng)高效運(yùn)行。任職資格 :全日制本科及以上學(xué)歷，計(jì)算機(jī)或相關(guān)專業(yè)熟悉MySQL實(shí)現(xiàn)原理，InnoDB,MylSAM,Memory引擎，熟悉存儲(chǔ)過(guò)程和事務(wù)。熟悉數(shù)據(jù)庫(kù)原理、精通數(shù)據(jù)庫(kù)核心參數(shù)的設(shè)置和調(diào)整，有規(guī)劃、設(shè)計(jì)、部署以及數(shù)據(jù)庫(kù)性能優(yōu)化經(jīng)驗(yàn)。具備數(shù)據(jù)庫(kù)設(shè)計(jì)、 SQL優(yōu)化能力，能根據(jù)業(yè)務(wù)需求，提供高可用、高性能、可擴(kuò)展、穩(wěn)定可靠的數(shù)據(jù)庫(kù)解決方案。了解MongoDB等非關(guān)系型數(shù)據(jù)庫(kù)的特點(diǎn)。 了解Redis,Memcache等內(nèi)存數(shù)據(jù)庫(kù)及緩存系統(tǒng)的原理及實(shí)現(xiàn)。熟悉Linux操作系統(tǒng)，對(duì)主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)有一定的了解，會(huì)使用Shell/Perl/Python中的一門腳本語(yǔ)言。有Hadoop/Kafka/Spark/ElasticSearch相關(guān)經(jīng)驗(yàn)的優(yōu)先考慮。TOC\o"1-5"\h\z大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述 3職責(zé)：I、負(fù)責(zé)Hadoop集群的安裝部署、維護(hù)及調(diào)優(yōu) ：負(fù)責(zé) spark的安裝郵署、維護(hù)及調(diào)優(yōu) :負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)開(kāi)發(fā)的應(yīng)用系統(tǒng)的部署、日常維護(hù)、調(diào)優(yōu)和問(wèn)題處理責(zé) ELK平臺(tái)的部署及維護(hù)。技能要求：TOC\o"1-5"\h\z1、2年以上大數(shù)據(jù)運(yùn)維工仵經(jīng)驗(yàn) ;2、熟悉 Hadoop生態(tài)圈技術(shù)棧及各個(gè)組件原理 :口、熟練掌握HDFS、Hive、HBase、sark、sqoo等組件，具備部署、維護(hù)、調(diào)優(yōu)的能力 :4、熱悉 kylin技術(shù)原理，有一定的維護(hù)經(jīng)驗(yàn)優(yōu)先 :5、口掇ELK的日常維護(hù)技能有一定的維護(hù) .經(jīng)驗(yàn)優(yōu)先:6、有一定的 HQL/sql性能調(diào)優(yōu)經(jīng)驗(yàn);

7、具備基本的7、具備基本的java、python等語(yǔ)言開(kāi)發(fā)能力優(yōu)先8、有較強(qiáng)的溝通、團(tuán)隊(duì)協(xié)作及學(xué)習(xí)能力。TOC\o"1-5"\h\z大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述 4職責(zé)：1、負(fù)責(zé)公司大數(shù)據(jù) /Hadoop/hive/hbase/flink等離線實(shí)時(shí)數(shù)據(jù)平臺(tái)運(yùn)維保障 ;2、負(fù)責(zé)內(nèi)部大數(shù)據(jù)自動(dòng)化運(yùn)維以及數(shù)據(jù)化運(yùn)營(yíng)平臺(tái)開(kāi)發(fā)工作;3、負(fù)責(zé)Hadoop/Hbase等系統(tǒng)的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等 ;4、深入理解數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決故障及性能瓶頸，打造一流的數(shù)據(jù)平臺(tái) ;5、持續(xù)的創(chuàng)新和優(yōu)化能力，提升產(chǎn)品整體質(zhì)量，改善用戶體驗(yàn)，控制系統(tǒng)成本。6、善于表達(dá)、理解客戶數(shù)據(jù)服務(wù)需求，具備數(shù)據(jù)需求轉(zhuǎn)化落地能力。任職要求：1、大學(xué)本科及以上學(xué)歷，計(jì)算機(jī)或者相關(guān)專業(yè) ;2、深入理解linux系統(tǒng)，運(yùn)維體系結(jié)構(gòu)，精于容量規(guī)劃、性能優(yōu)化;3、具備一定的開(kāi)發(fā)能力，精通一門以上腳本語(yǔ)言；（shell/perl/python等），熟悉java等開(kāi)發(fā)語(yǔ)言一種及以上優(yōu)先;4、具備很強(qiáng)的故障排查能力，有很好的技術(shù)敏感度和

風(fēng)險(xiǎn)識(shí)別能力5、能夠承受較大的工作壓力，以結(jié)果和行動(dòng)為準(zhǔn)則，努力追求成功6、熟悉6、熟悉hadoop、hbase、hive、spark、tez等原理并具備管理，配置，運(yùn)維經(jīng)驗(yàn)7、熟悉分布式系統(tǒng)設(shè)計(jì)范型，有大規(guī)模系統(tǒng)設(shè)計(jì)和工程實(shí)現(xiàn)的了解者優(yōu)先。8、具有運(yùn)營(yíng)商流量數(shù)據(jù)加工處理經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述職責(zé)：7*24小時(shí)運(yùn)營(yíng)負(fù)責(zé)大數(shù)據(jù)平臺(tái)的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化及7*24小時(shí)運(yùn)營(yíng)為線上服務(wù)高效穩(wěn)定運(yùn)行負(fù)責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張，發(fā)現(xiàn)并能解決重大故障及性能瓶頸深入理解系統(tǒng)平臺(tái)及大數(shù)據(jù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)對(duì)大數(shù)據(jù)體系下新技術(shù)的調(diào)研、應(yīng)用、對(duì)內(nèi)培訓(xùn)。職位要求：1.至少1.至少3年以上大數(shù)據(jù)運(yùn)維經(jīng)驗(yàn)，深入理解Linux系/存儲(chǔ)技術(shù)，/存儲(chǔ)技術(shù)，或者統(tǒng)，運(yùn)維體系結(jié)構(gòu) ;深度優(yōu)化HADOOP平臺(tái)MR作業(yè)/計(jì)算框架提升集群吞吐并降低成本 ;具有CDH(HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大數(shù)據(jù)系統(tǒng)的運(yùn)維經(jīng)驗(yàn)，有開(kāi)發(fā)經(jīng)驗(yàn);TOC\o"1-5"\h\z熟悉HADOOP生態(tài)，有數(shù)據(jù)安全相