數(shù)據(jù)采集相關(guān)工作

數(shù)據(jù)采集相關(guān)工作數(shù)據(jù)采集相關(guān)工作篇一1、負責(zé)生產(chǎn)環(huán)境Mysql數(shù)據(jù)庫系統(tǒng)高可用、高性能架構(gòu)方案，分庫分表策略，數(shù)據(jù)庫擴展方案;2、排查數(shù)據(jù)庫故障，分析和解決疑難問題，提出預(yù)防方案;3、制定數(shù)據(jù)庫監(jiān)控策略、備份策略、容災(zāi)策略，探查系統(tǒng)潛在的問題和可能的性能瓶頸并進行優(yōu)化;4、對開發(fā)工程師的SQL語句進行審核及SQL優(yōu)化;5、負責(zé)redis、memcache等非關(guān)系數(shù)據(jù)庫的管理和擴展，能夠根據(jù)業(yè)務(wù)需求完成系統(tǒng)設(shè)計、架構(gòu)設(shè)計工作;6、參與前瞻性新技術(shù)研究，解決數(shù)據(jù)庫相關(guān)疑難問題。數(shù)據(jù)采集相關(guān)工作篇二崗位職責(zé)：業(yè)務(wù)數(shù)據(jù)的收集整理和分析;負責(zé)公安、交通領(lǐng)域的業(yè)務(wù)建模和算法設(shè)計;分析項目數(shù)據(jù)需求，完成系統(tǒng)中數(shù)據(jù)分析模塊的設(shè)計、實現(xiàn)和測試;設(shè)計、構(gòu)建和優(yōu)化基于大數(shù)據(jù)的存儲平臺架構(gòu)，編寫相關(guān)技術(shù)文檔;設(shè)計并實現(xiàn)基于開源項目(Cobar，Spark等)的海量數(shù)據(jù)集成與處理平臺;為其他部門提供數(shù)據(jù)分析支撐。任職資格：計算機相關(guān)專業(yè);熟悉數(shù)據(jù)挖掘算法，對分類、聚類、時序、圖等算法有很深了解;熟練掌握Hadoop、Spark生態(tài)系統(tǒng)組件(MR、HBase、Hive、ZooKeeper、SparkSQL、SparkMlib等)，有相關(guān)大數(shù)據(jù)架構(gòu),開發(fā)成功案例;熟練的使用、開發(fā)ETL工具經(jīng)驗，有數(shù)據(jù)庫建模ER建模經(jīng)驗優(yōu)先;有海量數(shù)據(jù)BI或數(shù)據(jù)挖掘項目實施和管理經(jīng)驗，對數(shù)據(jù)挖掘理論方法有一定了解者優(yōu)先;熟悉的BashShell和Python等腳本編程能力;強烈的責(zé)任心和工作熱情，良好的團隊合作精神。數(shù)據(jù)采集相關(guān)工作篇三崗位職責(zé)：深入研究業(yè)內(nèi)領(lǐng)先的技術(shù)思路，輸出具有創(chuàng)新價值的預(yù)研項目可行性分析報告以及相關(guān)實驗數(shù)據(jù);負責(zé)產(chǎn)品、銷售、供應(yīng)鏈、電商等公司數(shù)據(jù)的海量挖掘，并建立和優(yōu)化用戶標(biāo)簽、特征模型、產(chǎn)品精準(zhǔn)匹配、異常預(yù)警等;負責(zé)大數(shù)據(jù)下傳統(tǒng)機器學(xué)習(xí)算法的并行化實現(xiàn)及應(yīng)用，并提出改進方法和思路;參與公司大數(shù)據(jù)架構(gòu)，負責(zé)BI實施中的數(shù)據(jù)挖掘模塊算法研究、模型建立和優(yōu)化，幫助實現(xiàn)數(shù)據(jù)挖掘和分析平臺的建設(shè);負責(zé)相關(guān)數(shù)據(jù)挖掘項目的需求收集、項目建立、項目設(shè)計開發(fā)和結(jié)果輸出質(zhì)量把控，通過數(shù)據(jù)挖掘結(jié)果驅(qū)動業(yè)務(wù)執(zhí)行;配合技術(shù)進行數(shù)據(jù)挖掘模型開發(fā)和模型封裝，例如決策規(guī)則模型、預(yù)警模型、流失模型、效果標(biāo)桿模型、客戶生命周期管理模型等;任職要求：大學(xué)本科及以上學(xué)歷，統(tǒng)計學(xué)、計算機、信息技術(shù)、數(shù)學(xué)相關(guān)專業(yè);兩年以上數(shù)據(jù)建模經(jīng)驗;數(shù)據(jù)主流數(shù)據(jù)庫，mysql、oracle、DB2等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉庫，熟悉HBase、MongoDB等非結(jié)構(gòu)化數(shù)據(jù)庫;熟悉常用的聚類、分類、回歸、關(guān)聯(lián)、時間序列等監(jiān)督式和非監(jiān)督式學(xué)習(xí)算法;熟悉R、Python、MLlib等數(shù)據(jù)挖掘工具中至少一種。熟悉spark、storm等大數(shù)據(jù)計算框架者優(yōu)先。數(shù)據(jù)采集相關(guān)工作篇四職責(zé)描述：1、負責(zé)文本數(shù)據(jù)處理，如格式轉(zhuǎn)換、分詞處理、實體抽取、專業(yè)詞典整理等；2、自然語言處理相關(guān)工具開發(fā)；3、協(xié)助訓(xùn)練nlp模型。任職要求：1、計算機相關(guān)專業(yè)（本科2年以上）；2、精通c/c++或java，熟悉python、bash？shell等腳本語言；3、熟悉正則表達式，了解常用分類、聚類算法及相應(yīng)工具；4、熟悉使用基本分類、聚類算法及相應(yīng)工具；