歡迎光臨管理者范文網(wǎng)
當前位置:管理者范文網(wǎng) > 安全管理 > 崗位職責 > 工程崗位職責

數(shù)據(jù)開發(fā)工程師崗位職責16篇

更新時間:2024-11-20 查看人數(shù):68
  • 目錄

數(shù)據(jù)開發(fā)工程師崗位職責

第1篇 數(shù)據(jù)開發(fā)高級工程師職位描述與崗位職責任職要求

職位描述:

工作職責:

1、負責數(shù)據(jù)收集、清洗和規(guī)約等工作;

2、提供面向業(yè)務(wù)的數(shù)據(jù)服務(wù),完成數(shù)據(jù)指標的統(tǒng)計、多維分析和展現(xiàn);

3、根據(jù)業(yè)務(wù)和產(chǎn)品情況,抽象業(yè)務(wù)邏輯,搭建和開發(fā)大數(shù)據(jù)平臺。

任職要求:

1、統(tǒng)招本科或以上學(xué)歷;

2、精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗,了解hive/mysql的基本原理和調(diào)優(yōu)策略

3、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法,熟悉linu_平臺,精通shell/python/php等腳本語言的一種或多種,編碼基本功扎實 ;

4、精通java開發(fā),熟悉大數(shù)據(jù)處理相關(guān)技術(shù),有hadoop開發(fā)經(jīng)驗,掌握mapreduce。

第2篇 大數(shù)據(jù)開發(fā)工程師(p7-p8)3職位描述與崗位職責任職要求

職位描述:

崗位職責:

分布式大數(shù)據(jù)系統(tǒng)開發(fā)、計算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計與開發(fā);

參與項目的架構(gòu)設(shè)計、評審、技術(shù)攻堅及優(yōu)化;

參與系統(tǒng)文檔的撰寫、維護。

任職要求:

本科以上學(xué)歷,計算機或相關(guān)專業(yè);

3年以上linu_后臺開發(fā)經(jīng)驗,有大規(guī)模系統(tǒng)開發(fā)經(jīng)驗;

精通http、tcp/ip協(xié)議,網(wǎng)絡(luò)編程;

熟悉linu_操作系統(tǒng)原理,常用工具;

熟悉常用大數(shù)據(jù)開源組件;

有高并發(fā)、大容量后臺服務(wù)系統(tǒng)設(shè)計經(jīng)驗;

具有良好的學(xué)習能力、溝通能力、團隊合作意識;

強烈的責任心與主動性,對所負責工作有owner意識,并能自我驅(qū)動成長;

對hadoop、flink、spark、lucene等開源項目有大規(guī)模應(yīng)用經(jīng)驗,contributor或者committer優(yōu)先。

第3篇 dmp數(shù)據(jù)開發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責任職要求

職位描述:

工作職責:

1、支撐dmp人群包計算的業(yè)務(wù)需求,參與服務(wù)端代碼開發(fā);

2、支撐dmp標簽的技術(shù)升級,參與數(shù)據(jù)產(chǎn)出流程性能優(yōu)化;

3、支持dmp大規(guī)模數(shù)據(jù)的計算和分析。

任職要求:

1、本科及以上學(xué)歷,計算機、通信等相關(guān)專業(yè),1-2年相關(guān)工作經(jīng)驗;

2、有良好的數(shù)據(jù)結(jié)構(gòu)、算法基礎(chǔ)和扎實的編程能力;

3、熟悉python/java/c++/scala其中任意一門或者多門語言;

4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技術(shù);

5、具有良好的團隊溝通意識和快速學(xué)習能力;

6、加分項: 熟悉大數(shù)據(jù)處理或者dmp業(yè)務(wù).

第4篇 高級數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求

職位描述:

職責描述:

1、承擔現(xiàn)有數(shù)據(jù)平臺的開發(fā)和優(yōu)化工作

2、根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)模型的調(diào)研、設(shè)計、開發(fā)及驗證工作,并持續(xù)進行模型優(yōu)化

3、負責數(shù)據(jù)模型架構(gòu)的構(gòu)建,建立數(shù)據(jù)抽取、清洗、校驗等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型

4、負責實時計算平臺搭建。

職位要求:

1、3-5年以上的相關(guān)工作經(jīng)驗

2、熟悉分布式計算平臺

3、有日志采集,數(shù)據(jù)處理,數(shù)據(jù)倉庫建模,etl等經(jīng)驗

4、熟悉java、python、spark開發(fā)

5、熟練掌握linu_ shell及sql語言

6、有獨立負責數(shù)據(jù)某一模塊的實際項目經(jīng)驗

7、有過用戶畫像等方面開發(fā)經(jīng)驗者優(yōu)先

8、有實時處理開發(fā)經(jīng)驗者優(yōu)先

第5篇 大數(shù)據(jù)開發(fā)(高級/資深)工程師職位描述與崗位職責任職要求

職位描述:

工作職責:

1、基于海量數(shù)據(jù),支持業(yè)務(wù)對數(shù)據(jù)的分析和使用:

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、構(gòu)建數(shù)據(jù)倉庫、分析用戶行為等。

任職要求:

1、有扎實的編程能力,有優(yōu)秀的設(shè)計和代碼品位,對解決具有挑戰(zhàn)性問題充滿激情;

2、對大數(shù)據(jù)處理有豐富的經(jīng)驗和廣闊的視野;

3、熟悉常用的開源組件:hadoop/hive/spark/storm,并了解其特性和使用場景;

4、優(yōu)秀的溝通理解能力,能快速理解業(yè)務(wù),用數(shù)據(jù)解讀業(yè)務(wù);

5、推薦或機器學(xué)習相關(guān)的開發(fā)工作優(yōu)先。

第6篇 數(shù)據(jù)開發(fā)工程師-變現(xiàn)業(yè)務(wù)職位描述與崗位職責任職要求

職位描述:

工作職責:

1、基于海量數(shù)據(jù),支持業(yè)務(wù)對數(shù)據(jù)的分析和使用;

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、分析客戶行為等。

任職要求:

1、精通至少一門編程語言,熟練運用各種常用算法和數(shù)據(jù)結(jié)構(gòu),有獨立的實現(xiàn)能力 ;

2、熟悉常用的開源組件:hadoop/hive/spark/storm,并了解其特性和使用場景優(yōu)先;

3、熟悉機器學(xué)習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、分布式計算至少某一方面,有較深的理論研究和實踐經(jīng)驗優(yōu)先;

4、數(shù)據(jù)分析、推薦、機器學(xué)習、數(shù)據(jù)挖掘相關(guān)的開發(fā)工作優(yōu)先。

第7篇 大數(shù)據(jù)開發(fā)工程師(數(shù)據(jù)分析、信息安全、前端開發(fā)、數(shù)據(jù)對接)職位描述與崗位職責任職要求

職位描述:

數(shù)據(jù)分析工程師:

崗位職責:

1、負責結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作,如:數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等;

2、負責數(shù)據(jù)需求的收集、整理和分析,配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析;

3、負責分析結(jié)果的可視化展現(xiàn);

4、負責核心算法的設(shè)計與優(yōu)化。

任職要求:

1、全日制本科畢業(yè);

2、計算機或數(shù)學(xué)或軟件類或統(tǒng)計相關(guān)專業(yè);

3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ),掌握統(tǒng)計模型、機器學(xué)習相關(guān)原理;

4、熟悉r/python/java等編程語言,熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,熟悉正則表達式的使用。

web前端開發(fā)工程師:

崗位職責:

1、負責前端框架設(shè)計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌;

2、與后端工程師緊密配合,高效率、高質(zhì)量地完成頁面展現(xiàn)研發(fā)工作;

3、負責對產(chǎn)品頁面性能的優(yōu)化和維護;

4、負責數(shù)據(jù)可視化圖表顯示。

任職要求:

1、本科及以上學(xué)歷,專業(yè)不限。3年以上前端開發(fā)經(jīng)驗;

2、精通html5/css3、_html/_ml,熟悉頁面架構(gòu)和布局,對表現(xiàn)與數(shù)據(jù)分離、web語義化等有深刻理解;

3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗;

4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開發(fā)經(jīng)驗優(yōu)先。

信息安全架構(gòu)工程師:

崗位職責:

1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu),不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求,跟進、解決存在的安全隱患;

2、 對上線前的軟件或者車上產(chǎn)品進行安全方面驗證及測試;

3、 跟進最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報告和防范措施;

4、 負責行業(yè)/國家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標準規(guī)范的研究工作。

任職要求:

1、本科以上學(xué)歷,信息安全,計算機,通信等相關(guān)專業(yè);

2、 擁有網(wǎng)絡(luò)安全專業(yè)技能,熟悉車載網(wǎng)絡(luò)架構(gòu),模塊及協(xié)議;

3、 熟悉常見網(wǎng)絡(luò)/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力;

4、 熟悉常見黑客攻擊手法,具備對黑客行為的入侵檢測能力;

5、 精通安全測試框架,理解網(wǎng)絡(luò),應(yīng)用,數(shù)據(jù)等不同層面的安全。

數(shù)據(jù)對接工程師:

崗位職責:

1、負責內(nèi)部系統(tǒng)的對接工作;

2、第三方平臺的數(shù)據(jù)對接及程序維護;

3、負責各車型的數(shù)據(jù)采集要求整理及規(guī)劃;

4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法,有良好的代碼規(guī)范,能對接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。

任職要求:

1、 本科以上學(xué)歷,信息化項目,計算機,無線傳輸?shù)认嚓P(guān)專業(yè);

2、擁有信息化相關(guān)技能,熟悉系統(tǒng)間的交互對接流程;

3、熟悉數(shù)據(jù)庫的管理及查詢、同步工作;

4、熟悉信息對接的方式,能用api、視圖等進行對接工作。

第8篇 高級/資深數(shù)據(jù)開發(fā)工程師-網(wǎng)易考拉250職位描述與崗位職責任職要求

職位描述:

工作職責:

1、利用海量業(yè)務(wù)數(shù)據(jù),設(shè)計數(shù)據(jù)模型,搭建數(shù)據(jù)倉庫;

2、負責解決并實現(xiàn)大數(shù)據(jù)計算分析需求(離線+實時);

3、負責數(shù)據(jù)底層引擎olap產(chǎn)品的設(shè)計開發(fā)工作。

任職要求:

1、本科及以上學(xué)歷,具有較強的編程能力(java/python/sql);

2、具有數(shù)據(jù)倉庫、海量數(shù)據(jù)計算,實時流式計算等相關(guān)項目經(jīng)驗;

3、掌握hadoop、hive、spark,storm,flink等大數(shù)據(jù)相關(guān)技術(shù)者;

4、優(yōu)秀的數(shù)據(jù)分析和解決問題能力,能夠把理論成功應(yīng)用于實踐;

5、對數(shù)據(jù)技術(shù)有極強的興趣和熱情。

第9篇 大數(shù)據(jù)開發(fā)工程師/專家(p6-p8)3職位描述與崗位職責任職要求

職位描述:

職責描述:

1.負責時空位置大數(shù)據(jù)對外接口后臺和服務(wù)框架的開發(fā)和運營;

2.負責時空位置大數(shù)據(jù)數(shù)據(jù)中、后臺的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè);

任職要求:

1.重點大學(xué)本科以上學(xué)歷,計算機及相關(guān)專業(yè);

2.3年以上相關(guān)工作經(jīng)驗,精通算法與數(shù)據(jù)結(jié)構(gòu),精通c/c++編程語言;

3.精通linu_、uni_編程環(huán)境,熟悉數(shù)據(jù)庫;

4.精通網(wǎng)絡(luò)編程,有分布式系統(tǒng)開發(fā)經(jīng)驗,有大平臺開發(fā)經(jīng)驗優(yōu)先;

5.熟悉gis和時空大數(shù)據(jù)處理和管理,有相關(guān)工作經(jīng)驗者優(yōu)先,

6.具備優(yōu)秀的獨立解決問題能力, 善于團隊合作,溝通良好,有一定的抗壓能力;

第10篇 高級大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求

職位描述:

崗位職責:

1. 基于公司大數(shù)據(jù)產(chǎn)品進行數(shù)據(jù)開發(fā),包括數(shù)據(jù)的采集,清洗,預(yù)處理,存儲,建模,分析挖掘等

2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù),提供數(shù)據(jù)支持

3. 參與公司大數(shù)據(jù)產(chǎn)品的運維和監(jiān)控,保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求:

1. 具備本科以上學(xué)歷, 計算機, 軟件以及相關(guān)專業(yè), 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗

2. 熟悉數(shù)據(jù)倉庫維度建模, 并能根據(jù)客戶需求進行數(shù)據(jù)開發(fā), 向模型更新數(shù)據(jù)

3. 使用過至少一種以上的etl工具

4. 熟練掌握java, 對hadoop相關(guān)的技術(shù)和組件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟練掌握shell或者python中的一種

6. 具備spark開發(fā)經(jīng)驗者優(yōu)先

7. 具備實時計算(kafka+storm/spark streaming) 經(jīng)驗者優(yōu)先

8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗者優(yōu)先

第11篇 數(shù)據(jù)開發(fā)工程師/python/c++(p6-p7)3職位描述與崗位職責任職要求

職位描述:

職責描述:

'負責內(nèi)部數(shù)據(jù)分析平臺建設(shè);

開發(fā)數(shù)據(jù)分析算法,提升計算效率和準確率;

對平臺進行運營,滿足用戶需求。'

任職要求:

'計算機相關(guān)專業(yè)本科及以上學(xué)歷,3年以上工作經(jīng)驗;

精通python, c/c++開發(fā),熟悉的常見的設(shè)計模式;

精通spark,hadoop,es 等大數(shù)據(jù)平臺的原理,做過大數(shù)據(jù)分析平臺項目,對性能調(diào)優(yōu)有經(jīng)驗;

熟悉mysql,postgresql,mogodb,redis等數(shù)據(jù)管理系統(tǒng);

擁有良好的發(fā)現(xiàn)、分析與解決問題的能力,責任感強、具有團隊精神與服務(wù)意識;

具有良好的學(xué)習能力,對互聯(lián)網(wǎng)的新技術(shù)有很強求知欲望。'

第12篇 后端數(shù)據(jù)開發(fā)工程師職位描述與崗位職責任職要求

職位描述:

職責描述:

1. 配合產(chǎn)品經(jīng)理,參與數(shù)據(jù)平臺發(fā)展各階段產(chǎn)品需求分析和功能設(shè)計;

2. 基于確定的產(chǎn)品功能需求,參與平臺后端系統(tǒng)架構(gòu)設(shè)計、接口定義實現(xiàn)及測試、構(gòu)建部署和運維等各階段工作;

3. 根據(jù)產(chǎn)品或技術(shù)實現(xiàn)發(fā)展需要,按需進行一些新技術(shù)的研究,并評估將其引入現(xiàn)有平臺實現(xiàn)的可行性。

任職要求:

1. 本科及以上學(xué)歷,至少3年及以上的實際開發(fā)經(jīng)驗;

2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設(shè)計語言,并且自認為具有良好的編程素養(yǎng);

3. 熟練掌握常用的數(shù)據(jù)結(jié)構(gòu)及算法;

4. 熟悉linu_系統(tǒng)開發(fā),熟悉網(wǎng)絡(luò)編程、文件系統(tǒng),有分布式系統(tǒng)開發(fā)經(jīng)驗;

5. 應(yīng)具有熟練的技術(shù)領(lǐng)域相關(guān)的英文文獻閱讀能力;

6. 有良好的溝通能力和團隊合作能力,能夠自主驅(qū)動,具備良好的問題定位分析能力。

優(yōu)先考慮:

1. 熟悉containerization和virtual machine平臺和相關(guān)技術(shù),熟悉docker、kubernetes和kvm等,并具有相關(guān)的實際運用經(jīng)驗;

2. 熟悉當前主流的云計算平臺,如應(yīng)熟悉aws、azure和阿里云其中至少一種平臺的iaas,并具有相關(guān)的項目經(jīng)驗;

3. 有開源項目實際參與經(jīng)驗。

第13篇 數(shù)據(jù)開發(fā)工程師崗位職責

數(shù)據(jù)庫開發(fā)工程師 融智投資 深圳市排排網(wǎng)投資管理股份有限公司,排排網(wǎng),私募排排網(wǎng),融智投資,排排網(wǎng) 崗位職責:

1.負責數(shù)據(jù)庫建模及開發(fā);

2.負責維護現(xiàn)有公司主站、數(shù)據(jù)中心數(shù)據(jù)庫;

3.負責現(xiàn)有數(shù)據(jù)庫性能及架構(gòu)的優(yōu)化;

4.負責解決日常出現(xiàn)的存儲過程錯誤及數(shù)據(jù)錯誤,并給出解決方案;

5.負責數(shù)據(jù)庫運維工作(同步、建庫);

6.負責數(shù)據(jù)庫技術(shù)架構(gòu);

崗位要求:

1. 擁有5年以上mysql(或oracle)數(shù)據(jù)庫管理、開發(fā)、設(shè)計及系統(tǒng)支持經(jīng)驗;

2. 精通sql語法,有能力編寫較復(fù)雜t-sql腳本;

3. 精通mysql的主從復(fù)制,了解至少一種ha方案;

4. 熟悉linu_系統(tǒng)的操作和基本排障方法;

5. 工作踏實,認真仔細,善于總結(jié),責任心強 ;

6. 有etl工具開發(fā)經(jīng)驗者優(yōu)先考慮;

第14篇 大數(shù)據(jù)開發(fā)工程師(渠道團隊)職位描述與崗位職責任職要求

職位描述:

職責描述:

1.參與產(chǎn)品和項目研發(fā)工作,基于spark完成產(chǎn)品大數(shù)據(jù)架構(gòu)和功能開發(fā);

2.搭建和調(diào)優(yōu)大數(shù)據(jù)基礎(chǔ)平臺,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數(shù)據(jù)組件的環(huán)境搭建;

3.維護線上系統(tǒng)的穩(wěn)定性、可靠性,通過分析現(xiàn)象快速定位問題,進而提出優(yōu)化方案,改進要求;

任職要求:

1.計算機相關(guān)專業(yè)本科及以上學(xué)歷,5年以上大數(shù)據(jù)工作經(jīng)驗,有扎實的計算機理論基礎(chǔ);

2.熟練使用mapreduce、spark提供的api編程,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗;

3.熟練使用大數(shù)據(jù)的工具平臺,熟悉hadoop生態(tài)環(huán)境,對hadoop、spark、storm、hbase、hive等至少一個項目有著深入了解;

4.掌握數(shù)據(jù)分析的基本流程,具備數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)的實戰(zhàn)經(jīng)驗;可以進行數(shù)據(jù)產(chǎn)品etl需求的調(diào)研及開發(fā);

5.熟悉etl任務(wù)調(diào)度及管理;

6.熟悉shell命令,進行簡單的shell編程;熟悉linu_文本處理命令,vi、awk、sed等命令

7.熟練使用hadoop或其他分布式平臺的一種,能使用java、python或其他語言編寫mapreduce進行大數(shù)據(jù)處理優(yōu)先;

8.有大型金融項目經(jīng)驗者優(yōu)先。'

第15篇 bi數(shù)據(jù)開發(fā)工程師崗位職責

大數(shù)據(jù)bi開發(fā)工程師 【崗位職責】:

1、負責業(yè)務(wù)相關(guān)指標的梳理和計算;

2、負責數(shù)據(jù)倉庫模型設(shè)計和開發(fā);

3、負責數(shù)據(jù)倉庫 etl 開發(fā);

4、上級交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計算機相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉庫開發(fā)經(jīng)驗;

3、熟悉數(shù)據(jù)倉庫理論,能夠根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)倉庫設(shè)計開發(fā);

4、熟悉 sql 開發(fā)并能夠進行優(yōu)化;

5、熟練掌握 hive 開發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團隊合作精神。 【崗位職責】:

1、負責業(yè)務(wù)相關(guān)指標的梳理和計算;

2、負責數(shù)據(jù)倉庫模型設(shè)計和開發(fā);

3、負責數(shù)據(jù)倉庫 etl 開發(fā);

4、上級交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計算機相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉庫開發(fā)經(jīng)驗;

3、熟悉數(shù)據(jù)倉庫理論,能夠根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)倉庫設(shè)計開發(fā);

4、熟悉 sql 開發(fā)并能夠進行優(yōu)化;

5、熟練掌握 hive 開發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團隊合作精神。

第16篇 大數(shù)據(jù)開發(fā)高級工程師-etl方向職位描述與崗位職責任職要求

職位描述:

工作職責:

1、 根據(jù)公司數(shù)據(jù)分析需求進行基于hadoop 平臺的項目開發(fā);

2、 根據(jù)需求進行數(shù)據(jù)倉庫模型設(shè)計,熟練使用kettle工具進行etl程序的開發(fā);包括實時數(shù)據(jù)加工,計算,etl,管理, 監(jiān)控等;

3、 負責針對源系統(tǒng)進行數(shù)據(jù)抽取、處理、分析等相關(guān)工作,及項目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護及提供數(shù)據(jù)接口工作;

4、 負責設(shè)計并優(yōu)化基于hive 的數(shù)據(jù)倉庫的建設(shè);

5、 制定數(shù)據(jù)庫備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案,并落地。

任職資格:

1.從事數(shù)據(jù)倉庫領(lǐng)域至少2年以上,熟悉數(shù)據(jù)倉庫模型設(shè)計與etl開發(fā)經(jīng)驗 ,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗;

2. 熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;

3.有從事分布式數(shù)據(jù)存儲與計算平臺應(yīng)用開發(fā)經(jīng)驗,熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實踐經(jīng)驗著優(yōu)先,重點考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費品品牌制造、零售行業(yè)經(jīng)驗,尤其快消品行業(yè)和財務(wù)領(lǐng)域數(shù)據(jù)項目經(jīng)驗者優(yōu)先;

6. 熟悉分布式計算presto/imapa優(yōu)先;

7.有實時計算方面的經(jīng)驗的優(yōu)先。

數(shù)據(jù)開發(fā)工程師崗位職責16篇

職位描述:職位描述:1.基于hadoo生態(tài)系統(tǒng)進行大數(shù)據(jù)平臺建設(shè);2.負責各業(yè)務(wù)條線相關(guān)指標數(shù)據(jù)的數(shù)據(jù)建模3.負責基于sqoo,hive、sark、sarksql、mysql進行大數(shù)據(jù)開發(fā)4.負責離線運算、實時計算平臺項目的設(shè)計、開發(fā)及運維5.負責對數(shù)據(jù)平臺進行性能調(diào)…
推薦度:
點擊下載文檔文檔為doc格式

相關(guān)數(shù)據(jù)開發(fā)信息

  • 數(shù)據(jù)開發(fā)工程師崗位職責16篇
  • 數(shù)據(jù)開發(fā)工程師崗位職責16篇68人關(guān)注

    職位描述:職位描述:1.基于hadoo生態(tài)系統(tǒng)進行大數(shù)據(jù)平臺建設(shè);2.負責各業(yè)務(wù)條線相關(guān)指標數(shù)據(jù)的數(shù)據(jù)建模3.負責基于sqoo,hive、sark、sarksql、mysql進行大數(shù)據(jù)開發(fā)4.負 ...[更多]

  • 大數(shù)據(jù)開發(fā)工程師崗位職責16篇
  • 大數(shù)據(jù)開發(fā)工程師崗位職責16篇62人關(guān)注

    職位描述:崗位職責:(1)根據(jù)業(yè)務(wù)進行數(shù)據(jù)需求的調(diào)研、設(shè)計、開發(fā)及驗證工作,并持續(xù)進行數(shù)據(jù)業(yè)務(wù)的優(yōu)化;(2)負責大數(shù)據(jù)整體設(shè)計和開發(fā)工作,包括數(shù)據(jù)接入、清洗、計算、校驗等 ...[更多]

數(shù)據(jù)開發(fā)崗位職責專題

工程崗位職責熱門信息