歡迎光臨管理者范文網(wǎng)
當(dāng)前位置:管理者范文網(wǎng) > 安全管理 > 崗位職責(zé) > 工程崗位職責(zé)

大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)8篇

更新時(shí)間:2024-11-20 查看人數(shù):29

大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)

第1篇 大數(shù)據(jù)平臺(tái)高級工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、負(fù)責(zé)公司級的通用數(shù)據(jù)平臺(tái)和分析型產(chǎn)品,服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;

2、面向pb級超大規(guī)模數(shù)據(jù)問題,每天處理千億增量的用戶行為數(shù)據(jù);

3、為大數(shù)據(jù)的全生命周期提供服務(wù),覆蓋數(shù)據(jù)產(chǎn)生,傳輸,建模,統(tǒng)計(jì)分析,實(shí)驗(yàn)評估,可視化的全流程;

4、構(gòu)建設(shè)計(jì)良好的數(shù)據(jù)流、數(shù)據(jù)倉庫、調(diào)度系統(tǒng)、查詢引擎,數(shù)據(jù)服務(wù)、分析系統(tǒng)、流程規(guī)范,數(shù)據(jù)工具/產(chǎn)品,降低數(shù)據(jù)的使用門檻,保證系統(tǒng)穩(wěn)定高效運(yùn)行,以實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值。

任職要求:

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;

2、強(qiáng)悍的編碼能力,生產(chǎn)環(huán)境快速 trouble-shooting能力,對新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情;

3、優(yōu)秀的理解溝通能力,能快速理解業(yè)務(wù)背景,對數(shù)據(jù)敏感,崇尚數(shù)據(jù)說話,深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值,有web應(yīng)用開發(fā)能力者優(yōu)先。

第2篇 大數(shù)據(jù)平臺(tái)工程師職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì),負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫相關(guān)建設(shè);2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲(chǔ)和訪問能力;3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運(yùn)行;4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能;5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評估,參與開發(fā)流程的討論與優(yōu)化;6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施;7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作;

8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化;

任職要求:

1、本科以上學(xué)歷,5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn),帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì); 2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),負(fù)責(zé)過海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì);3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺(tái)如,如storm,flunk,sparkstreaming等之一;4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù),并有廣泛的實(shí)踐經(jīng)驗(yàn),具備維護(hù)和解決生產(chǎn)問題的能力;5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫技術(shù)(如monogodb、redis等),有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn);6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設(shè)計(jì)模式; 7、理解soa,微服務(wù),中間件等paas相關(guān)的關(guān)鍵理念與技術(shù),并對其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn),樂于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

第3篇 微信支付大數(shù)據(jù)平臺(tái)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

崗位特色:

基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù),使用業(yè)界開源的主流技術(shù)棧以及我們自研的大數(shù)據(jù)技術(shù)相結(jié)合,構(gòu)建金融級的大數(shù)據(jù)平臺(tái),提供金融級數(shù)據(jù)安全保障和質(zhì)量保障,為數(shù)據(jù)開發(fā)者提供工業(yè)化的數(shù)據(jù)平臺(tái)服務(wù),建立元數(shù)據(jù)管理、血緣關(guān)系、計(jì)算任務(wù)和計(jì)算資源的動(dòng)態(tài)管控、全方位的數(shù)據(jù)安全風(fēng)險(xiǎn)控制,為數(shù)據(jù)分析、智慧推薦、金融風(fēng)控等業(yè)務(wù)提供數(shù)據(jù)平臺(tái)支撐;

工作職責(zé):

負(fù)責(zé)微信支付大數(shù)據(jù)基礎(chǔ)平臺(tái)相關(guān)開發(fā)工作;

負(fù)責(zé)大數(shù)據(jù)采集、計(jì)算、分析處理相關(guān)開發(fā)工作;

負(fù)責(zé)大數(shù)據(jù)治理相關(guān)開發(fā)工作,提供一站式的數(shù)據(jù)平臺(tái)及工具支持。

任職要求:

本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年及以上開發(fā)經(jīng)驗(yàn);

熟悉java、php、shell、python等至少三種開發(fā)語言;

有分布式系統(tǒng)、大數(shù)據(jù)服務(wù)、數(shù)據(jù)分析方面的開發(fā)經(jīng)驗(yàn)者優(yōu)先;

熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平臺(tái)和組件,有相關(guān)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

良好的溝通表達(dá)能力,執(zhí)行力力強(qiáng),對待工作認(rèn)真嚴(yán)謹(jǐn)、高度負(fù)責(zé)。

第4篇 大數(shù)據(jù)平臺(tái)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

負(fù)責(zé)spark、hadoop計(jì)算平臺(tái)的設(shè)計(jì)和開發(fā)工作,構(gòu)建高效穩(wěn)定的計(jì)算平臺(tái),為業(yè)務(wù)提供大數(shù)據(jù)分析所需的海量計(jì)算服務(wù);

負(fù)責(zé)數(shù)據(jù)倉庫、以及機(jī)器學(xué)習(xí)平臺(tái)的建設(shè)。

任職要求:

計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,2年以上大數(shù)據(jù)平臺(tái)開發(fā)、運(yùn)維經(jīng)驗(yàn);

對spark、hadoop平臺(tái)計(jì)算原理有深刻理解,能夠閱讀spark、hadoop源碼;對社區(qū)有源碼貢獻(xiàn)者優(yōu)先;

熟悉spark流計(jì)算框架或其他開源實(shí)時(shí)計(jì)算框架;

有elasticsearch集群運(yùn)維、開發(fā)經(jīng)驗(yàn)者優(yōu)先;

有數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn)者優(yōu)先;

數(shù)據(jù)大數(shù)據(jù)算法經(jīng)驗(yàn)、機(jī)器學(xué)習(xí)平臺(tái)建設(shè)經(jīng)驗(yàn)者優(yōu)先;

精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開發(fā);

對新技術(shù)充滿熱情,具有良好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作能力和溝通能力;

能承受較大的工作壓力。

第5篇 大數(shù)據(jù)平臺(tái)高級/資深工程師/專家(基礎(chǔ)架構(gòu)方向)職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1、參與小鵬汽車技術(shù)中臺(tái)的大數(shù)據(jù)云平臺(tái)產(chǎn)品建設(shè),包括:實(shí)時(shí)計(jì)算處理平臺(tái)、離線計(jì)算處理平臺(tái)、調(diào)用鏈分析監(jiān)控、日志處理平臺(tái);

2、分析系統(tǒng)瓶頸,處理、協(xié)調(diào)和解決基礎(chǔ)框架中出現(xiàn)的技術(shù)問題;

3、大數(shù)據(jù)新技術(shù)研究和應(yīng)用,并推動(dòng)適合技術(shù)應(yīng)用于生產(chǎn);

任職要求:

1、計(jì)算機(jī)相關(guān)專業(yè),本科或以上學(xué)歷,五年以上開發(fā)工作經(jīng)驗(yàn),有基礎(chǔ)架構(gòu)開發(fā)經(jīng)驗(yàn)優(yōu)先;

2、熟練java、python服務(wù)端編程,有良好的編碼習(xí)慣;

3、深入理解mapreduce,熟練使用storm/flink、hadoop、spark,并閱讀部分源碼;

4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch;

5、具有自然語言處理、信息檢索、機(jī)器學(xué)習(xí)、web挖掘、搜索引擎、推薦引擎等相關(guān)經(jīng)驗(yàn)優(yōu)先;

6、熟悉docker容器及容器化技術(shù),有kubernetes實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先;

7、對新技術(shù)有執(zhí)著追求,熱愛編程。善于抽象、總結(jié)、思考,能及時(shí)關(guān)注和學(xué)習(xí)業(yè)界最新技術(shù);

8、有較強(qiáng)的自學(xué)能力和鉆研精神,具有良好的溝通能力和團(tuán)隊(duì)合作能力,綜合能力強(qiáng)。

第6篇 大數(shù)據(jù)平臺(tái)高級工程師-平臺(tái)產(chǎn)品方向職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、負(fù)責(zé)公司級的統(tǒng)一數(shù)據(jù)平臺(tái)和分析型產(chǎn)品的研發(fā),服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線;

2、設(shè)計(jì)和實(shí)現(xiàn)web后端和關(guān)鍵數(shù)據(jù)服務(wù),用數(shù)據(jù)?量產(chǎn)品并驅(qū)動(dòng)產(chǎn)品演進(jìn)。

任職要求:

1、熟悉互聯(lián)網(wǎng)產(chǎn)品和服務(wù)的開發(fā)過程,熟悉后端技術(shù)架構(gòu),具備良好的系統(tǒng)設(shè)計(jì)能力;

2、扎實(shí)的計(jì)算機(jī)基礎(chǔ),對技術(shù)有熱情,愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn);

3、熟悉python和go語言優(yōu)先;

4、有大數(shù)據(jù)集、分布式計(jì)算工具(hadoop,spark,hive,storm)等應(yīng)用開發(fā)經(jīng)驗(yàn)優(yōu)先;

5、有產(chǎn)品sense,兼具pm技能者優(yōu)先。

第7篇 大數(shù)據(jù)平臺(tái)(高級)工程師-實(shí)驗(yàn)評估方向職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng),面向頭條全公司的所有產(chǎn)品線;

2、建立通用的用戶行為指標(biāo)體系,探索性發(fā)掘新指標(biāo),研究業(yè)界領(lǐng)先的個(gè)性化評估方法;

3、從pb級超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息,并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè),為策略/產(chǎn)品改進(jìn)提供支持。

任職要求:

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;

2、強(qiáng)悍的編碼能力,生產(chǎn)環(huán)境快速 trouble-shooting能力,對新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情;

3、優(yōu)秀的理解溝通能力,能快速理解業(yè)務(wù)背景,對數(shù)據(jù)敏感,崇尚數(shù)據(jù)說話,深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值,有web應(yīng)用開發(fā)能力者優(yōu)先。

第8篇 大數(shù)據(jù)平臺(tái)高級開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、負(fù)責(zé)大數(shù)據(jù)開源組件的調(diào)研

2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)自研平臺(tái)系統(tǒng)及功能模塊設(shè)計(jì)與開發(fā)

3、配合架構(gòu)師及測試按時(shí)完成開發(fā),保證產(chǎn)品正常發(fā)布與迭代

任職要求:

1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)

2、2年以上大數(shù)據(jù)平臺(tái)開發(fā)經(jīng)驗(yàn)

3、精通java,熟悉linu_系統(tǒng),深入理解并使用主流技術(shù)框架,如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧,具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn)

4、熟悉hadoop生態(tài)圈其他系統(tǒng),包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper, strom,flink,并了解其原理

5、熟練掌握各類數(shù)據(jù)結(jié)構(gòu)與算法,具有較強(qiáng)的編碼能力

6、具有良好的團(tuán)隊(duì)合作精神和表達(dá)溝通能力

7、有數(shù)據(jù)中臺(tái),數(shù)據(jù)服務(wù)平臺(tái)開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)圈組件者優(yōu)先

大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)8篇

職位描述:崗位職責(zé):1、參與小鵬汽車技術(shù)中臺(tái)的大數(shù)據(jù)云平臺(tái)產(chǎn)品建設(shè),包括:實(shí)時(shí)計(jì)算處理平臺(tái)、離線計(jì)算處理平臺(tái)、調(diào)用鏈分析監(jiān)控、日志處理平臺(tái);2、分析系統(tǒng)瓶頸,處理、協(xié)調(diào)和解決基礎(chǔ)框架中出現(xiàn)的技術(shù)問題;3、大數(shù)據(jù)新技術(shù)研究和應(yīng)用,并推動(dòng)適合技術(shù)應(yīng)用于生產(chǎn);任職要求:1、計(jì)算機(jī)相關(guān)專業(yè),本…
推薦度:
點(diǎn)擊下載文檔文檔為doc格式

相關(guān)大數(shù)據(jù)平臺(tái)信息

  • 大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)8篇
  • 大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)8篇29人關(guān)注

    職位描述:崗位職責(zé):1、參與小鵬汽車技術(shù)中臺(tái)的大數(shù)據(jù)云平臺(tái)產(chǎn)品建設(shè),包括:實(shí)時(shí)計(jì)算處理平臺(tái)、離線計(jì)算處理平臺(tái)、調(diào)用鏈分析監(jiān)控、日志處理平臺(tái);2、分析系統(tǒng)瓶頸,處理、 ...[更多]

大數(shù)據(jù)平臺(tái)崗位職責(zé)專題

工程崗位職責(zé)熱門信息