- 目錄
-
第1篇 大數(shù)據(jù)平臺(tái)高級(jí)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)開(kāi)源組件的調(diào)研
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)自研平臺(tái)系統(tǒng)及功能模塊設(shè)計(jì)與開(kāi)發(fā)
3、配合架構(gòu)師及測(cè)試按時(shí)完成開(kāi)發(fā)，保證產(chǎn)品正常發(fā)布與迭代
任職要求：
1、本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)
2、2年以上大數(shù)據(jù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)
3、精通java，熟悉linu_系統(tǒng)，深入理解并使用主流技術(shù)框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧，具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn)
4、熟悉hadoop生態(tài)圈其他系統(tǒng)，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理
5、熟練掌握各類數(shù)據(jù)結(jié)構(gòu)與算法，具有較強(qiáng)的編碼能力
6、具有良好的團(tuán)隊(duì)合作精神和表達(dá)溝通能力
7、有數(shù)據(jù)中臺(tái)，數(shù)據(jù)服務(wù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)圈組件者優(yōu)先
第2篇 大數(shù)據(jù)平臺(tái)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開(kāi)發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；4、規(guī)劃與開(kāi)發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開(kāi)發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；
任職要求：
1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)； 2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；3、熟悉大數(shù)據(jù)開(kāi)發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開(kāi)發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式; 7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。
第3篇 大數(shù)據(jù)開(kāi)發(fā)工程師/專家（p6-p8）3職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)對(duì)外接口后臺(tái)和服務(wù)框架的開(kāi)發(fā)和運(yùn)營(yíng)；
2.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)數(shù)據(jù)中、后臺(tái)的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè)；
任職要求：
1.重點(diǎn)大學(xué)本科以上學(xué)歷，計(jì)算機(jī)及相關(guān)專業(yè)；
2.3年以上相關(guān)工作經(jīng)驗(yàn)，精通算法與數(shù)據(jù)結(jié)構(gòu)，精通c/c++編程語(yǔ)言；
3.精通linu_、uni_編程環(huán)境，熟悉數(shù)據(jù)庫(kù)；
4.精通網(wǎng)絡(luò)編程，有分布式系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，有大平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；
5.熟悉gis和時(shí)空大數(shù)據(jù)處理和管理，有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先，
6.具備優(yōu)秀的獨(dú)立解決問(wèn)題能力， 善于團(tuán)隊(duì)合作，溝通良好，有一定的抗壓能力；
第4篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;
2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì);
3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制，指導(dǎo)開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4. 負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計(jì)、開(kāi)發(fā)、測(cè)試及優(yōu)化工作。
任職要求：
1. 計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷;
2. 有 3 年以上工作經(jīng)驗(yàn)，其中包括2年以上大數(shù)據(jù)平臺(tái)架構(gòu)和系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
3. 精通 hadoop、hive、hbase原理，熟悉大數(shù)據(jù)生態(tài)技術(shù)，如storm、spark、flink、kafka、zookeeper等，有大規(guī)模集群架構(gòu)、開(kāi)發(fā)及運(yùn)維經(jīng)驗(yàn)，能根據(jù)業(yè)務(wù)場(chǎng)景設(shè)計(jì)合適的技術(shù)棧完成業(yè)務(wù)需求
4. 熟練sql 語(yǔ)言，掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫(kù)系統(tǒng)的使用，有一定的 sql 性能調(diào)優(yōu)經(jīng)驗(yàn);
5. 至少熟悉 java，scala，python，shell等編程語(yǔ)言中的2種;
6. 優(yōu)秀的分析和解決問(wèn)題的能力，對(duì)挑戰(zhàn)性問(wèn)題充滿激情;
7. 具備良好的團(tuán)隊(duì)合作精神，較強(qiáng)的溝通能力，具備良好的技術(shù)領(lǐng)導(dǎo)能力;
8. 有數(shù)據(jù)倉(cāng)庫(kù)背景或者 apache kylin 的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第5篇 系統(tǒng)運(yùn)維工程師（大數(shù)據(jù)方向）職位描述與崗位職責(zé)任職要求
職位描述：
1、負(fù)責(zé)公園業(yè)務(wù)系統(tǒng)的部署和日常更新，日常監(jiān)控和維護(hù)；
2、熟悉各辦公系統(tǒng)（如oa、勞動(dòng)力系統(tǒng)）維護(hù)等常規(guī)工作；
3、負(fù)責(zé)oa系統(tǒng)表單及相關(guān)流程的建立及維護(hù)，有泛微系統(tǒng)的應(yīng)用開(kāi)發(fā)、維護(hù)優(yōu)先考慮接；
4、負(fù)責(zé)軟件系統(tǒng)升級(jí)、維護(hù)和優(yōu)化，及時(shí)發(fā)現(xiàn)潛在問(wèn)題，保障系統(tǒng)正常運(yùn)行；
5、協(xié)助制定和改進(jìn)部署、維護(hù)流程，提高服務(wù)運(yùn)行質(zhì)量；；
6、制定數(shù)據(jù)庫(kù)操作規(guī)范和數(shù)據(jù)保密制度，并對(duì)數(shù)據(jù)庫(kù)操作進(jìn)行嚴(yán)格記錄。
任職資格：
1.計(jì)算機(jī)相關(guān)專業(yè)本科或以上學(xué)歷，2年以上工作經(jīng)驗(yàn)；
2.在大型企業(yè)有1年以上中型數(shù)據(jù)庫(kù)管理和維護(hù)工作經(jīng)驗(yàn)，熟悉泛微或勞動(dòng)力產(chǎn)品的優(yōu)先；
3.擁有大型主題樂(lè)園工作經(jīng)驗(yàn)者優(yōu)先，熟悉票務(wù)系統(tǒng)、商餐系統(tǒng)、停車場(chǎng)、酒店等系統(tǒng)優(yōu)先考慮；；
4.熟悉mysql、oracle數(shù)據(jù)庫(kù)，掌握sql語(yǔ)句，了解oracle的安裝與維護(hù)；
5.掌握tomcat、dubbo、redis、ngin_、mq等中間件及相關(guān)配置；
6.具有優(yōu)秀的團(tuán)隊(duì)合作和溝通協(xié)作能力、有責(zé)任心；
第6篇 高級(jí)java開(kāi)發(fā)工程師（大數(shù)據(jù)方向）職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1、負(fù)責(zé)智能推薦系統(tǒng)后端開(kāi)發(fā)；
2、負(fù)責(zé)詳細(xì)設(shè)計(jì)、編碼工作，確保項(xiàng)目進(jìn)度、質(zhì)量；
3、參與產(chǎn)品需求的溝通、討論；
4、應(yīng)對(duì)高并發(fā)、高可靠性等帶來(lái)的各種技術(shù)挑戰(zhàn)；
崗位要求：
1、5年服務(wù)端開(kāi)發(fā)經(jīng)驗(yàn)，本科及以上學(xué)歷；
2、扎實(shí)的java基礎(chǔ)，熟悉jvm、java io，掌握并發(fā)編程、網(wǎng)絡(luò)編程及常用數(shù)據(jù)結(jié)構(gòu)；
3、深入了解spring、hibernate、tomcat等開(kāi)源架構(gòu)，并對(duì)其運(yùn)行原理有較好的理解；
4、熟悉面向?qū)ο箝_(kāi)發(fā)，具備領(lǐng)域模型抽象能力，熟悉常用設(shè)計(jì)模式；
5、熟悉分布式、緩存、消息等機(jī)制；有高并發(fā)，高性能系統(tǒng)經(jīng)驗(yàn)，熟悉微服務(wù)架構(gòu)設(shè)計(jì)；
6、熟練掌握mysql等關(guān)系型數(shù)據(jù)庫(kù)，掌握mongodb、hbase等nosql數(shù)據(jù)庫(kù)，并有性能調(diào)優(yōu)經(jīng)驗(yàn)；
7、熟悉hadoop、hive、hbase、storm、kafka等大數(shù)據(jù)處理技術(shù)；
8、有強(qiáng)烈技術(shù)熱情和鉆研精神，注重代碼質(zhì)量，有良好的軟件工程知識(shí)和編碼規(guī)范意識(shí)；
9、具備較強(qiáng)的責(zé)任心，具備良好的溝通能力、團(tuán)隊(duì)協(xié)作和抗壓能力，做事精益求精；
第7篇 增長(zhǎng)大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
負(fù)責(zé)用戶增長(zhǎng)方向的離線和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)體系建設(shè)工作，提升數(shù)據(jù)分析工作的效率；
結(jié)合內(nèi)外部數(shù)據(jù)，構(gòu)建完整的用戶生命周期行為數(shù)據(jù)體系；
構(gòu)建的支持用戶增長(zhǎng)的數(shù)據(jù)分析產(chǎn)品，支持快速的深度分析海量ab測(cè)試實(shí)驗(yàn)結(jié)果；
深度分析用戶行為、行業(yè)情況和ab測(cè)試數(shù)據(jù)，利用數(shù)據(jù)挖掘算法對(duì)多維數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析。
任職要求：
本科及以上學(xué)歷，計(jì)算機(jī)、統(tǒng)計(jì)、數(shù)學(xué)、通信等理工類相關(guān)專業(yè)；
熟悉數(shù)據(jù)倉(cāng)庫(kù)理論和技術(shù)體系，熟練掌握sql/hive/mapreduce/spark/flink等大規(guī)模數(shù)據(jù)處理技術(shù)；
至少精通（python/java/scala/c++/r）一門編程語(yǔ)言，熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu) ；
有分布式計(jì)算、分布式存儲(chǔ)、數(shù)據(jù)挖掘經(jīng)驗(yàn)者優(yōu)先，有開(kāi)發(fā)設(shè)計(jì)用戶畫(huà)像方面經(jīng)驗(yàn)者優(yōu)先；
熟悉實(shí)時(shí)計(jì)算框架和相關(guān)處理技術(shù)者優(yōu)先；
熟悉growth hacking，或?qū)Υ朔较蛴信d趣者優(yōu)先。
第8篇 大數(shù)據(jù)可視化工程師崗位職責(zé)
大數(shù)據(jù)可視化工程師 萬(wàn)得 萬(wàn)得信息技術(shù)股份有限公司,wind資訊,萬(wàn)得,萬(wàn)得資訊,上海萬(wàn)得,萬(wàn)得 工作職責(zé):
1、和大數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家共同工作,探索可視化在金融業(yè)務(wù)場(chǎng)景的技術(shù)方案和產(chǎn)品應(yīng)用;
2、開(kāi)發(fā)展示為主的數(shù)據(jù)大屏和業(yè)務(wù)分析為主的數(shù)據(jù)產(chǎn)品以及在移動(dòng)端數(shù)據(jù)可視化項(xiàng)目;
3、負(fù)責(zé)數(shù)據(jù)產(chǎn)品/可視化大屏的前端架構(gòu)和應(yīng)用后臺(tái)及通用組件的開(kāi)發(fā)
任職要求:
1、本科及以上學(xué)歷,功底扎實(shí),視野開(kāi)闊,對(duì)新技術(shù)具有敏感和熱情;
2、工程能力強(qiáng),熟悉a_ure rp等設(shè)計(jì)工具,有較復(fù)雜的 webapp 類型產(chǎn)品前端開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)可視化開(kāi)源方案,有數(shù)據(jù)分析場(chǎng)景/數(shù)據(jù)可視化經(jīng)驗(yàn)者(echarts/highcharts/d3)優(yōu)先;
4、技術(shù)跟隨前沿,熟悉servlet,html5,javascript,json,了解node/angularjs/react;
5、熟悉web后臺(tái)性能優(yōu)化和前端展示技術(shù);
5、熟悉1-2種分析型數(shù)據(jù)庫(kù)(如db/hive/neo4j)者優(yōu)先;
6、性格要求:性格開(kāi)朗,勇于挑戰(zhàn);良好的人際關(guān)系,對(duì)技術(shù)追求工匠精神。
第9篇 大數(shù)據(jù)建模工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1. 運(yùn)用python、r、sql等工具，根據(jù)監(jiān)管部門與金融機(jī)構(gòu)需求進(jìn)行大數(shù)據(jù)模型設(shè)計(jì)與開(kāi)發(fā)；
2. 基于模型部署、測(cè)試、實(shí)施及模型應(yīng)用效果監(jiān)控工作，進(jìn)行模型調(diào)優(yōu)與維護(hù)；
3. 撰寫大數(shù)據(jù)建模項(xiàng)目可行性方案、建模分析報(bào)告；
4. 根據(jù)實(shí)際的建模業(yè)務(wù)，負(fù)責(zé)提出并反饋流程、策略、人員等問(wèn)題。
任職要求：
1、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、計(jì)算機(jī)及相關(guān)專業(yè)，國(guó)內(nèi)外知名院校碩士以上學(xué)歷需3-5年工作經(jīng)驗(yàn)，博士及以上學(xué)歷需1年工作經(jīng)驗(yàn)；
2、具有數(shù)學(xué)建?；虼髷?shù)據(jù)建模實(shí)際項(xiàng)目經(jīng)驗(yàn)，熟悉數(shù)學(xué)建模與優(yōu)化算法設(shè)計(jì)，掌握邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法；
3、熟練運(yùn)用python、r、matlab等常用數(shù)學(xué)建模與分析工具；
4、熟悉數(shù)據(jù)庫(kù)結(jié)構(gòu)，熟練運(yùn)用sql等數(shù)據(jù)庫(kù)語(yǔ)言，熟悉數(shù)據(jù)清洗、預(yù)處理與特征工程，熟悉
hadoop生態(tài)、spark結(jié)構(gòu)，c#語(yǔ)言；
5、具有扎實(shí)的統(tǒng)計(jì)分析功底，快速精準(zhǔn)的分析能力，能夠處理大量數(shù)據(jù)進(jìn)行建模；
6、具有良好的業(yè)務(wù)問(wèn)題分析，模型抽象能力和創(chuàng)新能力；
7、敬業(yè)、誠(chéng)信，良好的職業(yè)素養(yǎng)。
第10篇 大數(shù)據(jù)架構(gòu)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控等基礎(chǔ)設(shè)施；
2、參與存儲(chǔ)、計(jì)算、devinfra、監(jiān)控當(dāng)中的一個(gè)或多個(gè)方向。
任職要求：
1、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、調(diào)度、監(jiān)控、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；
2、樂(lè)于挑戰(zhàn)沒(méi)有明顯答案的問(wèn)題，能快速理解業(yè)務(wù)場(chǎng)景，從具體問(wèn)題中抽象出通用的解決方案；
3、存儲(chǔ)方向：對(duì) hdfs， rocksdb， ceph， hbase， kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
4、計(jì)算方向：對(duì) yarn， spark， flink， hive 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
5、devinfra方向：對(duì) docker， mesos， kubernetes 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；
6、監(jiān)控方向：對(duì) opentsdb， influ_db， prometheus， falcon 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先。
第11篇 大數(shù)據(jù)開(kāi)發(fā)工程師 [數(shù)倉(cāng)方向]職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、使用etl工具（如sqoop、kettle）進(jìn)行數(shù)據(jù)加工、清洗等流程；
2、根據(jù)業(yè)務(wù)需求，進(jìn)行數(shù)倉(cāng)日常數(shù)據(jù)分析、數(shù)據(jù)報(bào)表開(kāi)發(fā)；
3、使用hive進(jìn)行數(shù)據(jù)處理，及數(shù)據(jù)模型構(gòu)建；
4、具備良好的分析問(wèn)題和解決問(wèn)題的能力；
5、具備較強(qiáng)的溝通能力和邏輯表達(dá)能力，具備良好的團(tuán)隊(duì)合作精神和主動(dòng)溝通意識(shí)；
任職要求：
1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷；
2、熟練使用sql（mysql / oracle）；
3、熟練數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)、寬表設(shè)計(jì)、星型模型設(shè)計(jì)等；
4、熟練etl工具、sqoop、kettle、spark等；
5、熟悉hadoop、hive、hdfs等常用大數(shù)據(jù)組件；
6、有互聯(lián)網(wǎng)業(yè)務(wù)分布式數(shù)據(jù)倉(cāng)庫(kù)、cube、大數(shù)據(jù)數(shù)據(jù)分析等相關(guān)經(jīng)驗(yàn)者加分；
第12篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)工程師（hadoop）職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、打造業(yè)界領(lǐng)先的大數(shù)據(jù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)接入，同步，存儲(chǔ)、計(jì)算，查詢等環(huán)節(jié)的分布式系統(tǒng)，為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施；
2、與開(kāi)源社區(qū)保持交流，發(fā)現(xiàn)對(duì)業(yè)務(wù)場(chǎng)景有幫助的特性并引入生產(chǎn)環(huán)境，或?qū)⒔?jīng)內(nèi)部驗(yàn)證的特性貢獻(xiàn)到社區(qū)；
3、承擔(dān)千臺(tái)規(guī)模集群的管理工作，與業(yè)務(wù)一起解決性能優(yōu)化、容量規(guī)劃、預(yù)算審計(jì)等問(wèn)題，保障集群高效穩(wěn)定經(jīng)濟(jì)運(yùn)行；
任職資格：
1、計(jì)算機(jī)基礎(chǔ)扎實(shí)，熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法，具備較強(qiáng)的邏輯思維能力和編碼能力；
2、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、資源管理，數(shù)據(jù)同步等中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；
3、樂(lè)于挑戰(zhàn)沒(méi)有明顯答案的問(wèn)題，能快速理解業(yè)務(wù)場(chǎng)景，從具體問(wèn)題中抽象出通用的解決方案；
4，熟悉hadoop， hbase， zookeeper，flume，k8s等基礎(chǔ)服務(wù)中的一項(xiàng)或多項(xiàng)；
5、有kafka或者同類型技術(shù)設(shè)計(jì)開(kāi)發(fā)及集群管理經(jīng)驗(yàn)者優(yōu)先。
第13篇 大數(shù)據(jù)工程師-流式計(jì)算職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1.負(fù)責(zé)對(duì)核心業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化/半自動(dòng)化抽取、清洗、轉(zhuǎn)化、標(biāo)注等工作；
2.負(fù)責(zé)根據(jù)需求建立數(shù)據(jù)模型、進(jìn)行全網(wǎng)數(shù)據(jù)在線抽取分析；
3.負(fù)責(zé)算法的工程化、產(chǎn)品化工作；關(guān)注機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等方向前沿研究，并能將具體場(chǎng)景建模后與之結(jié)合快速工程化并落地；
4.完成各種面向業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型的定義和應(yīng)用開(kāi)發(fā)規(guī)范的制定，并保證數(shù)據(jù)質(zhì)量；
5.負(fù)責(zé)大數(shù)據(jù)計(jì)算平臺(tái)的研發(fā)工作。
任職要求：
1.計(jì)算機(jī)、信息系統(tǒng)、數(shù)學(xué)或相近專業(yè)本科以上學(xué)歷，4年以上軟件研發(fā)經(jīng)驗(yàn)；
2.精通spark／hadoop/hive/hbase/并有實(shí)戰(zhàn)經(jīng)驗(yàn)；
3.有scala， java， python等開(kāi)發(fā)經(jīng)驗(yàn)，精通sql；
4.有海量在線、離線數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)；
5.精通主流數(shù)據(jù)挖掘算法及其原理，能根據(jù)業(yè)務(wù)場(chǎng)景，建立挖掘模型，選擇最合適和高效的算法并實(shí)現(xiàn)；
6.需要有責(zé)任心， 工作積極主動(dòng)， 思路清晰，擅長(zhǎng)溝通、有團(tuán)隊(duì)合作精神。
第14篇 大數(shù)據(jù)etl工程師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
負(fù)責(zé)etl設(shè)計(jì)、模型設(shè)計(jì)、開(kāi)發(fā)、技術(shù)支持等工作，并保證數(shù)據(jù)安全、及時(shí)、穩(wěn)定、可恢復(fù)
任職要求：
1、3年及以上數(shù)據(jù)處理（etl）開(kāi)發(fā)經(jīng)驗(yàn)，能獨(dú)立完成數(shù)據(jù)處理開(kāi)發(fā)工作
2、熟悉mysql/oracle等標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，熟練上述數(shù)據(jù)庫(kù)的開(kāi)發(fā)
3、有hadoop和hivesql的使用經(jīng)驗(yàn)
4、熟悉etl設(shè)計(jì)，熟悉數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)、開(kāi)發(fā)規(guī)范和流程
5、熟悉至少一種etl開(kāi)發(fā)工具，如datastage，informatica， kettle等
6、具備數(shù)據(jù)倉(cāng)庫(kù)實(shí)施經(jīng)驗(yàn)者優(yōu)先
福利待遇：
試用期全額工資、六險(xiǎn)一金、體檢、年假、節(jié)假日禮品等
第15篇 大數(shù)據(jù)云計(jì)算工程師崗位職責(zé)
高級(jí)java開(kāi)發(fā)工程師(云計(jì)算大數(shù)據(jù)方向) 中軟國(guó)際科技 中軟國(guó)際科技服務(wù)有限公司,中軟國(guó)際,中軟國(guó)際科技,中軟國(guó)際科技服務(wù),中軟 職責(zé)描述:
1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺(tái)設(shè)計(jì)、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);
2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計(jì),完成系統(tǒng)業(yè)務(wù)功能實(shí)現(xiàn)、測(cè)試及維護(hù)工作;
3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計(jì)與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);
4、參與線上系統(tǒng)環(huán)境的升級(jí)、運(yùn)維監(jiān)控、性能調(diào)優(yōu);
5、推動(dòng)跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。
任職要求:
1、3以上java語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn),基礎(chǔ)扎實(shí), 熟練使用springmvc框架進(jìn)行開(kāi)發(fā);
2、對(duì)多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;
3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;
4、熟練使用sql的crud命令;
5、具有庫(kù)表結(jié)構(gòu)設(shè)計(jì)能力, 并且有一定的sql開(kāi)發(fā)及優(yōu)化能力。
第16篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述：
【崗位職責(zé)】：
1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；
3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開(kāi)發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；
4、規(guī)劃與開(kāi)發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；
5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開(kāi)發(fā)流程的討論與優(yōu)化；
6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；
【任職資格】：
1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)；
2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；
3、熟悉大數(shù)據(jù)開(kāi)發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；
4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；
5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；
6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開(kāi)發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式
7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。
8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。
