- 目錄
-
第1篇大數(shù)據(jù)工程師( elasticsearch/spark)職位描述與崗位職責任職要求 第2篇高級大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第3篇大數(shù)據(jù)工程師-流式計算職位描述與崗位職責任職要求 第4篇微信安全大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第5篇大數(shù)據(jù)工程師-廣告系統(tǒng)職位描述與崗位職責任職要求 第6篇資深大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第7篇增長大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第8篇貴金屬大數(shù)據(jù)工程師崗位職責 第9篇流媒體大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第10篇大數(shù)據(jù)工程師崗位工作職責 第11篇工業(yè)大數(shù)據(jù)工程師職位描述與崗位職責任職要求 第12篇大數(shù)據(jù)工程師(電商行業(yè))職位描述與崗位職責任職要求 第13篇大數(shù)據(jù)工程師-數(shù)據(jù)流方向職位描述與崗位職責任職要求 第14篇大數(shù)據(jù)工程師職位描述與崗位職責任職要求
第1篇 貴金屬大數(shù)據(jù)工程師崗位職責
大數(shù)據(jù)工程師 工作職責:
1.負責公司大數(shù)據(jù)平臺框架的研發(fā)設(shè)計工作。
2.通過對貴金屬業(yè)務(wù)規(guī)則的理解,完成對數(shù)據(jù)的分析和處理。
3.開發(fā)數(shù)據(jù)后臺,將數(shù)據(jù)分析結(jié)果呈現(xiàn)到前端。
任職要求:
1.全日制本科以上學(xué)歷,計算機,數(shù)學(xué)或統(tǒng)計相關(guān)專業(yè)。
2.有數(shù)據(jù)分析,數(shù)據(jù)處理等相關(guān)領(lǐng)域的工作經(jīng)驗。
3.有pb級別的文本數(shù)據(jù)的清洗和處理經(jīng)驗。
4.熟悉常用的大數(shù)據(jù)技術(shù)。如:spark streaming,hbase,kafka 等。
5.熟悉java開發(fā)語言。
第2篇 流媒體大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責直播端及服務(wù)端海量用戶行為數(shù)據(jù)的加工處理,數(shù)據(jù)洞察驅(qū)動業(yè)務(wù)優(yōu)化;
2、打造業(yè)界領(lǐng)先的大數(shù)據(jù)平臺,支撐數(shù)據(jù)采集,加工,建模,分析,實驗,可視化的全流程;
3、打造業(yè)界領(lǐng)先的分布式計算,存儲系統(tǒng),解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、熱愛計算機科學(xué)和互聯(lián)網(wǎng)技術(shù),優(yōu)秀的編碼能力,樂于快速學(xué)習(xí)和嘗試新技術(shù)、新工具;
2、對開源大數(shù)據(jù)系統(tǒng)有相關(guān)經(jīng)驗者優(yōu)先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、對數(shù)據(jù)敏感,掌握量化分析方法,善于從數(shù)據(jù)中發(fā)現(xiàn)問題者優(yōu)先。
第3篇 大數(shù)據(jù)工程師-數(shù)據(jù)流方向職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責字節(jié)跳動所有產(chǎn)品線風(fēng)控方向的數(shù)據(jù)流和相關(guān)數(shù)據(jù)服務(wù);
2、面向超大規(guī)模數(shù)據(jù)問題,每天處理千億增量的用戶行為數(shù)據(jù);
3、負責流式數(shù)據(jù)的實時傳遞,清洗,轉(zhuǎn)換,計算,并對外提供查詢服務(wù);
4、負責相同數(shù)據(jù)集的批處理功能。
任職要求:
1、有至少tb以上級大數(shù)據(jù)處理經(jīng)驗,編碼能力強悍,具備生產(chǎn)系統(tǒng)快速 trouble-shooting 的經(jīng)驗和能力;
2、熟悉大數(shù)據(jù)處理工具/框架中的一項或多項,包括但不限于hadoop, mapreduce, hive, storm, spark, druid, kafka, hbase, canal,es等;
3、對開源社區(qū)有過貢獻者優(yōu)先,請在簡歷上說明。
第4篇 微信安全大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
通過海量數(shù)據(jù)挖掘建立微信安全畫像和數(shù)據(jù)倉庫,協(xié)助在線策略進行安全控制
構(gòu)建機器學(xué)習(xí)無監(jiān)督或有監(jiān)督算法模型,協(xié)助精準識別微信體系內(nèi)各種惡意行為
建立大規(guī)模文本內(nèi)容識別能力,包括但不限于文本分類,聚類等常見nlp任務(wù)模式
任職要求:
數(shù)學(xué)、統(tǒng)計、計算機、自然語言處理等相關(guān)專業(yè)碩士及以上學(xué)歷;或者三年以上互聯(lián)網(wǎng)數(shù)據(jù)分析和大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗;
熟悉經(jīng)典的聚類、分類等機器學(xué)習(xí)和深度學(xué)習(xí)算法,有大規(guī)模機器學(xué)習(xí)系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;
熟練掌握c++/java/scala/python等至少一門編程語言。
有主流大數(shù)據(jù)平臺spark/hadoop/flink/storm等平臺開發(fā)經(jīng)驗,熟悉分布式計算原理優(yōu)先
第5篇 增長大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
負責用戶增長方向的離線和實時數(shù)據(jù)倉庫體系建設(shè)工作,提升數(shù)據(jù)分析工作的效率;
結(jié)合內(nèi)外部數(shù)據(jù),構(gòu)建完整的用戶生命周期行為數(shù)據(jù)體系;
構(gòu)建的支持用戶增長的數(shù)據(jù)分析產(chǎn)品,支持快速的深度分析海量ab測試實驗結(jié)果;
深度分析用戶行為、行業(yè)情況和ab測試數(shù)據(jù),利用數(shù)據(jù)挖掘算法對多維數(shù)據(jù)進行關(guān)聯(lián)分析。
任職要求:
本科及以上學(xué)歷,計算機、統(tǒng)計、數(shù)學(xué)、通信等理工類相關(guān)專業(yè);
熟悉數(shù)據(jù)倉庫理論和技術(shù)體系,熟練掌握sql/hive/mapreduce/spark/flink等大規(guī)模數(shù)據(jù)處理技術(shù);
至少精通(python/java/scala/c++/r)一門編程語言,熟練運用各種常用算法和數(shù)據(jù)結(jié)構(gòu) ;
有分布式計算、分布式存儲、數(shù)據(jù)挖掘經(jīng)驗者優(yōu)先,有開發(fā)設(shè)計用戶畫像方面經(jīng)驗者優(yōu)先;
熟悉實時計算框架和相關(guān)處理技術(shù)者優(yōu)先;
熟悉growth hacking,或?qū)Υ朔较蛴信d趣者優(yōu)先。
第6篇 大數(shù)據(jù)工程師-廣告系統(tǒng)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責字節(jié)跳動海量用戶行為數(shù)據(jù)的處理,在分布式計算平臺基礎(chǔ)上建立高效、實時的數(shù)據(jù) pipeline;
2、負責推薦系統(tǒng)、廣告系統(tǒng)的數(shù)據(jù)分析,發(fā)現(xiàn)模式與規(guī)律,為實驗解釋、系統(tǒng)改進提供數(shù)據(jù)支持;
3、負責 hadoop,spark 等大數(shù)據(jù)基礎(chǔ)設(shè)施和平臺的改進,解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、2019屆畢業(yè),本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、熱愛計算機科學(xué)和互聯(lián)網(wǎng)技術(shù),優(yōu)秀的編碼能力,樂于快速學(xué)習(xí)和嘗試新技術(shù)、新工具;
3、對數(shù)據(jù)敏感,掌握量化分析方法,善于從數(shù)據(jù)中發(fā)現(xiàn)問題,提出假設(shè)并使用數(shù)據(jù)進行驗證;
4、對至少一項分布式計算平臺有使用經(jīng)驗,例如 hadoop,spark,hive,storm,kafka 等;
5、有參與開源項目對社區(qū)有貢獻的經(jīng)歷,有互聯(lián)網(wǎng)公司實習(xí)經(jīng)歷,有大數(shù)據(jù)處理或用戶行為數(shù)據(jù)分析經(jīng)驗者優(yōu)先。
第7篇 大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
這是一個為商業(yè)人工智能領(lǐng)域構(gòu)建實時大數(shù)據(jù)分析平臺的工作機會。我們希望您具備計算機科學(xué)或者相關(guān)專業(yè)領(lǐng)域的專業(yè)背景,并擁有構(gòu)建分布式可擴展數(shù)據(jù)處理及大數(shù)據(jù)存儲方面的豐富經(jīng)驗。您將擔任跨職能的團隊中的重要角色。我們希望您斗志昂揚,注重結(jié)果,積極主動,具備推動產(chǎn)品的增長和成功的成功經(jīng)驗。
工作職責
?在云端或者本地集群上構(gòu)建可擴展的實時數(shù)據(jù)處理流水線,收集、轉(zhuǎn)換、加載并管理各類數(shù)據(jù)源
?構(gòu)建可擴展的分布式數(shù)據(jù)存儲
?確保所構(gòu)建的數(shù)據(jù)處理管道具有高質(zhì)量并可審計
?開發(fā)相關(guān)工具以優(yōu)化數(shù)據(jù)的提取、分析及可視化效率
?評估數(shù)據(jù)工程領(lǐng)域的新技術(shù),并開發(fā)原型,以持續(xù)改善工作
?與框架和其他團隊合作,確保系統(tǒng)運行符合設(shè)計預(yù)期
工作要求
?全日制碩士以上學(xué)歷,計算機相關(guān)專業(yè),cet6
?具備大數(shù)據(jù)相關(guān)技術(shù)例如spark, kafka, hadoop, hbase, hive等的豐富經(jīng)驗
?具備五年以上java、scala、python相關(guān)工作經(jīng)驗,mysql, redshift等sql相關(guān)經(jīng)驗
?具備三年以上可擴展實時etl開發(fā)經(jīng)驗
?熟悉azure/aws/gcp相關(guān)工具與知識
?良好的書面/口頭溝通技巧
?具備機器學(xué)習(xí)算法方面工作經(jīng)驗者優(yōu)先
第8篇 大數(shù)據(jù)工程師(電商行業(yè))職位描述與崗位職責任職要求
職位描述:
工作職責:
1、基于hive的數(shù)據(jù)倉庫建設(shè)、etl開發(fā);
2、使用hive/flink等平臺進行分析內(nèi)部及外部的數(shù)據(jù),配合業(yè)務(wù)團隊進行定量和定性分析,把數(shù)據(jù)轉(zhuǎn)化成為業(yè)務(wù)增值的信息;
3、探索、評估新的技術(shù)和解決方案,提高數(shù)據(jù)并行計算能力和運行速度。
任職要求:
1、熟悉大數(shù)據(jù)相關(guān)技術(shù):kafka/flink/hadoop/druid/hbase 等;
2、具備數(shù)據(jù)庫系統(tǒng)理論知識,掌握主流數(shù)據(jù)庫管理和應(yīng)用,精通sql;
3、了解統(tǒng)計以及數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能技術(shù),會使用關(guān)聯(lián)分析、分類預(yù)測、聚類分析等常用分析方法;
4、熟練使用 java、python、php、go語言中的一種或者多種;
6、兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗,有高性能分布式平臺開發(fā)經(jīng)驗,有電商行業(yè)經(jīng)驗優(yōu)先。
第9篇 高級大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、參與大數(shù)據(jù)開放平臺基礎(chǔ)能力建設(shè),承擔系統(tǒng)架構(gòu)、組件開發(fā)、方案驗證等工作;
2、參與構(gòu)建大數(shù)據(jù)系列產(chǎn)品,包括但不限于用戶畫像、用戶增長與用戶經(jīng)營、數(shù)據(jù)分析挖掘、實時計算、數(shù)據(jù)分發(fā)、機器學(xué)習(xí)平臺、風(fēng)控反欺詐等產(chǎn)品線;
任職要求:
1、 統(tǒng)招本科或以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗;
2、扎實的java基礎(chǔ),能熟練使用java進行軟件功能開發(fā);
3、熟練掌握基于hadoop生態(tài)的大數(shù)據(jù)開發(fā)工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有實時系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;
4、熟悉常用的數(shù)據(jù)挖掘算法,例如聚類、回歸、決策樹等,有過nlp項目經(jīng)驗優(yōu)先;
5、有過互聯(lián)網(wǎng)公司數(shù)據(jù)倉庫、分析系統(tǒng)、用戶畫像、廣告平臺等產(chǎn)品開發(fā)經(jīng)驗者優(yōu)先;
6、工作積極主動,善于合作,敏而好學(xué);
第10篇 大數(shù)據(jù)工程師崗位工作職責
簡介:大數(shù)據(jù)(big data),指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)工程師職位描述(模板一)
崗位職責:
1.負責數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);
2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;
3.負責大數(shù)據(jù)相關(guān)平臺的搭建、開發(fā)、維護、優(yōu)化;
4.對業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實現(xiàn)與支持;
5.對公司的“數(shù)據(jù)驅(qū)動運營”的業(yè)務(wù)目標進行大數(shù)據(jù)架構(gòu)方案實現(xiàn)。
任職要求:
1.計算機相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗,學(xué)習(xí)能力突出;
2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗,有實際大數(shù)據(jù)項目經(jīng)驗優(yōu)先;
3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫;
4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計,熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗;
5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;
6.具有良好的溝通能力、組織能力及團隊協(xié)作精神,有較強的分析和解決問題的能力。大數(shù)據(jù)工程師職位描述(模板二)
崗位職責:
1.大數(shù)據(jù)平臺功能規(guī)劃、設(shè)計;
2.大數(shù)據(jù)平臺的設(shè)計、研發(fā);
3.大數(shù)據(jù)平臺實施、數(shù)據(jù)接入。
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計算機科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè)畢業(yè);
2.具有扎實的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗;
3.熟悉hadoop平臺架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗;
4.熟練python進行數(shù)據(jù)處理,網(wǎng)頁爬取;
5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識別經(jīng)驗優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)
崗位職責:
1.負責數(shù)據(jù)倉庫建設(shè)、設(shè)計、優(yōu)化和落地;
2.負責數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺建設(shè)、設(shè)計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。
任職要求:
1.985院校計算機相關(guān)專業(yè)本科以上學(xué)歷;
2.有較扎實的數(shù)據(jù)倉庫理論基礎(chǔ),對數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗;
3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)
崗位職責:
1.主要負責電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;
2.結(jié)合業(yè)務(wù)需求設(shè)計數(shù)據(jù)分析場景,并形成后臺實現(xiàn)方案,獨立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運營指標;
3.對產(chǎn)品全生命周期跟進,協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。
任職要求:
1.計算機或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗;
2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;
3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;
4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運維經(jīng)驗更佳;
5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團隊精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)
崗位職責:
1.負責大數(shù)據(jù)處理平臺應(yīng)用的開發(fā)工作;
2.利用hadoop yarn/storm/spark進行開發(fā)、存儲、分布式計算應(yīng)用的代碼實現(xiàn);
3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實時大數(shù)據(jù)處理需求;
4.學(xué)習(xí)新技術(shù),提高整個平臺的計算能力和效率;
5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。
任職要求:
1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗,對分布式、并行計算理論有深刻理解;
2.精通java/scala/python任一語言;
3.對hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺開發(fā)工作經(jīng)驗者優(yōu)先;
4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;
5.具有較好的溝通協(xié)調(diào)能力、團隊合作能力、文檔編寫能力。
第11篇 大數(shù)據(jù)工程師-流式計算職位描述與崗位職責任職要求
職位描述:
崗位職責:
1.負責對核心業(yè)務(wù)數(shù)據(jù)實現(xiàn)數(shù)據(jù)的自動化/半自動化抽取、清洗、轉(zhuǎn)化、標注等工作;
2.負責根據(jù)需求建立數(shù)據(jù)模型、進行全網(wǎng)數(shù)據(jù)在線抽取分析;
3.負責算法的工程化、產(chǎn)品化工作;關(guān)注機器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等方向前沿研究,并能將具體場景建模后與之結(jié)合快速工程化并落地;
4.完成各種面向業(yè)務(wù)目標的數(shù)據(jù)模型的定義和應(yīng)用開發(fā)規(guī)范的制定,并保證數(shù)據(jù)質(zhì)量;
5.負責大數(shù)據(jù)計算平臺的研發(fā)工作。
任職要求:
1.計算機、信息系統(tǒng)、數(shù)學(xué)或相近專業(yè)本科以上學(xué)歷,4年以上軟件研發(fā)經(jīng)驗;
2.精通spark/hadoop/hive/hbase/并有實戰(zhàn)經(jīng)驗;
3.有scala, java, python等開發(fā)經(jīng)驗,精通sql;
4.有海量在線、離線數(shù)據(jù)分析系統(tǒng)設(shè)計和開發(fā)經(jīng)驗;
5.精通主流數(shù)據(jù)挖掘算法及其原理,能根據(jù)業(yè)務(wù)場景,建立挖掘模型,選擇最合適和高效的算法并實現(xiàn);
6.需要有責任心, 工作積極主動, 思路清晰,擅長溝通、有團隊合作精神。
第12篇 資深大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
【崗位職責】:
1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計,負責大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè);
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負責基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲和訪問能力;
3、負責公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運行;
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲和計算架構(gòu)的性能;
5、負責數(shù)據(jù)平臺技術(shù)難點攻關(guān)、技術(shù)選型評估,參與開發(fā)流程的討論與優(yōu)化;
6、參與公司數(shù)據(jù)治理策略等的制訂和實施;
7、負責協(xié)助產(chǎn)品經(jīng)理進行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計等工作;
8、負責系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進行系統(tǒng)優(yōu)化;
【任職資格】:
1、本科以上學(xué)歷,5年以上大數(shù)據(jù)研發(fā)經(jīng)驗,帶領(lǐng)過10人以上的大數(shù)據(jù)團隊;
2、有大型分布式系統(tǒng)設(shè)計經(jīng)驗,負責過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計;
3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺如,如storm,flunk,sparkstreaming等之一;
4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù),并有廣泛的實踐經(jīng)驗,具備維護和解決生產(chǎn)問題的能力;
5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)(如monogodb、redis等),有實際生產(chǎn)項目應(yīng)用經(jīng)驗;
6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設(shè)計模式
7、理解soa,微服務(wù),中間件等paas相關(guān)的關(guān)鍵理念與技術(shù),并對其有廣泛的實踐與應(yīng)用經(jīng)驗,樂于。
8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計和從業(yè)經(jīng)驗者優(yōu)先。
第13篇 工業(yè)大數(shù)據(jù)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、針對工廠四大ai場景(機器視覺/圖像識別、機器學(xué)習(xí)/phm、知識發(fā)現(xiàn)、自然語言處理),給出有競爭力的算法實現(xiàn);
2、深入了解業(yè)務(wù)需求,能對算法和模型應(yīng)用效果進行評估、分析和優(yōu)化等;
3、ai和大數(shù)據(jù)相關(guān)課程開發(fā)培訓(xùn);
任職要求:
1、全日制本科及以上學(xué)歷,有5年以上相關(guān)工作經(jīng)驗;
2、曾經(jīng)實作過ai算法功能,有深度學(xué)習(xí)項目和相關(guān)經(jīng)驗,圖像處理經(jīng)驗優(yōu)先考慮;
3、熟悉流行的ai學(xué)習(xí)開源工具,如tensorflow等,有計算機視覺、深度學(xué)習(xí)的開發(fā)經(jīng)驗者優(yōu)先;
4、具備處理、清洗、核定分析數(shù)據(jù)能力,熟悉編程語言python等。
第14篇 大數(shù)據(jù)工程師( elasticsearch/spark)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、 負責基于elasticsearch的研發(fā);
2、 負責基于spark生態(tài)系統(tǒng)的研發(fā);
3、 負責elasticsearch/spark集群調(diào)優(yōu);
4、 負責對數(shù)據(jù)進行建模。
任職要求:
1、 大學(xué)本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、 三年以上工作經(jīng)驗;
3、 熟練掌握java/scala后端開發(fā),如多線程、網(wǎng)絡(luò)等;
4、 熟練掌握python、shell中的一種腳本語言;
5、 熟悉spark 生態(tài)系統(tǒng)組件,如:hadoop、flume、kafka、hbase、hive、pig、zookeeper;
6、 熟悉linu_開發(fā)環(huán)境;
7、 熟悉elasticsearch、lucene優(yōu)先;
8、 能夠讀懂及書寫英文文檔;
9、 有spark調(diào)優(yōu)、統(tǒng)計學(xué)知識的優(yōu)先考慮;
10、 有機器學(xué)習(xí)經(jīng)驗者優(yōu)先考慮;
11、 對新技術(shù)有孜孜不倦的熱情。