大數據開發工程師的工作職責模板
大數據開發工程師的工作職責模板
大數據開發工程師負責數據倉庫的體系建設及落地實現。下面是學習啦小編整理的大數據開發工程師的工作職責模板。
大數據開發工程師的工作職責模板1
職責:
1、獨立負責工作小組,并對下級成員進行監督;
2、具備資源整合以及對軟件項目全局把控的能力;
3、負責軟件項目的系統設計和需求分析;
4、制定軟件項目開發計劃,并按時完成功能模塊的設計、開發以及編程任務;
5、積極配合并完成主管下達的任務,并能夠對軟件部門的發展規劃提出意見;
任職條件
1、大數據相關開發經驗3年以上,至少具備2年以上java開發經驗;
2、有基于hadoop的數據抽取、轉換、加載的開發相關經驗;
3、熟練掌握hadoop生態的相關知識,如hive,hbase,flume.kafka,storm,spark,mapreduce等;
4、熟悉Linux操作系統。熟悉linux各項基本操作,至少掌握一門腳本語言;
5、熟練數據倉庫,對多維數據建模有深入理解;
6、有BI數據平臺、數據倉庫、日志采集、多維數據倉庫設計、開發、架構經驗者優先;
7、思維敏捷,有較強的鉆研學習能力,較好的溝通能力、團隊合作;
大數據開發工程師的工作職責模板2
1、負責數據倉庫和大數據處理模塊的架構設計和開發;
2、負責實現基于Spark框架的分布式計算框架的設計和開發工作;
3、負責Spark技術研究和通用數據平臺的性能調優;
4、負責大數據項目中,基于kafka、flume、spark streaming、Spark SQL等相關技術的海量數據的處理、分析、統計、挖掘工作。
5、熟悉Scala/Java語言,對Scala/Java原理、底層技術有深入研究者優先;
6、有過海量數據系統開發經驗者優先;
7、熟悉Hadoop/Spark生態系統組件的使用,至少有2年以上的Spark開發經驗;
8、寫過推薦系統的優先考慮
大數據開發工程師的工作職責模板3
職責
1、負責公司大數據平臺建設工作,完成Hdaoop/Spark搭建部署,根據業務需要進行開發;
2、開發實現網絡爬蟲并爬取所需數據,有效存儲到大數據平臺;
3、對平臺數據做預處理,滿足數據展現及后續機器學習等系統使用;
4、根據業務需要,應用大數據實時分析技術、可視化技術等,并對平臺發展規劃進行設計。
任職資格
1、本科及以上學歷,計算機相關專業;
2、熟悉數據倉庫和數據建模相關技術細節,有編程經驗,熟悉SQL/Hadoop/Hive/Hbase/Spark等大數據工具;
3、具備海量數據處理經驗,或有互聯網行業數據挖掘工作經驗;
4、1年以上崗位經驗優先,本科應屆有意向的,可優先培養。
大數據開發工程師的工作職責模板4
職責:
1.負責金融銀行大數據系統相關模塊的數據架構及研發實施工作
2.依據業務場景、分析需求提供技術解決方案并加以實現;
3.與客戶業務部門對接,解決數據建模、報表和報告在系統開發遇到的問題;
任職資格:
1.具備3年以上DW系統建設經驗,了解BI系統,有數據管理經驗,有維度建模相關經驗,了解數據倉庫建設過程中的挑戰與問題
2.精通多系統數據融合、清洗、轉換、整合,具備海量數據加工處理相關經驗
3.熟悉業界數據倉庫建模方法、元數據管理、數據質量體系管理
4.掌握大型數據庫開發技術(ORACLE/DB2等),有豐富的數據庫模型設計和優化經驗
5.熟練掌握Unix/Linux常規命令、工具及Shell編程
6.掌握一門或多門編程語言優先,如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大數據生態相關技術,有相關實踐經驗著優先8.良好的語言溝通與表達能力和自我驅動動力9.具備銀行項目設計、開發、優化等經驗者加分
大數據開發工程師的工作職責模板5
職責:
1、 參與ODS系統或Hadoop 系統數據庫相關開發,包括數據倉庫的數據模型設計(ODS層設計、基礎數據層設計、匯總層設計等);
2、 參與ETL Mapping設計及開發工作;
3、 參與客戶/用戶畫像、經營管理、產品畫像、營銷活動等主題域建設工作。
資質要求:
1.計算機相關專業本科及以上學歷,優秀者放寬至大專;
2.有大型數據庫(ORALCE/MSSQL SERVER等)開發經驗,有Sybase IQ\HIVE\Spark SQL開發經驗者優先;
3、有較強的SQL編程能力,熟練編寫存儲過程,能設計各種復雜的業務處理、統計分析語句,精通sql性能優化;
4、具有數據倉庫、ods、BI商務智能項目經驗者優先,具有金融行業項目背景者優先;
5、較好的溝通理解能力,態度踏實,積極上進。
相關文章: