數據倉庫工程師崗位的工作職責
數據倉庫工程師崗位的工作職責
數據倉庫需要參與公司大數據平臺的建設,包括Sugar報表或神策接口配置,用戶畫像標簽體系的開發等。下面是學習啦小編為您精心整理的數據倉庫工程師崗位的工作職責。
數據倉庫工程師崗位的工作職責1
職責:
1、參與據倉庫的長期架構規劃,與數據開發,建設共享大數據平臺;
2、負責數據平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地;
3、負責來自業務團隊數據需求的研發支撐;
4、大規模數據挖掘和機器學習算法的實現和維護;
5、在線和離線海量數據分析平臺的開發;
6、負責數據倉庫的建設和維護,包括需求調研分析、軟件規劃、概念模型、設計邏輯、物理模型、數據處理(抽取、清洗、轉化)、項目實施管控等;
7、負責制定數據接入和采集規范制定。
任職要求:
1、從事數據倉庫領域工作2年以上;
2、熟悉數據建模、ETL設計與應用、報表開發等,并有實際模型設計及ETL開發經驗 ;具有良好的編程習慣和文檔編寫習慣;
3、熟悉數據倉庫領域知識和管理技能,包括但不局限于:元數據管理、數據質量、性能調優等;
4、掌握大型數據庫開發技術,如Oracle、Teradata、DB2、Mysql等等掌握至少其中一種,靈活運用SQL實現海量數據ETL加工處理;
5、了解大數據基礎架構和平臺 ,具備相關產品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項目應用研發經驗,有MapReduce開發的實戰經驗者優先考慮;
6、熟悉linux系統;
7、熟練掌握python語言;
8、熟悉數據可視化的基本方法,有數據可視化的開發經驗優先;
9、對數據敏感,具有良好的邏輯分析、責任心強、良好的對外溝通和團隊協作能力
數據倉庫工程師崗位的工作職責2
職責:
1. 負責數據倉庫建設、設計、優化和落地
2. 負責數據ETL任務開發及日常維護
3. 對數據ETL任務進行性能調優及性能瓶頸分析
4. 學習新技術,提高整個平臺的計算能力和效率
任職要求:
1. 計算機相關專業,全日制本科及以上學歷,2-5年工作經驗
2. 熟悉數據倉庫理論基礎,對數據模型建設、應用層建設有比較豐富的經驗
3. 熟練使用 SHELL或PYTHON
4. 熟悉HADOOP相關的大數據技術:HDFS, MAPREDUCE, HIVE
5. 能對HIVE進行性能分析及調優
6. 有MAPREDUCE開發經驗優先
7. 良好的溝通能力、組織協調能力、應變能力, 極強的責任心、學習能力。
數據倉庫工程師崗位的工作職責3
職責:
參與數據倉庫模型設計和開發工作;
負責建立數據分析模型,設計前端報表,數據可視化開發;
負責數據平臺項目數據倉庫的管理、性能監控及優化等;
負責數據平臺的日常運維及優化
職位要求:
大學本科以上學歷,3年以上工作經驗,包含2年以上數據倉庫開發工作經驗;
精通數據倉庫建設,熟悉常用的模型設計方法;
對數據可視化有豐富的經驗,熟悉常用的數據分析方法;熟悉至少一種報表工具開發;
精通數據倉庫領域知識和技能,包括元數據管理、主數據管理、數據質量管理等;
熟練使用ETL工具如Kettle、SSIS等進行數據清洗、轉換、整合;
熟悉至少兩種關系型數據庫,如Oracle、SQL Server、PostgreSQL、MySql等主流數據庫,精通SQL Server開發和運維者優先考慮;
有完整的數據平臺建設經驗者優先;
熟悉使用Linux系統及Shell腳本開發,熟練開發Python程序者優先;
熟悉大數據開發框架者優先,如Spark,Flink等;
對新技術好奇愛學習,主動性和責任心強,對數據敏感,邏輯性強,有良好的抗壓能力;
團隊協作能力強
數據倉庫工程師崗位的工作職責4
職責:
1、基于互聯網行業特點構建企業級數據倉庫架構,建設PB級共享數據平臺;
2、負責數據平臺相關數據研發及管理工作,參與制定EDW相關規范并推動實施落地;
3、對海量數據處理的相關需求進行評估及方案設計;
4、負責數據產品如用戶畫像等模型設計;
5、了解行業前沿大數據處理方法。
任職資格:
1、8年以上數據倉庫開發及管理經驗,5年以上互聯網/電商行業經驗;
2、精通數據倉庫建設方法論,有大型數據倉庫建設項目經驗(PB級以上);
3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理;
4、精通HiveSQL,有較豐富的HiveSQL性能調優經驗;
5、至少熟練使用Shell、Python、Perl等腳本語言之一;
6、工作認真、負責,有良好的團隊合作精神,良好的分析及溝通能力;
數據倉庫工程師崗位的工作職責5
職責:
1 負責大數據平臺、數據倉庫多維模型設計
2 負責大數據平臺相關生產系統數據的抽取、清洗、轉換等工作
3 負責BI平臺設計與報表開發工作
崗位要求:
1、精通數據倉庫建模理論,有參與過2個以上的數據倉庫建設經驗;
2、精通ETL開發,熟悉數據的抽取、常用數據腳本編寫、存儲過程的編寫;
3、熟悉BI平臺,有數據報表設計和開發經驗;
4、熟悉SQL,掌握Oracle、PostgreSQL、MySql等至少一種主流關系數據庫;
5、具備良好的團隊協作精神,良好的溝通能力;
6、供應鏈、物流行業數據從業經歷者優先。
相關文章: