資料倉庫工程師的工作職責
資料倉庫工程師的工作職責1
職責
1、負責資料ETL開發,最佳化ETL流程設計;
2、負責資料質量問題的分析、跟進、解決,進行資料質量監測、校驗和提升;
3、負責ETL開發實施文件的編寫;
4、負責梳理公司資料倉庫/資料集市資料清單、資料對映關係,最佳化現有資料倉庫模型;
5、完善和梳理資料指標體系,完成和維護資料字典的工作;
6、參與資料標準的制定、資料標準管理和資料安全管理工作;
7、參與公司大資料平臺的建設,包括Sugar報表或神策介面配置,使用者畫像標籤體系的開發等
任職要求:
1、有shell或Python指令碼開發經驗;
2、有傳統資料庫SQLServer和MySQL,有儲存過程編寫能力;
3、熟悉Hadoop生態相關技術並有相關實踐經驗,包括但不限於Sqoop、Hive、HBase、Kylin等開發經驗;
4、有kettle、azkaban或oozie工作流排程經驗;
5、熟悉HiveSQL或FlinkSQL的開發;
6、有資料倉庫模型設計,有使用kafka+FlinkStreaming實時資料處理經驗優先;
7、有Sugar、神策或Tableau使用經驗,有使用者畫像或客戶召回標籤工作經驗優先;
8、對資料探勘和機器學習有所瞭解,包括常用的機器學習演算法和資料建模過程的優先
資料倉庫工程師的工作職責2
職責:
1、負責資料來源匯入、清洗、整合等工作,最佳化ETL流程並解決ETL相關技術問題;
2、負責參與資料模型體系構建及資料主題設計和開發,資料倉庫和業務資料集市的建設;
3、負責資料集市需求調研和需求分析;
4、基於阿里雲Maxcompute,進行資料開發工作。
崗位要求:
1、3年或以上資料倉庫開發和模型設計經驗;
2、深入理解DW,BI相關的知識,包括:ETL、資料倉庫、OLAP、多維資料模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進行資料開發;
5、具有良好的團隊協作精神和溝通能力,較強的邏輯思維,學習能力和解決問題的能力,可承擔較大的工作壓力;
6、熟悉阿里雲大資料開發平臺優先,如Maxcompute;
7、熟悉跨境電商及供應鏈業務優先。
資料倉庫工程師的工作職責3
職責:
1、參與資料倉庫及ETL基礎架構規劃、安全規劃制定;
2、負責資料倉庫及ETL的開發、測試和最佳化,並及時解決相關技術問題;
3、負責相關資料準確性驗證及報表等日常維護;
4、報表效能最佳化:對存在效能問題的資料報表進行最佳化;
5、資料運維:及時處理線上問題;
6、完成上級交代的其他工作。
崗位要求:
1、計算機相關專業本科及以上學歷,2年以上ETL開發或數倉相關工作經驗;
2、熟練使用Oracle、MySQL、PostgreSQL等主流資料庫,具有較強的SQL編寫、最佳化能力,熟悉儲存過程編寫;
3、熟悉資料倉庫資料處理流程,有一定的資料建模能力;
4、具有良好的溝通理解能力,能根據業務提出的需求,快速理解並落地實施;
5、有Kettle、Greenplum開發經驗者優先。
資料倉庫工程師的工作職責4
職責:
1、負責資料倉庫架構設計與開發
2、根據業務調研,設計資訊模型與資料模型,負責大資料建模、ETL、資料產品及平臺的`設計與開發
3、滿足業務資料需求,設計面向業務的資料集市模型
4、需求的溝通與資料開發專案管理
5、基於Hadoop生態的程式設計、開發和維護
崗位要求:
1、熟悉SQL語言,至少熟悉Oracle、MySQL、SQLsever一種及以上
2、精通資料庫系統(Oracle、SQL、mysql等):精通熟悉Oracle資料庫體系結構,基礎紮實;精通熟悉DataGuardRAC等高可用技術,能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL,能編寫日常維護需要的指令碼
3、從事過數倉邏輯模型、物理模型設計與實施等工作
4、有使用Hive、Hbase、kettle等相關應用經驗更佳
資料倉庫工程師的工作職責5
職責:
1、負責直播業務相關資料倉庫的資料模型設計;
3、參與資料倉庫ETL流程設計、開發和最佳化,解決ETL過程相關技術問題;
3、參與專案規劃,資料採集設計,資料倉庫開發,模型開發,報表開發等;
4、總結資料倉庫建模的方法,負責資料產品平臺化和系統化;
任職資格:
1、2年及以上的資料倉庫/BI相關研發經驗,對資料和業務敏感,有較好的資料模型設計能力;
2、熟悉資料倉庫各類模型建模理論,瞭解資料倉庫資料分層架構,多維資料模型設計;
3、熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式資料庫/Kylin/ElasticSearch等經驗者優先;
4、有較強的程式設計能力和程式設計經驗,至少熟悉Java/Scala/Python/PHP等其中一門程式語言;
5、參與過大型資料倉庫架構設計、模型設計、ETL設計,具備海量資料處理、效能調優經驗;
6、學習能力強,熱衷開源技術,有團隊觀念,具備獨立解決問題的能力;