(2) 精通 Perl,Python,Shell,SQL " />
(1) 精通 Oracle,MYSQL,GREENPLUM,Sqoop,HIVE,IMPALA,KAFKA,ES 等數(shù)據(jù)庫及組件;熟練使用阿里云;熟悉海量數(shù)據(jù)處理性能優(yōu)化;
(2) 精通 Perl,Python,Shell,SQL ,熟悉數(shù)據(jù)庫理論及數(shù)據(jù)開發(fā)技術(shù);
(3) 熟練掌握 DataStage,KETTLE,SQOOP等 ETL 開發(fā)工具和 MOIA,AZKABAN,DOLPHINSCHEDULE 等調(diào)度工具,熟悉報表開發(fā)流程,熟悉數(shù)據(jù)倉庫基本架構(gòu);
(4) 熟悉 ERWIN,power-designer 等數(shù)據(jù)建模工具;
(5) 熟練掌握數(shù)據(jù)質(zhì)量監(jiān)控,血緣關(guān)系等技術(shù);
中興飛貸數(shù)據(jù)平臺
中臺架構(gòu)設(shè)計
1、負(fù)責(zé)數(shù)據(jù)中泰整體架構(gòu)設(shè)計及數(shù)據(jù)模型;
離線實(shí)時開發(fā)
1、采用 impala ,負(fù)責(zé)離線 ETL 方案設(shè)計及開發(fā),實(shí)現(xiàn)帆軟報表、tableau 、提數(shù)等需求;
2、采用 kafka+flink+mysql ,負(fù)責(zé)實(shí)時方案設(shè)計及開發(fā),實(shí)現(xiàn)大屏、實(shí)時需求;
3、通過 python 配置 excel 生成腳本及調(diào)度;
4、數(shù)據(jù)質(zhì)量自動化監(jiān)控設(shè)計及開發(fā);
系統(tǒng)開發(fā)
1、輿情采集系統(tǒng)開發(fā)及維護(hù);