2、 熟悉mpp、hadoop、 hive、Impala、spark、hbase、kyli" />
1、 熟悉數(shù)據(jù)交換共享、數(shù)據(jù)開放、大數(shù)據(jù)平臺、數(shù)據(jù)治理、數(shù)據(jù)可視化等數(shù)據(jù)類項(xiàng)目經(jīng)驗(yàn),熟悉數(shù)據(jù)交換共享標(biāo)準(zhǔn)、數(shù)據(jù)開放平臺標(biāo)準(zhǔn)、架構(gòu)、解決方案。
2、 熟悉mpp、hadoop、 hive、Impala、spark、hbase、kylin、tidb等大數(shù)據(jù)技術(shù)架構(gòu)及相關(guān)解決方案。
3、 熟練掌握DW、BI、ETL項(xiàng)目實(shí)施方法、開發(fā)設(shè)計(jì)、數(shù)據(jù)建模;
4、 熟悉Oracle、Mysql、Sqlerver、Mongod、達(dá)夢、PG等數(shù)據(jù)庫。
5、 熟練tableau、永洪BI、pentaho等BI開發(fā)平臺、熟練kettle等ETL工具、具有Nginx、Keppalived、Tomcat、Zookeeper、haproxy等有項(xiàng)目應(yīng)用部署經(jīng)驗(yàn)。
6、 熟練Linux操作系統(tǒng),有一定的shell腳本編寫能力,熟悉java,js,python、C等語言。
項(xiàng)目一:深圳市經(jīng)信委數(shù)字經(jīng)貿(mào)平臺
項(xiàng)目時(shí)間:2018.1 – 2018.11 崗位:BI工程師
項(xiàng)目描述: 構(gòu)建“以基礎(chǔ)數(shù)據(jù)為依托、以重點(diǎn)行業(yè)和企業(yè)為支持、服務(wù)領(lǐng)導(dǎo)決策和促進(jìn)產(chǎn)業(yè)發(fā)展為使命”的經(jīng)濟(jì)運(yùn)行調(diào)控監(jiān)測分析體系,增強(qiáng)運(yùn)行調(diào)控的及時(shí)性、準(zhǔn)確性和有效性。一是實(shí)現(xiàn)數(shù)據(jù)集成和共享。家里基礎(chǔ)數(shù)據(jù)分類采集、集成共享、建立內(nèi)部集成數(shù)據(jù)庫,同時(shí)推動我委處室間、政府各個(gè)處室部門、各區(qū)數(shù)據(jù)共建共享。二是依托基礎(chǔ)數(shù)據(jù)提高經(jīng)濟(jì)運(yùn)行分析運(yùn)行監(jiān)測分析質(zhì)量和水平,加強(qiáng)基礎(chǔ)數(shù)據(jù)應(yīng)用、重視和突出對重點(diǎn)行業(yè)、重要企業(yè)和重點(diǎn)產(chǎn)品的分析、深度挖掘背后的內(nèi)在數(shù)據(jù)邏輯和變化原因,及時(shí)發(fā)現(xiàn)苗頭性、傾向性問題傾向預(yù)警分析、同事建立完成的分析報(bào)告體系。
責(zé)任描述:
1、 數(shù)據(jù)倉庫及BI項(xiàng)目建設(shè)的需求調(diào)研、需求分析、業(yè)務(wù)溝通、數(shù)據(jù)分析,提供項(xiàng)目調(diào)研需求評估報(bào)告。
2、 數(shù)據(jù)倉庫及BI項(xiàng)目與業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交換接口設(shè)計(jì)。
3、 數(shù)據(jù)倉庫架構(gòu)、建模、ETL流程及mapping邏輯等設(shè)計(jì)開發(fā)。
4、 負(fù)責(zé)數(shù)據(jù)治理平臺的數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)管理,數(shù)據(jù)血緣分析,數(shù)據(jù)關(guān)聯(lián)分析,數(shù)據(jù)影響分析等。
5、 負(fù)責(zé)數(shù)據(jù)應(yīng)用分析模塊及展現(xiàn)設(shè)計(jì)的指標(biāo)和維度的分析和提取。
6、 項(xiàng)目需求規(guī)格說明書、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)等項(xiàng)目文檔整理。
角色 | 職位 |
負(fù)責(zé)人 | 大數(shù)據(jù)開發(fā)工程師 |
隊(duì)員 | 產(chǎn)品經(jīng)理 |
隊(duì)員 | UI設(shè)計(jì)師 |
隊(duì)員 | iOS工程師 |
隊(duì)員 | 安卓工程師 |
隊(duì)員 | 前端工程師 |
隊(duì)員 | 后端工程師 |