精通數(shù)倉實施方法論
精通hive、hadoop,impala、有構(gòu)建100TB量級的大數(shù)據(jù)數(shù)倉實施經(jīng)驗
精通百度sugar大屏設(shè)計" />
精通sql,精通oracle,mysql數(shù)據(jù)庫的存儲過程開發(fā)、元數(shù)據(jù)使用、查詢優(yōu)化。
精通數(shù)倉實施方法論
精通hive、hadoop,impala、有構(gòu)建100TB量級的大數(shù)據(jù)數(shù)倉實施經(jīng)驗
精通百度sugar大屏設(shè)計軟件的設(shè)計經(jīng)驗,能獨自完成頁面、圖表、圖表聯(lián)動、圖表下鉆、數(shù)據(jù)模型、用ajax對接外接接口、自定義組件等,有3個成熟的應(yīng)用落地經(jīng)驗。
熟練使用java spring boot mybatis、easypoi、ureport等技能完成過3項軟著和專利
地磁數(shù)據(jù)優(yōu)化:數(shù)據(jù)存儲采用阿里云mysql數(shù)據(jù)庫,數(shù)據(jù)查詢慢,單表超過400w,查詢時長超過10s,經(jīng)我重構(gòu)數(shù)據(jù)結(jié)構(gòu)后,現(xiàn)在數(shù)據(jù)常年保持9000w左右,但查詢不超過2s.且結(jié)構(gòu)運維都是自動任務(wù)。
重慶京東方大數(shù)據(jù)項目:原始數(shù)據(jù)為oracle集群,6月數(shù)據(jù)量在30TB以上,由我主導(dǎo)設(shè)計數(shù)據(jù)增量同步、數(shù)倉分層、etl流程設(shè)計、到數(shù)據(jù)集市創(chuàng)建、結(jié)合公司的bi工具進行良率分析及數(shù)據(jù)呈現(xiàn),etl執(zhí)行引擎為hive、數(shù)據(jù)集市查詢引擎為impala.
金控數(shù)據(jù)大屏:以百度sugar為主體、制作大屏頁面及跳轉(zhuǎn)關(guān)系、用jeecgboot低代碼平臺做為權(quán)限控制及登錄入口,以極少的人力完成數(shù)據(jù)大屏的展示和區(qū)分校色權(quán)限的明細表格的查詢需求
此大屏為針對僑胞分布及與高校、企業(yè)合作數(shù)據(jù)統(tǒng)計,我負責(zé)協(xié)調(diào)業(yè)務(wù)、ui的設(shè)計,做數(shù)據(jù)處理。大屏設(shè)計及實現(xiàn)。
此為針對磁場采集數(shù)據(jù),經(jīng)過分析,產(chǎn)出地磁異常信息、以大屏為基礎(chǔ),使用地圖進行展示采集點的方式預(yù)測地震與地磁強度的關(guān)系,我負責(zé)數(shù)據(jù)優(yōu)化,將1億級別的數(shù)據(jù)在mysql云數(shù)據(jù)庫中進行優(yōu)化處理,使得查詢速度在2s以內(nèi),并負責(zé)整個大屏的設(shè)計、開發(fā)及交付。