技能/語言:J2EE后端開發(fā),熟練運(yùn)用ssh框架,springMVC,springBoot, 大數(shù)據(jù)技術(shù)開發(fā),hadoop熟練、spark熟悉,Linux script 編程熟練、Oracle、mysql等數(shù)據(jù)庫開發(fā)熟練、前端開發(fā),JavaScript熟練運(yùn)用前端框架jquery、angularjs、bootstrap、css、html5等,英語閱讀口語書寫熟練、scalar、python編程熟悉、AI相關(guān)技術(shù),如tensorflow、機(jī)器人群算法等等
2016/08-2016/12 遵義市公安局大數(shù)據(jù)全業(yè)務(wù)平臺
所屬公司:廣州匯智通信技術(shù)有限公司
項(xiàng)目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT(開發(fā)工具)
Windows、Linux(軟件環(huán)境)
該全業(yè)務(wù)系統(tǒng)的門戶系統(tǒng)和數(shù)據(jù)管理平臺系統(tǒng)的開發(fā),門戶包含各業(yè)務(wù)系統(tǒng)的鏈接與通信交互,角色登錄,換膚功能,自定義頁面模塊,系統(tǒng)公告與消息等。數(shù)據(jù)管理平臺系統(tǒng)包含svg數(shù)據(jù)流向圖展示各種數(shù)據(jù)資源(儲存在kafka、hive、hbase等)的使用情況以及對這些資源進(jìn)行實(shí)時跟蹤匯報。項(xiàng)目前臺使用HTML5+css3+Angularjs+jquery+bootstrap框架開發(fā),用AJAX與后臺數(shù)據(jù)交互,websocket推送后臺消息;后臺使用分布式架構(gòu),用tomcat發(fā)布部署在Linux服務(wù)器上;數(shù)據(jù)庫使用Oracle
責(zé)任描述: 參加系統(tǒng)設(shè)計,系統(tǒng)功能的實(shí)現(xiàn)
2017/09-2018/01 廣東省大數(shù)據(jù)全業(yè)務(wù)平臺
所屬公司:廣州匯智通信技術(shù)有限公司
項(xiàng)目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT、Toad for Oralce、DBeaver(開發(fā)工具)
Windows、Linux(軟件環(huán)境)
廣東省出入境管理局大數(shù)據(jù)平臺的開發(fā),負(fù)責(zé)的工作是對各種資源數(shù)據(jù)(電圍、ps等)進(jìn)行綜合分析與挖掘。利用分布式數(shù)據(jù)庫Hive、Mpp 以及非分布式數(shù)據(jù)庫Oracle進(jìn)行聯(lián)動分析數(shù)據(jù),資源數(shù)據(jù)從kafka、hbase、部分?jǐn)?shù)據(jù)從Mpp以及Oracle錄入到Hive,開發(fā)數(shù)據(jù)專題模板,后臺Hadoop應(yīng)用程序調(diào)度多線程運(yùn)行模板,生成批量任務(wù),在hive上進(jìn)行分析,產(chǎn)出結(jié)果數(shù)據(jù)存儲在本地,分析任務(wù)完成后利用HDFS同步導(dǎo)出到Mpp以及Oralce提供給其他平臺以及業(yè)務(wù)系統(tǒng)調(diào)用
2018/02-2019/04 匯豐軟件RBWM保險IT Big Data平臺
所屬公司:中軟國際科技服務(wù)有限公司
項(xiàng)目描述:
IntelliJ IDE、SSH Secure Shell、Github
負(fù)責(zé)對各種資源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理并注入到Hadoop平臺。在Control-M部署批量定時任務(wù),該任務(wù)利用Linux script程序抓取資源數(shù)據(jù)到匯豐內(nèi)部云平臺,在云平臺上部署Java程序,對資源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,最后注入到hadoop平臺data lake中進(jìn)行數(shù)據(jù)分析
負(fù)責(zé)的工作主要是大數(shù)據(jù)全業(yè)務(wù)系統(tǒng)下的分析中心、偵控系統(tǒng)、門戶系統(tǒng)、數(shù)據(jù)管理平臺系統(tǒng)。主要內(nèi)容包括收集客戶需求、編寫需求文檔、使用Axure設(shè)計功能模型、接口以及HIVE庫、MPP庫、HBASE庫的底層數(shù)據(jù)聯(lián)調(diào)、與其他業(yè)務(wù)系統(tǒng)ICE通信交互協(xié)調(diào)、編寫模塊功能設(shè)計文檔、設(shè)計評審、使用
負(fù)責(zé)的工作主要是匯豐軟件RBWM保險IT部的data lake的數(shù)據(jù)注入。主要內(nèi)容包括項(xiàng)目功能說明文檔、數(shù)據(jù)注入Hadoop平臺的數(shù)據(jù)類型文檔、開發(fā)java程序和Linux script程序、部署control-m 批處理定時任務(wù)