技術(shù)能力

精通java，springcloud，springboot等；
熟練掌握hadoop生態(tài)搭建；分布式存儲和數(shù)據(jù)庫技術(shù)ElasticSearch/Hbase/starrocks/doris/Presto/Mysql等。
熟練使用IDEA、Git、Maven、Jenkins、Docker等IDE和構(gòu)建工具，有Devops的實際經(jīng)驗。
熟練掌握高可用、高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計及應(yīng)用。

項目經(jīng)驗

項目1 、數(shù)據(jù)中臺 Java大數(shù)據(jù)高級開發(fā)
?項目描述：數(shù)據(jù)中臺基于Hadoop生態(tài)和Flink計算引擎構(gòu)建批流一體化實時數(shù)倉，打造一站式大數(shù)據(jù)分析平臺。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。支撐企業(yè)業(yè)務(wù)創(chuàng)新，隨時隨地透視經(jīng)營，輔助企業(yè)科學(xué)決策，加速企業(yè)數(shù)據(jù)驅(qū)動轉(zhuǎn)型變革。
?主要模塊：數(shù)據(jù)治理平臺、ETL采集服務(wù)平臺、離線/實時開發(fā)IDE、數(shù)倉模型設(shè)計中心、資源調(diào)度平臺、統(tǒng)一數(shù)據(jù)服務(wù)發(fā)布和訂閱平臺、安全管理等。
?項目職責(zé)：
?個人負(fù)責(zé)：大數(shù)據(jù)中臺整體架構(gòu)設(shè)計，相關(guān)設(shè)計文檔編寫，核心功能的開發(fā)。
?參與協(xié)助：參與研究大數(shù)據(jù)技術(shù)應(yīng)用解決方案等，解決海量數(shù)據(jù)實時計算問題。
?技術(shù)應(yīng)用：
?數(shù)據(jù)采集：采用Flinkx的源碼改寫，可插件形式開發(fā)，支持多Source和Sink。
?數(shù)據(jù)計算：采用Spark/Flink流批一體化，計算離線實時數(shù)據(jù)。
?調(diào)度平臺：采用Dolphinschedule實現(xiàn)工作流任務(wù)調(diào)度，支持簡單拖拉拽即可實現(xiàn)復(fù)雜多種任務(wù)類型的調(diào)度。
?數(shù)據(jù)存儲：采用Kafka、Kudu+Impala存儲實時數(shù)據(jù)，Hive+Presto存儲離線數(shù)據(jù)。
服務(wù)框架：采用SpringCloud微服務(wù)框架，Nacos注冊中心，實現(xiàn)零代碼，可配置化API接口服務(wù)開發(fā)

項目2 、數(shù)據(jù)燈塔 Java大數(shù)據(jù)開發(fā)
項目描述：該平臺整合順豐物流營運各環(huán)節(jié)異常監(jiān)控點，擺脫現(xiàn)有問題：調(diào)度對異常監(jiān)控和決策（通過各個單環(huán)節(jié)
項目描述：數(shù)據(jù)燈塔充分運用大數(shù)據(jù)計算與分析技術(shù),融合了順豐科技內(nèi)部自有20余年物流領(lǐng)域持續(xù)積累海量數(shù)據(jù)。
基于此大數(shù)據(jù)進(jìn)行多維度深層次高精度的專業(yè)分析，以及通過快遞實時直播、監(jiān)控快件狀態(tài)、預(yù)警分析、倉儲分析、消費者畫像研究、行業(yè)對比分析、供應(yīng)鏈分析、智慧商圈、智慧云倉、促銷作戰(zhàn)室等數(shù)據(jù)清洗、整合、洞察與分析，為商戶提供分行業(yè)分場景的一站式咨詢、分析、營銷和運營服務(wù)的專業(yè)解決方案，目前已經(jīng)覆蓋生鮮、食品、3C、服裝等多個行業(yè)。
?主要模塊：燈塔物流、燈塔商業(yè)和行業(yè)解決方案、燈塔大屏、分倉模擬、定制數(shù)據(jù)等。
?項目職責(zé)：
?個人負(fù)責(zé)：負(fù)責(zé)大數(shù)據(jù)實時計算平臺搭建開發(fā)和維護(hù)；實時計算模塊、接口開發(fā)，編寫接口相關(guān)文檔。
?參與協(xié)助：參與研究大數(shù)據(jù)技術(shù)應(yīng)用解決方案等。
?技術(shù)應(yīng)用：
?數(shù)據(jù)計算：數(shù)據(jù)計算層（采用Kafka、Flink實時計算分析）；歷史數(shù)據(jù)（采用sparksql 離線數(shù)據(jù)處理分析）。
?數(shù)據(jù)存儲：采用Elasticsearch、Hbase、Mysql、Hive、Redis等數(shù)據(jù)庫。
?服務(wù)框架：應(yīng)用服務(wù)層采用springcloud+vuejs框架。

團(tuán)隊情況