3.熟悉Kafka、RabbitMQ等消息中間件
4.熟悉Redis、Mongodb、hbase等nosql數(shù)據(jù)庫
5.有扎實的java基礎(chǔ)
6." />
1.熟練使用Spring Boot、Spring Cloud
3.熟悉Kafka、RabbitMQ等消息中間件
4.熟悉Redis、Mongodb、hbase等nosql數(shù)據(jù)庫
5.有扎實的java基礎(chǔ)
6.熟練使用mysql、oracle、hive數(shù)據(jù)庫
7.熟悉Mina框架、xxl-job框架
8.熟練使用Jenkins、git、postman等工具
某銀行風控管理系統(tǒng):
1.業(yè)務數(shù)據(jù)開發(fā)
2.開發(fā)貼源層抽取到ods層的調(diào)度
3.開發(fā)ods層抽取到dwd層的調(diào)度
4.開發(fā)dwd層抽取到dw層的調(diào)度
輕音排行榜:
1.根據(jù)活動消費RabbitMQ中不同的Exchange和并進行解析
2.對解析后的數(shù)據(jù)根據(jù)活動要求進行分類統(tǒng)計
3.統(tǒng)計后的數(shù)據(jù)入redis和Mongodb
數(shù)據(jù)接入點:
1.基于Mina框架接入數(shù)據(jù)并存入Hbase(埋點行為數(shù)據(jù)、業(yè)務數(shù)據(jù)、第三方數(shù)據(jù))
2.災備處理,數(shù)據(jù)雙寫入Hbase和Mongodb。設(shè)置開關(guān),保證Hbase宕機不會影響主業(yè)務流程。
3.第三方數(shù)據(jù)導流。本公司內(nèi)任意平臺上有借款的用戶,在另一個平臺再次借款的用戶,第三方信息直接調(diào)取數(shù)據(jù)并存入此平臺內(nèi),節(jié)省公司開銷。