◆ 熟悉實(shí)時(shí)計(jì)算Flink常用操作,熟悉Flink代碼編寫。
◆ 熟悉Hadoop" />
◆ 熟悉分布式內(nèi)存計(jì)算框架Spark,熟悉SparkSQL,熟練運(yùn)用RDD常用算子等常用操作,有較豐富的Spark項(xiàng)目經(jīng)驗(yàn),閱讀過(guò)少量源碼。
◆ 熟悉實(shí)時(shí)計(jì)算Flink常用操作,熟悉Flink代碼編寫。
◆ 熟悉Hadoop生態(tài)圈,掌握HDFS,MapReduce,Hive,Zookeeper,F(xiàn)lume,sqoop等組件均有實(shí)際應(yīng)用。
◆ 熟悉Java編程語(yǔ)言,熟悉Scala常用語(yǔ)法。
◆ 熟悉實(shí)時(shí)、離線數(shù)據(jù)同步技術(shù)。
◆ 熟悉ETL業(yè)務(wù)和抽取流程,業(yè)務(wù)數(shù)據(jù)分層。
◆ 熟悉Linux常用命令,熟悉常用開發(fā)環(huán)境,熟悉shell腳本編寫。
◆ 熟悉關(guān)系型數(shù)據(jù)庫(kù)MySQL,熟悉常用SQL函數(shù),熟悉NoSql數(shù)據(jù)庫(kù)Hbase ,Redis。
◆ 熟悉CDH搭建、操作、基本維護(hù)。
廈門國(guó)際銀行商戶貸 大數(shù)據(jù)開發(fā)工程師
項(xiàng)目描述:在銀行金融平臺(tái),有巨大的客戶量分布在農(nóng)業(yè)、房地產(chǎn)、二手車、餐飲、醫(yī)療等行業(yè),對(duì)于上下游的資金鏈條需求很大。商戶貸以風(fēng)控、大數(shù)據(jù)、AI對(duì)貸款用戶做畫像、信用評(píng)估、申請(qǐng)額度、可用額度做智能評(píng)估,把壞賬率降到最低。
主要技術(shù)為:ETL + HDFS + Spark + Mysql + Shell + HBASE
主要職責(zé):
◆ 調(diào)用銀行互金webservice接口獲取人行征信數(shù)據(jù)
◆ 人行征信數(shù)據(jù)解析、模型入?yún)⒅笜?biāo)計(jì)算,存儲(chǔ)
◆ 授信申請(qǐng)用戶畫像標(biāo)簽聚合,畫像數(shù)據(jù)接口開發(fā)
◆ 模型規(guī)則配置發(fā)布
◆ CDH集群搭建
行圓生態(tài)流量用戶畫像、車型畫像 大數(shù)據(jù)開發(fā)工程師
項(xiàng)目描述: 行圓汽車分別為汽車企業(yè)及汽車經(jīng)銷商提供汽車車源批發(fā)服務(wù),汽車互聯(lián)網(wǎng)營(yíng)銷服務(wù),經(jīng)銷商互聯(lián)網(wǎng)運(yùn)營(yíng)服務(wù)。對(duì)接多個(gè)第三方合作伙伴。根據(jù)URL判斷用戶來(lái)源,去向及用戶在官網(wǎng)瀏覽動(dòng)作做出流量畫像。
主要技術(shù)為:SparkStreaming+ HDFS + HBase + Hive + Spark MLlib(ALS)
主要職責(zé):
◆ 分析業(yè)務(wù)需求,調(diào)研車型互聯(lián)網(wǎng)用戶畫像指標(biāo)流程,自定義規(guī)范格式;
◆ 代碼編寫,測(cè)試文檔編寫更新;
◆ 用戶畫像:用戶CookieId,用戶初次訪問時(shí)間,末次訪問時(shí)間(動(dòng)態(tài)更新),平均停留時(shí)長(zhǎng)等編寫;
◆ 車型畫像:用戶Cookieid,熱門品牌(在規(guī)定時(shí)間內(nèi)該用戶瀏覽最多的品牌),熱門車型(在規(guī)定時(shí)間內(nèi)返回瀏覽次數(shù)車型的車款),平均價(jià)格區(qū)間等編寫;
◆ 基于用戶行為做車型推薦編寫;
項(xiàng)目描述:在銀行金融平臺(tái),有巨大的客戶量分布在農(nóng)業(yè)、房地產(chǎn)、二手車、餐飲、醫(yī)療等行業(yè),對(duì)于上下游的資金鏈條需求很大。商戶貸以風(fēng)控、大數(shù)據(jù)、AI對(duì)貸款用戶做畫像、信用評(píng)估、申請(qǐng)額度、可用額度做智能評(píng)估,把壞賬率降到最低。 主要技術(shù)為:ETL + HDFS + Spark + M
項(xiàng)目描述: 當(dāng)今汽車消費(fèi)者需求越發(fā)多樣化,并分散在更加細(xì)化的圈層中,想要準(zhǔn)確認(rèn)知并精準(zhǔn)觸達(dá)目標(biāo)消費(fèi)者,需要進(jìn)行更深入的洞察與更精確的投送渠道。其中為了防止一些不法分子的投機(jī)取巧,特別開設(shè)此項(xiàng)目。 主要技術(shù)為: spark + redis + mysql +HDFS 主要職責(zé)
項(xiàng)目描述: 當(dāng)今汽車消費(fèi)者需求越發(fā)多樣化,并分散在更加細(xì)化的圈層中,想要準(zhǔn)確認(rèn)知并精準(zhǔn)觸達(dá)目標(biāo)消費(fèi)者,需要進(jìn)行更深入的洞察與更精確的投送渠道。其中為了防止一些不法分子的投機(jī)取巧,特別開設(shè)此項(xiàng)目。 主要技術(shù)為: spark + redis + mysql +HDFS 主要職責(zé)