1、語言類
（1）熟練掌握J(rèn)ava和Scala語言，夠獨(dú)立參與代碼編寫
（2）熟悉Linux系統(tǒng)，會(huì)搭建hadoop集群并掌握Shell腳本語言，會(huì)基本的shell或python編程
2、數(shù)據(jù)倉" /> 亚洲最大的成人网,女的被弄到高潮娇喘喷水视频

成人影片麻豆国产影片免费观看_成人无码网www在线观看_国产激情精品一区二区三区_中文字幕无码av波多野吉衣_欧美日韩国产码高清综合人成

猿急送>

南京后端兼職程序員

ID：168883

naruto

大數(shù)據(jù)工程師

公司信息：
科大訊飛

工作經(jīng)驗(yàn)：
2年

兼職日薪：
500元/8小時(shí)

兼職時(shí)間：
周六
周日
可工作日遠(yuǎn)程

所在區(qū)域：
南京
全區(qū)
建鄴區(qū)，雨花臺(tái)區(qū)

技術(shù)能力

技術(shù)能力
1、語言類
（1）熟練掌握J(rèn)ava和Scala語言，夠獨(dú)立參與代碼編寫
（2）熟悉Linux系統(tǒng)，會(huì)搭建hadoop集群并掌握Shell腳本語言，會(huì)基本的shell或python編程
2、數(shù)據(jù)倉庫類
（1）熟練掌握Hive，會(huì)使用hql語言，會(huì)編寫UDF函數(shù)并對(duì)hive進(jìn)行優(yōu)化,，曾參與過多次數(shù)倉項(xiàng)目
（2）會(huì)使用es、redis、mysql、hdfs、hbase等進(jìn)行數(shù)據(jù)存儲(chǔ)，及其增刪改查
3、Spark/Hadoop以及流式處理類
（1）熟練掌握sparkcore、sparksql、sparkstreaming使用，理解RDD，DF、DS、DStream
（2）熟練掌握MapReduce的shffle過程，會(huì)利用mr框架進(jìn)行數(shù)據(jù)分析
（3）熟練掌握Hdfs、yarn、zookeeper、hbase、sqoop、flume等生態(tài)圈軟件的使用
（4）熟練掌握Kafka的組件結(jié)構(gòu)，可以解決數(shù)據(jù)傳輸?shù)陌踩詥栴}
（5）熟練掌握hue的使用，對(duì)CDH集群進(jìn)行監(jiān)控部署等
4、其他類
（1）會(huì)使用svn、postman等小工具
（2）會(huì)編寫spring boot的api接口服務(wù)

項(xiàng)目經(jīng)驗(yàn)

項(xiàng)目二：基于數(shù)倉類的K12教育考試系統(tǒng)
項(xiàng)目時(shí)間: 2018.04 - 2018.07
系統(tǒng)架構(gòu):hdfs+mysql+hive+sqoop+mapreduce
項(xiàng)目描述:
該項(xiàng)目是一個(gè)教育系統(tǒng)項(xiàng)目，主要對(duì)學(xué)生每次考試的成績進(jìn)行統(tǒng)計(jì)，去判斷學(xué)生的整體學(xué)習(xí)情況，查缺補(bǔ)漏，為學(xué)生推薦合適的題目，對(duì)他提供量身定做的補(bǔ)習(xí)模式，并做用戶畫像，貼上標(biāo)簽，以此在提高學(xué)生的成績的同時(shí)提高品牌知名度和收益額。
項(xiàng)目職責(zé)：
數(shù)據(jù)清洗（ETL）:利用kettle對(duì)數(shù)據(jù)進(jìn)行清洗過濾，解析主觀題和客觀題中的json串，并對(duì)學(xué)生的一些關(guān)鍵信息用MD5進(jìn)行脫敏
數(shù)據(jù)分析：完成項(xiàng)目的各個(gè)指標(biāo)
1學(xué)生維度分析
2 科目維度分析
3 班級(jí)維度分析
4 試卷維度分析
5 用戶畫像
數(shù)據(jù)對(duì)接：把hive中的表利用sqoop對(duì)接到mysql中進(jìn)行存儲(chǔ)展示

項(xiàng)目一：基于訊飛商城的用戶購物行為分析系統(tǒng)
項(xiàng)目時(shí)間: 2018.09 - 2019.03
系統(tǒng)架構(gòu): hdfs+spark+mysql+hive+kafka+mr
項(xiàng)目描述: 該項(xiàng)目是針對(duì)訊飛商城的用戶購物習(xí)慣分析 User Action Deep Parse簡稱UADP。我們可以分析出不同地域不同年齡段的人的消費(fèi)習(xí)慣，可以分析出不同商品在不同時(shí)間不同地域的銷量情況，通過一些熱銷商品去做廣告去吸引流量和促進(jìn)交易量，以此提高訂單轉(zhuǎn)化率提高收益，給決策者提供決策的數(shù)據(jù)信息
項(xiàng)目職責(zé)：
數(shù)據(jù)清洗（ETL）：利用mr對(duì)數(shù)據(jù)進(jìn)行清洗過濾得,并存儲(chǔ)到hdfs中
數(shù)據(jù)分析：完成項(xiàng)目的各個(gè)指標(biāo)
1平臺(tái)活躍度統(tǒng)計(jì)（新增用戶,新增會(huì)員，活躍用戶，活躍會(huì)員，總用戶等）
2訂單分析（下單，支付，退款，成功）
3 熱銷商品統(tǒng)計(jì)（時(shí)節(jié)熱銷品，地域熱銷品）
4 用戶分析(年齡，性別，地域，職業(yè))
5 黑名單統(tǒng)計(jì)
6 推薦系統(tǒng)
項(xiàng)目優(yōu)化：對(duì)spark進(jìn)行優(yōu)化