熟悉hdfs的工作原理,熟悉MR的編程模型及工作原理,編寫過MapReduce。
熟悉yarn的資源調(diào)度機(jī)制,了解mapreduce、spark在yarn上的運(yùn)行過程。
<" />
熟悉Java、Scala、MySQL、Python
熟悉hdfs的工作原理,熟悉MR的編程模型及工作原理,編寫過MapReduce。
熟悉yarn的資源調(diào)度機(jī)制,了解mapreduce、spark在yarn上的運(yùn)行過程。
熟悉分布式內(nèi)存計(jì)算框架Spark,實(shí)戰(zhàn)過Spark Streaming項(xiàng)目
阿拉丁離線數(shù)據(jù)開發(fā):flume數(shù)據(jù)采集,spark離線報(bào)表,新增用戶分析,留存用戶分析。
阿拉丁實(shí)時(shí)數(shù)據(jù)開發(fā):kafka+sparkstreaming實(shí)時(shí)數(shù)據(jù)處理