基本信息
案例ID:132141
技術(shù)顧問(wèn):草小誠(chéng) - 4年經(jīng)驗(yàn) - 著迷網(wǎng)

項(xiàng)目名稱:某BI系統(tǒng)
->查看更多案例案例ID:132141
技術(shù)顧問(wèn):草小誠(chéng) - 4年經(jīng)驗(yàn) - 著迷網(wǎng)
項(xiàng)目名稱:某BI系統(tǒng)
->查看更多案例
公司整體的大數(shù)據(jù)平臺(tái),囊括數(shù)十款移動(dòng)端游戲和一些運(yùn)維向數(shù)據(jù)分析,由各語(yǔ)言的SDK提供數(shù)據(jù)報(bào)送通訊,收入后進(jìn)行ETL,之后開(kāi)始分析出報(bào)表,由restful RPC 提供分析報(bào)表的查詢,包含有周期性的批處理數(shù)據(jù),以及當(dāng)日實(shí)時(shí)數(shù)據(jù)報(bào)表。除此以外,還提供有記錄服務(wù)(對(duì)大量?jī)?nèi)容記錄進(jìn)行永久存儲(chǔ)與實(shí)時(shí)查詢)排序服務(wù)(海量數(shù)據(jù)快速實(shí)時(shí)排序)等平臺(tái)服務(wù)。
個(gè)人職責(zé):
(1)云服務(wù)選型及購(gòu)買,關(guān)聯(lián),維護(hù)以及環(huán)境搭建,項(xiàng)目部署與監(jiān)控(nginx,uwsgi,shell)。
(2)協(xié)助運(yùn)營(yíng)方確定數(shù)據(jù)分析需求,根據(jù)需求設(shè)計(jì)事件打點(diǎn)與字段。
(3)提供接口(django)與Java SDK,協(xié)助完成PHP,Lua SDK,異步報(bào)送采集數(shù)據(jù)。
(4)對(duì)接收到的數(shù)據(jù)分別進(jìn)行流分析(spark streaming)和批處理(beeline,hive),產(chǎn)出歷史與實(shí)時(shí)數(shù)據(jù),并將報(bào)表數(shù)據(jù)入庫(kù)(elasticsearch)。
(5)提供基于Elasticsearch的排序服務(wù)和記錄服務(wù)。
(6)提供高度抽象restful API(django實(shí)現(xiàn)),供各產(chǎn)品后端展示,與服務(wù)使用方調(diào)用。
(7)對(duì)公司運(yùn)營(yíng)向決策提供大數(shù)據(jù)支持,以及異常排查,危險(xiǎn)預(yù)警。