1 項目背景
360推薦引擎是360奇虎團隊自主研發(fā)的商業(yè)用戶推薦引擎,是國內最早嘗試信息流
的團隊之一,通過推薦算法,廣告排名,搜索指數(shù)等維度像用戶展示信息
2目標
構建一個穩(wěn)定的可持續(xù)變現(xiàn)的用戶推薦引擎,通過技術的方式,讓用戶沉迷其中
3 項目概述
1 項目經歷了垂直式架構到分布式架構的演變,最初單純的springMVC到dubbo。
2 數(shù)據處理使用的ETL
3 數(shù)據分析存儲使用的ES
4 業(yè)務數(shù)據使用的mysql
5 客戶端通訊使用的MTQ
項目職責: 1 項目中擔任的角色
我在本項目中的4年時間里,我從T2升到了T7,一直從事著推薦引擎相關的開發(fā)工
作
2 項目中遇到的痛點難點
2.1 單機處理大量服務會宕機的問題
2.2 一個系統(tǒng)有太多服務容易宕機的問題
2.3 實時處理的數(shù)據太多服務器宕機的問題
3 解決問題的辦法
3.1 由springMVC迭代到了dubbo
3.2 根據業(yè)務進行服務拆分
3.3 處理處理大致分成三部,首先保存下來,其次清洗,然后分析,由實時分析演
變成延遲的隊列離線分析
項目業(yè)績:
1 目標達成情況
1:穩(wěn)定每天推薦的用戶在20萬左右
2:穩(wěn)定每日分析的數(shù)據在10BG左右
3:完成首個數(shù)據分析類項目
2 我的貢獻
1: 完成不同技術的學習然后落地在項目里
2:完成ES的開發(fā)
3 完成ETL的開發(fā)
4 完成數(shù)據分析的部分開發(fā)