本頭條項(xiàng)目形態(tài)模擬今日頭條互聯(lián)網(wǎng)社交媒體項(xiàng)目，內(nèi)容則以技術(shù)類文章為主，為終端學(xué)習(xí)用戶提供精準(zhǔn)的、感興趣的技術(shù)文章，為技術(shù)類的自媒體人提供自運(yùn)營(yíng)的平臺(tái)。

該類項(xiàng)目是互聯(lián)網(wǎng)中大數(shù)據(jù)驅(qū)動(dòng)結(jié)合內(nèi)容運(yùn)營(yíng)的成功案例，各大公司都紛紛投入該模式的運(yùn)營(yíng)，正成為互聯(lián)網(wǎng)發(fā)展的新方向；也因項(xiàng)目背后的技術(shù)涉及大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算、微服務(wù)、DevOps等熱門技術(shù)的綜合應(yīng)用。

利用用戶時(shí)間碎片化、地域切換頻繁、形態(tài)社交化、內(nèi)容個(gè)性化等綜合特征下，通過(guò)收集用戶行為數(shù)據(jù)、分析用戶行為特征、大數(shù)據(jù)推薦計(jì)算，為用戶提供感興趣的、精準(zhǔn)的技術(shù)文章。

我的職責(zé)
主要負(fù)責(zé)數(shù)據(jù)遷移方案
隨著業(yè)務(wù)的增長(zhǎng)數(shù)據(jù)量越來(lái)越大，對(duì)于爬取的數(shù)據(jù)，過(guò)期的文章等進(jìn)行遷移，使用mysql 存儲(chǔ)會(huì)影響mysql的性能，并且我們需要對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，對(duì)數(shù)據(jù)進(jìn)行各種統(tǒng)計(jì)，mysql滿足不了我們的需求，我們就將mysql中的全量數(shù)據(jù)同步到HBASE中，由HBASE保存海量數(shù)據(jù)，mysql中的全量數(shù)據(jù)會(huì)定期進(jìn)行刪除。

實(shí)現(xiàn)思路：

自媒體文章審核通過(guò)后，馬上同步數(shù)據(jù)到hbase中，并且在app文章表的字段sync_status同步狀態(tài)，修改為1， 1為同步，0為未同步
定時(shí)同步，做一個(gè)定時(shí)任務(wù)，每天凌晨掃描app文章表，把沒(méi)有同步的文章再同步一次
定時(shí)刪除，做一個(gè)定時(shí)任務(wù)，按照文章發(fā)布時(shí)間，定期刪除一個(gè)月之前的app端的文章數(shù)據(jù)
查詢文章（特別是我的收藏，歷史查閱記錄等），查詢的思路如下：
先去mysql中去找該文章，存在則直接返回
如果mysql中沒(méi)有找到，則需要查詢hbase，返回該文章信息