需求描述

2、精通Python開(kāi)發(fā)語(yǔ)言。
3、熟練掌握一種開(kāi)源爬蟲(chóng)框架，如scrapy、webmagic，有研發(fā)爬蟲(chóng)框架經(jīng)驗(yàn)者優(yōu)先。
4、 熟悉Appium、Selenium等技術(shù)
5、善于獨(dú)立分析并解決核心問(wèn)題，如JavaScript反爬、爬蟲(chóng)策略、防屏蔽規(guī)則、驗(yàn)證碼識(shí)別技術(shù)等
6、熟悉mysql
采集：
1.?采集直播平臺(tái)新主播開(kāi)播數(shù)據(jù)（抖音.陌陌.火山.全民K歌.全民小視頻.騰訊Now.西瓜視頻）每五分鐘采集一次.
2.?采集抖音短視頻（點(diǎn)贊數(shù).粉絲數(shù).評(píng)論內(nèi)容/評(píng)論數(shù).轉(zhuǎn)發(fā)數(shù)）
3.?分類出每日每周每月熱門(mén)視頻及用戶
4.?采集內(nèi)容為（直播間ID.直播間人氣.主播時(shí)長(zhǎng).主播禮物值）
5.?采集到以上內(nèi)容后存入數(shù)據(jù)庫(kù)自定義清理采集數(shù)據(jù)清理時(shí)間
6.?按開(kāi)播時(shí)間.主播禮物值.主播時(shí)長(zhǎng).直播間人氣由低到高的排序
7.?Web后臺(tái)管理端分配員工賬號(hào)
8.Web展示上述采集到的數(shù)據(jù)便于員工查看分析
提示：
1.從排序先后建立后臺(tái)提醒功能.例如禮物值100以下的后臺(tái)彈出提醒為紅色/語(yǔ)音.禮物100以上的彈出提醒為黃色/語(yǔ)音.禮物值1000以上的為綠色/語(yǔ)音.
監(jiān)測(cè)：
1.?在Web平臺(tái)檢測(cè)指定ID主播是否開(kāi)播。
2.?自定義添加監(jiān)測(cè)抖音號(hào)粉絲增長(zhǎng),作品點(diǎn)贊.作品評(píng)論數(shù)/評(píng)論內(nèi)容,轉(zhuǎn)發(fā)量（以圖表形式展現(xiàn)）
3.?監(jiān)測(cè)數(shù)據(jù)存入單獨(dú)的數(shù)據(jù)庫(kù)
4.?生成自定義時(shí)間監(jiān)測(cè)報(bào)表
如下兩個(gè)參考站:
http://dy.myleguan.com/#/member/myAccount
https://mcn.suantao.com/#/anchor/anchorList