基本信息
案例ID:198960
技術(shù)顧問:qwer - 1年經(jīng)驗(yàn) - 紙落云煙工作室

項(xiàng)目名稱:直播彈幕數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)
所屬行業(yè):企業(yè)服務(wù) - 數(shù)據(jù)服務(wù)
->查看更多案例案例ID:198960
技術(shù)顧問:qwer - 1年經(jīng)驗(yàn) - 紙落云煙工作室
項(xiàng)目名稱:直播彈幕數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)
所屬行業(yè):企業(yè)服務(wù) - 數(shù)據(jù)服務(wù)
->查看更多案例
? 項(xiàng)目描述:該項(xiàng)目旨在通過爬取直播平臺(tái)上的彈幕等數(shù)據(jù),使用情感分析技術(shù)判斷觀眾對(duì)直播內(nèi)容的態(tài)度,并通過實(shí)時(shí)數(shù)據(jù)可視化展示觀眾態(tài)度的變化情況。該項(xiàng)目使用了多種開源工具來協(xié)同工作,實(shí)現(xiàn)了從數(shù)據(jù)采集到數(shù)據(jù)展示的整個(gè)流程。該項(xiàng)目具有實(shí)時(shí)性、準(zhǔn)確性和可擴(kuò)展性等特點(diǎn),能夠幫助主播快速了解觀眾對(duì)內(nèi)容的態(tài)度,并據(jù)此調(diào)整直播內(nèi)容,提高觀眾滿意度。
? 項(xiàng)目架構(gòu):FlieBeat+Zookeeper+Kafka+Flink+Redis+Elasticsearch+Kibana
? 項(xiàng)目流程:
1. 使用開源爬蟲庫(kù)來爬取直播平臺(tái)上的彈幕等數(shù)據(jù)。將爬取到的數(shù)據(jù)保存為 JSON 文件,然后使用 FileBeat 來監(jiān)控保存的 JSON 文件,并將文件中的數(shù)據(jù)實(shí)時(shí)采集到 Kafka 消息隊(duì)列中,最大日處理近百萬條數(shù)據(jù)。
2. 基于大連理工大學(xué)情緒詞典,使用Flink和Jieba分詞工具來對(duì)采集到的數(shù)據(jù)進(jìn)行情感分析??梢耘袛嘤^眾觀看直播時(shí)的情緒,并進(jìn)行實(shí)時(shí)計(jì)算。計(jì)算結(jié)果將被緩存到Redis中。
3. 使用Flink將緩存到Redis中的數(shù)據(jù)保存到Elasticsearch中。然后使用Kibana來實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)可視化,展示直播平臺(tái)上觀眾對(duì)內(nèi)容的態(tài)度變化情況。這樣,主播就可以根據(jù)觀眾的態(tài)度調(diào)整直播內(nèi)容,提高觀眾滿意度。