已開(kāi)發(fā)的爬蟲(chóng)項(xiàng)目有:
(1) 企查查。
a、使用redis搭建COOKIE池,借助selenium保存到云端linux服務(wù)器;
b、解析并將爬蟲(chóng)結(jié)果存" />
1、Python,用于爬蟲(chóng)程序、數(shù)據(jù)分析、自動(dòng)化工具開(kāi)發(fā)
已開(kāi)發(fā)的爬蟲(chóng)項(xiàng)目有:
(1) 企查查。
a、使用redis搭建COOKIE池,借助selenium保存到云端linux服務(wù)器;
b、解析并將爬蟲(chóng)結(jié)果存儲(chǔ)到mongoDB
c、代碼部署在阿里云服務(wù)器,每周自動(dòng)運(yùn)行
(2)招聘網(wǎng)站:51job、智聯(lián)招聘
(3)豆瓣
(4)房天下
(5)瓜子二手車、人人車
2、熟練Linux操作系統(tǒng)
(1)阿里云服務(wù)上,搭建個(gè)人博客網(wǎng)站、電影網(wǎng)站(個(gè)人用,非商業(yè))
(2)各類爬蟲(chóng)代碼,均部署在服務(wù)器上
3、熟練數(shù)據(jù)分析工具,負(fù)責(zé)公司數(shù)據(jù)平臺(tái)的搭建及維護(hù)
(1)Excel VBA
(2)SQL Server數(shù)據(jù)庫(kù),與Excel連接應(yīng)用
(3)Tableau Server搭建及開(kāi)發(fā)
1、Python,用于爬蟲(chóng)程序、數(shù)據(jù)分析、自動(dòng)化工具開(kāi)發(fā)
已開(kāi)發(fā)的爬蟲(chóng)項(xiàng)目有:
(1) 企查查。
a、使用redis搭建COOKIE池,借助selenium保存到云端linux服務(wù)器;
b、解析并將爬蟲(chóng)結(jié)果存儲(chǔ)到mongoDB
c、代碼部署在阿里云服務(wù)器,每周自動(dòng)運(yùn)行
(2)招聘網(wǎng)站:51job、智聯(lián)招聘
(3)豆瓣
(4)房天下
(5)瓜子二手車、人人車
2、熟練Linux操作系統(tǒng)
(1)阿里云服務(wù)上,搭建個(gè)人博客網(wǎng)站、電影網(wǎng)站(個(gè)人用,非商業(yè))
(2)各類爬蟲(chóng)代碼,均部署在服務(wù)器上
3、熟練數(shù)據(jù)分析工具,負(fù)責(zé)公司數(shù)據(jù)平臺(tái)的搭建及維護(hù)
(1)Excel VBA
(2)SQL Server數(shù)據(jù)庫(kù),與Excel連接應(yīng)用
(3)Tableau Server搭建及開(kāi)發(fā)