2.Python匿名函數(shù)、列表推導(dǎo)式、裝飾器的熟練使用
3.Python中re、requests、beautifulSoup等庫的熟練使用
4.Python爬蟲框架Scrap" />
1.Python中8種數(shù)據(jù)類型的精通使用
2.Python匿名函數(shù)、列表推導(dǎo)式、裝飾器的熟練使用
3.Python中re、requests、beautifulSoup等庫的熟練使用
4.Python爬蟲框架Scrapy的熟練使用
5.Python爬蟲偽裝中代理IP、UserAgent的熟練使用
6.Python與scrapyt-redis分布式爬蟲的基本使用
7.Python操作Mysql數(shù)據(jù)庫增刪改查
8.Python操作MongoDB數(shù)據(jù)庫增刪改查
9.Python建立數(shù)據(jù)庫連接池提高效率
10.團隊協(xié)作開發(fā)工具git的熟練使用
11.熟悉Linux日常工作環(huán)境,熟練掌握常用命令和調(diào)優(yōu)監(jiān)控手段
12.python機器學(xué)習(xí)庫scikit-learn庫的熟練使用
13.python科學(xué)計算庫numpy、scipy和數(shù)據(jù)分析庫pandas的熟練使用
1,百度貼吧數(shù)據(jù)抓取
2,騰訊招聘數(shù)據(jù)抓取分析
3,豆瓣電影,貓眼電影數(shù)據(jù)抓取
4,京東商城,小米應(yīng)用商店數(shù)據(jù)獲取
5,有道翻譯破解
6,波士頓房價預(yù)測
7,圖像識別水果分類
8,文本處理新聞分類
角色 | 職位 |
負責(zé)人 | 數(shù)據(jù)分析 |
隊員 | 產(chǎn)品經(jīng)理 |
隊員 | 前端工程師 |
隊員 | 后端工程師 |
動態(tài)加載數(shù)據(jù)抓取的特點是:在網(wǎng)頁源碼中沒有具體數(shù)據(jù),只有在滾動鼠標(biāo)或其他動作時才能加載數(shù)據(jù)。豆瓣電影案例就是一個動態(tài)加載數(shù)據(jù)抓取的案例。進入豆瓣電影-->排行榜-->劇情的url中抓取電影名稱,主演,評分等數(shù)據(jù)。
有道翻譯破解案例的實現(xiàn)步驟: 1、瀏覽器F12開啟網(wǎng)絡(luò)抓包,Network-All,頁面翻譯單詞后找Form表單數(shù)據(jù) 2、在頁面中多翻譯幾個單詞,觀察Form表單數(shù)據(jù)變化(有數(shù)據(jù)是加密字符串) 3、刷新有道翻譯頁面,抓取并分析JS代碼(本地JS加密) 4、找到JS加密算法
有道翻譯破解案例的實現(xiàn)步驟: 1、瀏覽器F12開啟網(wǎng)絡(luò)抓包,Network-All,頁面翻譯單詞后找Form表單數(shù)據(jù) 2、在頁面中多翻譯幾個單詞,觀察Form表單數(shù)據(jù)變化(有數(shù)據(jù)是加密字符串) 3、刷新有道翻譯頁面,抓取并分析JS代碼(本地JS加密) 4、找到JS加密算法