一:項目需求
1放入鏈接,點擊固定的位置,然后爬出我們所需信息,爬出來信息之后進(jìn)行我們的規(guī)則來進(jìn)行篩選我們所需要的數(shù)據(jù),再將這個數(shù)據(jù)對接到一個商標(biāo)局?jǐn)?shù)據(jù)庫當(dāng)中再次的篩選出來最后的數(shù)據(jù)。然后將這個數(shù)據(jù)自動保存成表格
2需要對接IP池,爬數(shù)據(jù)的速度要控制在5秒以內(nèi),然后并發(fā)爬取1000個 相當(dāng)于5秒內(nèi) 我可以爬出5000條的數(shù)據(jù)。然后當(dāng)我們爬出了固定的數(shù)據(jù)的量之后(例如爬了3萬條數(shù)據(jù)的時候就已經(jīng)在開始篩選了,然后是不干擾爬數(shù)據(jù)的操作),爬蟲需要穩(wěn)定和效率要達(dá)到我們所需要的效果
3然后需要做不同的站點,所以版本不能夠固定。
4 ip問題 會遇到網(wǎng)址的反爬蟲 會有驗證碼
5之前的程序員他遇到在公司可以運行操作 但是在家里不行
6 程序是并線進(jìn)行的 可以多開程序
7 呈現(xiàn)以網(wǎng)頁版的形式
二:接任務(wù)需求
1需要是有經(jīng)驗的人士來做這個項目
2最好是全職的人員
3項目完成之后需要提供售后服務(wù)1個月,1個月后如果再出現(xiàn)的問題,我們會根據(jù)需求而進(jìn)行一定的酬薪。