偷偷鲁视频成人免费视频_丁香五月缴情伊人_欧美精品一区二区久久不卡_亚洲手机在线观看看片

優(yōu)惠活動(dòng) - 12周年慶本月新客福利
優(yōu)惠活動(dòng) - 12周年慶本月新客福利
優(yōu)惠活動(dòng) - 12周年慶本月新客福利

網(wǎng)站爬行策略

       網(wǎng)站爬行策略。全互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說,爬蟲從任何一個(gè)頁面出發(fā),沿著鏈接都可爬完網(wǎng)上的所有頁面。由于網(wǎng)站及頁面具有非常復(fù)雜的鏈接結(jié)構(gòu),爬蟲需要采取一定的爬行策略才能爬完網(wǎng)上所有頁面。實(shí)現(xiàn)一個(gè)完善的爬蟲系統(tǒng),爬行策略至關(guān)重要。

       爬行策略有如下幾種:深度優(yōu)先爬行策略是爬蟲沿著發(fā)現(xiàn)的鏈接先爬取一個(gè)網(wǎng)頁,然后一直往前爬行,爬行到前面再也沒有其他鏈接為止,然后在返回到第一個(gè)頁面,沿著另一個(gè)鏈接再一直往前爬行。如圖1所示,爬取的順序是A→D→E→B→C→F→G;廣度優(yōu)先爬行策略:是指爬蟲在一個(gè)頁面上發(fā)現(xiàn)多個(gè)網(wǎng)絡(luò)鏈接時(shí),不是沿著一個(gè)網(wǎng)絡(luò)鏈接一直向前爬行,而是先把頁面上同一層次鏈接都爬一遍,然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。

       爬取的順序是A→B→C→D→E→F→G;大站優(yōu)先爬行策略是對(duì)于準(zhǔn)備抓取地址隊(duì)列中的所有網(wǎng)頁,把其根據(jù)所屬的網(wǎng)站進(jìn)行分類,優(yōu)先爬取網(wǎng)站的網(wǎng)頁數(shù)量比其他多的網(wǎng)站。反鏈爬行策略是指的是一個(gè)網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量,當(dāng)某個(gè)網(wǎng)頁的內(nèi)容受到其他人的推薦的程度高,這種網(wǎng)頁被優(yōu)先爬取。

本文地址:http://www.khwajamoinuddinchishty.com//article/28159.html
相關(guān)文章:
最新文章: