企業(yè)網(wǎng)站設(shè)計(jì)限定爬蟲
日期 : 2020-10-21 18:39:41
限定爬蟲。藏文網(wǎng)頁(yè)搜索使用的爬蟲, 是一種限定爬蟲, 在爬蟲的功能定位上只抓取藏文的網(wǎng)頁(yè), 本質(zhì)是對(duì)網(wǎng)頁(yè)文本所用語(yǔ)言的限定。藏文網(wǎng)頁(yè)的限定爬蟲, 表面上是限定語(yǔ)言, 具體操作層面需要通過限定IP、限定URL、限定charset來實(shí)現(xiàn)。
限定爬蟲就是對(duì)爬蟲所爬取的主機(jī)的范圍做一些限制, 通常, 限定爬蟲包含以下幾個(gè)方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結(jié)尾的域名; (2) 限定爬取層數(shù)的爬蟲。比如, 限定只抓取2層的數(shù)據(jù); (3) 限定IP的抓取。比如, 只抓取西藏自治區(qū)內(nèi)的IP; (4) 限定語(yǔ)言的抓取。比如, 只抓取中文漢字頁(yè)面。
抓取藏文網(wǎng)頁(yè)一方面要設(shè)計(jì)限定爬蟲, 另一方面建立動(dòng)態(tài)更新的藏文網(wǎng)站域名庫(kù)、藏文網(wǎng)站主機(jī)IP庫(kù), 配合限定爬蟲工作。目前已有部分藏文網(wǎng)站在頁(yè)面中加入了標(biāo)記, 如中國(guó)藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕?jù)網(wǎng)頁(yè)代碼中的標(biāo)記來識(shí)別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫(kù)和藏文網(wǎng)站主機(jī)IP庫(kù), 需要人工操作, 人為添加一些地址, 這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫(kù)”實(shí)現(xiàn)。
限定爬蟲就是對(duì)爬蟲所爬取的主機(jī)的范圍做一些限制, 通常, 限定爬蟲包含以下幾個(gè)方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結(jié)尾的域名; (2) 限定爬取層數(shù)的爬蟲。比如, 限定只抓取2層的數(shù)據(jù); (3) 限定IP的抓取。比如, 只抓取西藏自治區(qū)內(nèi)的IP; (4) 限定語(yǔ)言的抓取。比如, 只抓取中文漢字頁(yè)面。
抓取藏文網(wǎng)頁(yè)一方面要設(shè)計(jì)限定爬蟲, 另一方面建立動(dòng)態(tài)更新的藏文網(wǎng)站域名庫(kù)、藏文網(wǎng)站主機(jī)IP庫(kù), 配合限定爬蟲工作。目前已有部分藏文網(wǎng)站在頁(yè)面中加入了標(biāo)記, 如中國(guó)藏學(xué)網(wǎng)采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網(wǎng)采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學(xué)網(wǎng)采用的是<html lang="bo">?？梢愿鶕?jù)網(wǎng)頁(yè)代碼中的標(biāo)記來識(shí)別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫(kù)和藏文網(wǎng)站主機(jī)IP庫(kù), 需要人工操作, 人為添加一些地址, 這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫(kù)”實(shí)現(xiàn)。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
