網(wǎng)頁抓取、網(wǎng)頁索引及網(wǎng)頁日志是什么？

什么是網(wǎng)頁抓取

網(wǎng)頁抓取指的是：搜索引擎蜘蛛爬行網(wǎng)頁鏈接的過程。搜索引擎蜘蛛會通過各種渠道抓取網(wǎng)頁鏈接，包括剛剛發(fā)布的新網(wǎng)頁，還有經(jīng)過改動舊網(wǎng)頁。

每個搜索引擎的抓取頻率不同，百度和谷歌的抓取頻率更高一些，360搜索和搜狗搜索的抓取頻率會低一些。

需要注意的是網(wǎng)頁抓取是一個過程，搜索引擎蜘蛛每天都會抓取大量網(wǎng)頁，有些網(wǎng)頁可能會存放進(jìn)搜索引擎的數(shù)據(jù)庫，有些網(wǎng)頁可能不會存放進(jìn)搜索引擎數(shù)據(jù)庫。網(wǎng)頁質(zhì)量越高，被存放在數(shù)據(jù)庫的機(jī)會越大。

什么是網(wǎng)頁索引

搜索引擎蜘蛛抓取頁面并將抓取到的頁面存儲在索引庫中，這就是網(wǎng)頁索引。網(wǎng)頁抓取和網(wǎng)頁索引是有區(qū)別的，網(wǎng)頁抓取是一個過程，網(wǎng)頁索引是一種結(jié)果。網(wǎng)頁爬蟲抓取了1000個頁面，也許只有100個頁面被收錄進(jìn)索引庫。

什么是網(wǎng)頁日志

網(wǎng)頁日志也叫做網(wǎng)站日志，記錄了網(wǎng)絡(luò)爬蟲的詳細(xì)訪問記錄。包括訪問者的：IP地址、訪問時間、區(qū)域、頁面鏈接等。我們可以通過網(wǎng)站后臺或服務(wù)器后臺下載網(wǎng)頁日志，并對網(wǎng)頁日志進(jìn)行分析(如何查看網(wǎng)站日志)。