搜索引擎為何不讀取符號“?”后的內(nèi)容：
10-04-15 11:47:09 · 搜索引擎 ·
搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網(wǎng)頁，或是URL中包含了符號“?”的字符。其原因就在于，如果在CGI中提供了“無窮”數(shù)量的URL，那么SPIDER往往就會因為對這些“無窮”網(wǎng)頁的檢索而被牢牢套住，陷入死循環(huán)。這就是所謂的蜘蛛陷阱(spider traps)。數(shù)據(jù)庫程序?qū)PIDER亦有可能創(chuàng)建一個與此類似的情形。因而為避開可能的陷阱，Spider對于那些帶有符號“?”的URL中的“?”之后的字符一概不予讀取。
倘若Spider被你的服務器套住，不只是對Spider本身不妙，Spider對你網(wǎng)站頁面的重復訪問請求也會導致你的服務器系統(tǒng)徹底癱瘓。
