广州信网网站建设技术有限公司
首页 | 联系方式 | 加入收藏 | 设为首页 | 手机站

网站建设

联系方式

联系人:李小姐
电话:020-8672252
邮箱:[email protected]

当前位置:首页 >> 网站知识 >> 正文

搜索引擎如何监控网站网页变化?

编辑:广州信网网站建设技术有限公司  时间:2013/01/26  字号:
摘要:搜索引擎如何监控网站网页变化?
(1) 为减少浏览器对web服务器流量过大,http 1.1 设计了 if-modified-since 和 E-tag 功能,你可以在每一次下载后,记住last-modified-time 和 E-tag内容,然后下一次抓取时,在http协议上带上这些值,如果内容没变化,web服务器直接返回页面未变化错误码,从而快速得出网页未变化结论;此法判断不出,在跳入指纹比较。
(2) 从效率上考虑,我们不能对所有网页一视同仁,而应该重点检查;测试发现,大部分网站的网页变化应该有一定规律的,比如首页和论坛列表页等容易发生变化,但老新闻内容页可能几年都不会发生变化;只要把经常变的给揪出来,变化内容就顺便发现了,那么怎么跟踪这些变化呢?可以记录每个url的阶段性变化历史(如访问了几次,变化了几次),然后下次抓取时,对其进行预测,优先级排序,经常变化的经常访问。
上一条:网站被挂黑链,怎样快速恢复百度排名 下一条:百度与谷歌相比有哪些不足之处
求手机av网站视频 关键词 av 超乳Av爆乳中文字幕 手机av在线视频 876av12在线电影
av日本bt种子2016 av转hdmi出现干扰 高桥圣子av 日本丝袜美腿av女优 穿越到各种av当女主
av天天堂小说 最新最全av番号 种子 噜啊撸av在线观看 哥哥噜婷婷av 3av3分合闸电磁铁
av种子磁力番号搜索 av小游戏 日本av片女同讯雷种子 CASIO G-314RC-9AV 青少年 AV片