网站日志分析

网站日志是网站管理员和搜索引擎沟通的途径,通过网站日志可以分析出搜索引擎对网站的收录情况。通过ftp可以获取到日志文件,打开 出现类似代码:66.249.67.98 – – [21/Jun/2012:23:18:00 +0800] “GET /sitemap.xml HTTP/1.1″ 200 4368 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”123.125.71.60 – – [21/Jun/2012:23:24:15 +0800] “GET /index.php HTTP/1.1″ 301 – “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”第一条是来自谷歌,爬取网站地图成功,返回4369字节。第二条 来自百度,爬取index.php文件,被重定向。蜘蛛名称:百度->baiduspiderGoogle ->GooglebotMsn ->msnbotyahoo ->Slurpyodao ->YoudaoBotsogou ->Sogou+get+spider状态码:200:正常301:重定向304:无变化404:错误通过网站日志分析我们可以知道搜索引擎爬取页 面的状态,并对网站页面进行合理的调整。太原SEO优化