在做搜索引擎优化中分析搜蜘蛛爬虫日志是非常重要的一步,大部分网站采取服务器日志数据 ,一般认为采用类似google analytics的页面标记法是无法捕捉搜索引擎爬虫的信息，然而两位法国google analytics的爱好者的一段代码却可以让我们轻松利用google analytics追踪搜索引擎spider的抓取信息。

   要实现此功能的步骤：

第一步：添加一个新的profile配置文件，这个profile文件必须是设置为新的domain域名。

第二步：下载analytics文件夹 解压后上传到网站根目录，里面包含了analytics 、config和patterns三个文件。

   需要做的是修改config文件，

• 添加第一步中增加的新的配置文件的profile id （ 例如新增加文件的http://robots.robinli007.com便是
  UA-16811947-5）
• 增加你的域名信息（如www.robinli007.com）
• 添加你域名的哈希（hash）值信息，为域名cookie里面的_utma cookie内容字段的第一段id.

利用firebug cookie读出

里面的”109917574”’就是需要增加的id.

   第三步  ：让网站每个页面都包含analytics文件的代码，可以在网站页面的公共调用部分(如footer header) 加入以下代码:

  <?php include_once( “analytics/analytics.php”) ?>

    以上步骤完成 等待两小时后 在google analytics后台便可以看到来自搜索引擎爬虫的爬行信息”

     在内容（content）报告, 按来源选择可以很清晰的看到来自各爬虫的爬行信息

作者: 子木–李俊

特别声明：转载请注明来源。

       在一些网站前期因为没有基于数据统计的需要去规范化url，导致在统计一些网站的各种频道流量的时候是一个瓶颈。

比如某电子商务网站 商品二级分类url是www.robinli007.com/items/12-135-1256.html

一级频道url是 www.robinli007.com/3c/   www.robinli007.com/book/

二级分类url是 www.robinli007.com/SecondCategory-233.html

而在分类下面的产品的url是www.robinli007.com/products/15.html

这种类型的url 在数据统计起来根本不能汇总统计到频道和分类的流量，对于一些大型网站来说要做数据分析可谓一头雾水,于是我们不得不利用ga里面的trackPageview函数。

我先将完整代码贴出来，然后一步一步分解代码

代码部分：

<script>

var gaJsHost = ((“https:” == document.location.protocol) ? ”   https://ssl.” : ”   http://www.”);

document.write(unescape(“%3Cscript src='” + gaJsHost + “google-analytics.com/ga.js’ type=’text/javascript’%3E%3C/script%3E”));

</script>

<script>

try {

var firstTracker = _gat._getTracker(“UA-10104379-1”);

firstTracker._setDomainName(“.robinli007.com”);

firstTracker._addOrganic(“soso”, “w”);

firstTracker._addOrganic(“sogou”, “query”);

firstTracker._addOrganic(“youdao”, “q”);

firstTracker._addOrganic(“baidu”, “word”);

firstTracker._trackPageview();

var secondTracker = _gat._getTracker(“UA-10104379-5”);

secondTracker._setDomainName(“.robinli007.com”);

secondTracker._addOrganic(“soso”, “w”);

secondTracker._addOrganic(“sogou”, “query”);

secondTracker._addOrganic(“youdao”, “q”);

secondTracker._addOrganic(“baidu”, “word”);

secondTracker._trackPageview(“虚拟页面函数”);

} catch(err) {}</script>

（1）这是一段完整的代码，先从轮廓看这个代码包含两段id,

为什么要这样做，在做数据分析的时候很重要的一点是在做任何过滤和筛选的时候，你必须保证一个完整的没有被过滤和筛选的数据作为备份，毕竟是工具，任何过滤和筛选都可能导致原有数据出错。

所以在ga后台你要添加新的配置文件

（2）第一段脚本是公用部分

（3） firstTracker._setDomainName(“.robinli007.com”); 是定义robinli007.com下面的所有二级域名 这样如果你有比如blog.robinlioo7.com等二级域名一样可以被统计到。

（4）

firstTracker._addOrganic(“soso”, “w”);

firstTracker._addOrganic(“sogou”, “query”);

firstTracker._addOrganic(“youdao”, “q”);

firstTracker._addOrganic(“baidu”, “word”);

这段里面将搜搜 搜狗 有道 百度新闻流量归为ga里面的搜索引擎流量 ，在ga默认里面这些算推介的。

（5）secondTracker._trackPageview(“虚拟页面函数”);

这个是第二段id 也是我们要虚拟页面的 ，在里面你让程序根据自己网站把变量填写进去即可，你提前必须制定好虚拟的规则

比如www.robinli007.com/items/12-135-1256.html 这个三级频道

属于一级频道

www.robinli007.com/3c/ 同时属于二级频道www.robinli007.com/SecondCategory-233.html

那么你虚拟可以这样虚拟成 secondTracker._trackPageview(“/3c/SecondCategory-233/12/”);

12-135-1256都是属于一个频道里面通过各种筛选项筛选出的函数 其12属性表示是某一个三级分类，故我如此筛选，如何筛选根据自己需要。

同理www.robinli007.com/SecondCategory-233.html  可以虚拟成 secondTracker._trackPageview(“/3c/SecondCategory-233/”);

trackPageview后面的是英文全角双引号

这样大功告成 在ga你便可以虚拟url了。

当然所有这些这样工作实际都是下策，最好最完美的办法是你在规划你的url的时候要考虑数据分析的需求，比如

www.robinli007.com/Product/36-c09-155.htm

这样的url明显注意到在产品页面 产品url的流量分类统计需求。

无意中同事问我 Google Analytics 里面， 过滤URL目录可以看到下面所有页面的流量 过滤具体的带aspx结尾的url地址却无法查询， 实际上这个url地址是有流量的?

你们看出什么问题了？

第一个查询条件里面 url是Items/promotion.aspx?id=556

第二个查询条件 我在Items/promotion.aspx?id=556的 aspx后面加了个\ 这样Items/promotion.aspx\?id=556

这样便得出查询条件了 是ga 需要这个url属性的转义传递