什么是标准化的URL？

通常情况下，我们认为下面这几个URL地址指向的是同一个页面（首页）：
www.example.com
example.com/
www.example.com/index.html
example.com/index.php

但从技术角度来看，这些URL都是互不相同的。对于上述的URL，Web服务器完全可以返回完全不同的内容。而如果这些URL地址所返回的内容（也就是显示的内容）都一样时，Google需要从这些URL中选出一个具有代表性的，而忽略其余的。那么这个被Google选中的URL，就是一个标准化的URL。Google选择的这个过程称为“标准化”。标准化这一词原本是Google的内部词汇。

Google是怎么URL标准化的？

通常，Google是根据外链数量来判断哪个URL为标准化URL。

URL标准化有什么意义？

同一URL出现多个版本(如read.php?id=1和read.php?id=1&page=1)，同一位置出现多个URL形式(如list.php?companyname=xxx和list.php?companyid=123)，及大小写问题等都可能导致在搜索引擎中出现相似页面，从而影响网站在搜索引擎中的表现。

我们知道，搜索引擎是喜欢原创的东西，或者说喜欢不同的东西，而不喜欢重复的相似的内容。他们希望提供给用户更好的搜索体验，因此，他们也会对相似的页面进行筛选。我们能做的就是让把一些可以避免的重复页面统一起来，让搜索引擎只抓取最主要的一个。

怎么样才能使URL标准化呢？

使用301转向（301 Permanently Move）来实现URL标准化，搜索引擎蜘蛛来抓取时，这些页面全部指向了那个希望被抓取的页面，并且通过301的HTTP状态码（永久重定向，对于搜索引擎是友好的），这样搜索引擎就知道那个页面才是主要的，那么这些非主要页面以后就不会被抓取，或者说抓取后忽略。

怎样来做301转向呢？

对于Apache的主机，我们可以使用.htaccess来实现。但是对于国内大部分主机来说，都是Windows平台的，使用IIS作为Web服务器，我们必须使用ISAPI_Rewrite来进行URL重写。关于如何使用ISAPI_Rewrite来做URL重写，请参阅：利用 ISAPI_Rewrite 做301永久转向

另外的方法：使用权威链接(Canonical URL)避免重复内容，最近发现的。09/07/23