通常情况下，我们认为下面这几个URL地址指向的是同一个页面（首页）：
www.example.com
example.com/
www.example.com/index.html
example.com/index.php

但从技术角度来看，这些URL都是互不相同的。对于上述的URL，Web服务器完全可以返回完全不同的内容。而如果这些URL地址所返回的内容（也就是显示的内容）都一样时，Google需要从这些URL中选出一个具有代表性的，而忽略其余的。那么这个被Google选中的URL，就是一个标准化的URL。Google选择的这个过程称为“标准化”。标准化这一词原本是Google的内部词汇。

Google是怎么URL标准化的？

通常，Google是根据外链数量来判断哪个URL为标准化URL。

URL标准化有什么意义？

同一URL出现多个版本(如read.php?id=1和read.php?id=1&page=1)，同一位置出现多个URL形式(如list.php?companyname=xxx和list.php?companyid=123)，及大小写问题等都可能导致在搜索引擎中出现相似页面，从而影响网站在搜索引擎中的表现。

我们知道，搜索引擎是喜欢原创的东西，或者说喜欢不同的东西，而不喜欢重复的相似的内容。他们希望提供给用户更好的搜索体验，因此，他们也会对相似的页面进行筛选。我们能做的就是让把一些可以避免的重复页面统一起来，让搜索引擎只抓取最主要的一个。

怎么样才能使URL标准化呢？

使用301转向（301 Permanently Move）来实现URL标准化，搜索引擎蜘蛛来抓取时，这些页面全部指向了那个希望被抓取的页面，并且通过301的HTTP状态码（永久重定向，对于搜索引擎是友好的），这样搜索引擎就知道那个页面才是主要的，那么这些非主要页面以后就不会被抓取，或者说抓取后忽略。

怎样来做301转向呢？

对于Apache的主机，我们可以使用.htaccess来实现。但是对于国内大部分主机来说，都是Windows平台的，使用IIS作为Web服务器，我们必须使用ISAPI_Rewrite来进行URL重写。关于如何使用ISAPI_Rewrite来做URL重写，请参阅：利用 ISAPI_Rewrite 做301永久转向

另外的方法：使用权威链接(Canonical URL)避免重复内容，最近发现的。09/07/23

但是很多人都不知道如何设置域名解析来实现，原因主要在于各域名注册商的管理面板设置方法并不统一，不像DNS域名解析设置泛解析方法都采用*号。

这里以笔者个人使用过的经验列出几个常用注册商管理面板的空主机名添加方法：

• 新网：添加一个名为noprefix的主机名
• 新网互联：新网互联的MyDNS系统有纯域名解析的功能，直接在这里添加A记录即可。也可以添加包含主机名的记录，将主机名留空，直接添加，系统会自动添加到纯域名记录中去。
• DNSPod：留空会自动填写，以@为主机名。
• ENom：同DNSPod，使用@为主机名。
• Name.com：留空添加即可。
• Godaddy：以@为主机名。默认就有，只需要修改一下IP即可。

笔者使用过的就这些，以后接触到更多的会测试并及时更新列表的，希望能给需要的人带来帮助。同样，希望大家使用过其他面板的能够告诉我其他面板的设置方法，以便添加更多内容，呵呵～

如果每个客户我们都需要去手动添加一个主机名的话，那似乎麻烦了点。因此，我们可以使用泛解析记录（WildCard DNS Record）来实现添加一条记录对应多个主机名。

现在越来越多的人都开始接触到服务器，也开始卖卖小空间，笔者经常能够看到有人在问泛解析如何做？

今天来具体地看一下，泛解析在域名管理以及服务器设置的方法。

域名解析管理：

其实对于一个域名做泛解析记录是非常简单的，只要添加一个主机名为*（星号）的A记录或CNAME别名记录到指定的IP，那么只要是这个域名下的二级域名就都能够解析到这个IP（排除单独添加过的主机名）。

泛解析国际上有比较统一的标准，都使用*（星号）表示，所以各个域名注册商的管理面板使用上没有什么区别。而如果你要做空主机名的解析（如steveluo.name，不含www），就会有些差异了。您可以阅读：各平台DNS解析添加空主机名方法汇总

服务器设置：

对于做泛解析的域名来说，通常对服务器拥有完全控制权，因为只有这样，在这台服务器上任意添加做过泛解析的域名才是有效的。例如，在服务器上，我们添加一个站点，主机头设为www.steveluo.name，那么我们就可以通过www.steveluo.name来访问该站点了。而我们在域名解析设置时并没有单独设置www这个主机名。

只要是steveluo.name的二级域名都能够访问到这台服务器。这样，不需要对域名做任何设置，只要Web服务器中有这个主机头，就能访问相应的站点。例如bbs, test这类主机名。

另外补充一下：我们看到很多网站空间商提供了Web邮件服务，通过Web界面来收发邮件，用户只要通过自己域名的某个二级域名就能访问邮件Web界面（例如mail.steveluo.name）。这里其实和泛解析没有关系，只是在Web服务器中添加了一个空主机头的站点，这样只要在所有站点中没有找到所请求的主机头，就打开空主机头的邮件Web站点。而用户只要自己添加一条记录指向这台服务器（不管是A记录还是CNAME别名），就能访问邮件站点了。

不过经过笔者的测试，对于能够伪造Referer来源的程序（比如迅雷等下载工具），这个防盗链就形同虚设了。原理明白了就知道为什么了。

原理：判断Referer是否来自本地主机或在信任列表中的域名，否则就执行重写规则，重定向到一个文件作为防盗链提示。

这里用到了Rewrite Referer来判断URL来源，具体规则如下（分别包含了2.x和3.x版本的规则，请选择使用）：

# For version 2.x
RewriteCond Host: ^(.+)$
RewriteCond Referer: ^(?!http://\\1.*).*$
RewriteCond Referer: ^(?!http://(.*\.google\.com|www\.steveluo\.name).*).*$
RewriteRule ^.*\.(?:gif|jpg|png|exe|rar|zip)$ /block.gif [I,O,N]

# For version 3.x
RewriteCond %{HTTP:Host} ^(.+)$
RewriteCond %{HTTP:Referer} ^(?!http://\\1.*).*$
RewriteCond %{HTTP:Referer} ^(?!http://(.*\.google\.com|www\.steveluo\.name).*).*$
RewriteRule ^.*\.(?:gif|jpg|png|exe|rar|zip)$ /block.gif [NC,N,O]

.*\.google\.com表示来自*.google.com的访问是被允许的，也就是所谓的信任列表，括号中可以写多个被信任的域名或者URL（URL只需在后面加上相应的目录或文件名即可，注意，使用斜杠时要“\\”来转义。），使用“|”来分隔每个信任URL。注意其中的点“.”需要用”\.”来转义。

参数：[I,O,N]中的N根据网上查到的资料说是不读取缓存，用来解决打开过盗链网站的图片以后，再打开自身网站仍然显示缓存中的盗链提示图片的问题。具体我也没试过，因为缓存机制实在太诡异，不知道什么时候会缓存而什么时候不缓存。。。I表示忽略大小写

这样，就用ISAPI Rewrite实现了简单的防盗链，对于普通图片防盗链来说是很有效的，因为几乎没人在打开网页时，会用迅雷去下载里面的图片。而且，大多数盗链网站还是以用户浏览为主，所以作为用户，只是看到了盗链提示而已，反而能为我们带来流量。

顺便提一下：盗链在英语中是hot link或leech

301转向（301 Redirect : Permanently Moved），表示内容永久性转移到新的URL，这样搜索引擎就会知道内容已转移，会去抓取新的URL，因此是友好的。

注意，只有支持自定义URL重写规则的网站空间才能实现自定义的301转向。

域名间的301转向

有时，我们会在域名解析时，创建一个空的主机名，来方便用户输入网址，而省去了www。这样虽然方便了用户，但是从SEO的角度来说，是违反了URL标准化准则的，因此，我们需要对这些不统一的URL进行301重定向。

以下规则能够将steveluo.name以301重定向方式转到www.steveluo.name，这样对于搜索引擎来说是友好的。

注意：本文列出的代码中包含了2.x与3.x版本2种规则，在你使用时务必确认自己使用的版本，否则是无法工作的。

# For ISAPI_Rewrite 2.x
RewriteCond Host: ^steveluo\.name$
RewriteRule (.*) http\://www\.steveluo\.name$1 [I,RP]

# For ISAPI_Rewrite 3.x
RewriteCond %{HTTP:Host} ^steveluo\.name$
RewriteRule (.*) http\://www\.steveluo\.name$1 [NC,R=301]

整个域名下的文件访问都将被重定向，而不仅仅是首页而已！

注释：在规则最后有[I,RP]标记，通过查阅ISAPI Rewrite 2官方使用手册我们知道，I表示忽略大小写，RP表示使用301转向

页面间的301转向

当我们改变了某些页面的地址，但是又不想损失流量，就应该使用301转向，将原来的URL重定向到新的URL上，这样搜索引擎会知道页面地址变更，而不会以为这个页面出错消失了。 规则如下：

# For ISAPI_Rewrite 2.x
RewriteRule ^/oldpage.htm$ http://www.steveluo.name/newpage.htm [I,O,RP,L]

# For ISAPI_Rewrite 3.x
RewriteRule ^/oldpage.htm$ http://www.steveluo.name/newpage.htm [NC,L,R=301,O]

我们将根目录下的oldpage.htm使用301转向重定向到了http://www.steveluo.name/newpage.htm，当然，我们也可以自己指定任意目的地址，可以是站内的（同样以/pagename的形式）或站点外的（以http://开头的URL形式）。

注释：这里出现的O表示对URL进行标准化，可能是用来处理Unicode编码的地址（例如包含中文的URL）以及QueryString的内容，这里我没有测试过。而L表示Last Rule，最后一条规则，也就是后面的重写规则对他不起作用，防止被其他匹配的规则再次重写而造成混乱。

最后说明一下：本文所使用的RewriteRule（重写规则）仅适合ISAPI Rewrite 2.x以及3.x版本，因为标识符（比如[I,RP]）在2.0以前版本是不支持的，会在httpd.parse.errors中提示错误。

而如果你使用的是ISAPI Rewrite 3.0以后的版本，那么2.x的规则是不兼容的，不过3.0版本提供了一个规则转换器，我们可以直接将2.0的规则导入，它会自动转换成3.0版本的规则。

我们先来看一下这几个URL：

http://www.example.com/product.php?item=swedish-fish

http://www.example.com/product.php?item=swedish-fish&category=gummy-candy

http://www.example.com/product.php?item=swedish-fish&trackingid=1234&sessionid=5678

这3个URL或许打开的都是同一个页面，完全相同或者只有微小差别，那么这样对于SEO来说是不太理想的，因为产生了重复的页面，这样权重就被分散了，虽然我觉得Google会对此类URL进行识别与整理，但是人为地说明效果应该是最佳的，Google也推荐使用这种方式。

所以我们可以使用权威链接（Canonical URL）这个东西，简单地使用<link>标签来指定你想要提供给搜索引擎的URL。

<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" />

这样Google就会明白，那些重复的内容都是指向这个权威链接的。这样可以尽可能把URL规范化，减少重复内容对排名的影响。

当然这个标准可以适用于各个搜索引擎（作者这么说的，我们就先假设是这样的）

还有一些FAQ内容就不写出来了，大家有兴趣可以去看下原文，是Google工程师回答的，也许也会有帮助。例如说到了要迁移站点，是否可使用这种方法来替代301永久转向等等

查看原文：Specify your canonical （需代理，blogspot上的）

不过看了一下好像由于某些丢人的原因，导致中国用户无法“方便”地购买到HostGator空间，仅接受电汇和西联汇款，不能使用PayPal和信用卡支付。

由于我白天要实习，所以根本没有时间跑去银行或者邮局搞西联汇款。于是懒人总归会想懒办法，既然不接受中国用户的，那我就假装成国外用户不就好了。

根据调查，HostGator仅仅对中国用户采取严格审核制度，对于国外用户，一系列的购买过程都是无人工干预的。所以找国外的朋友替我购买一下就OK了（起初还想过使用国外代理来完成购买，不过想到其中可能涉及到帐号安全，所以还是放弃了）。

经过我的观察，在HostGator主机购买过程中，会记录购买人的IP地址。据我推断最后审核的时候就是根据你的IP地址以及注册时填选的国家与联系地址来判断的，因此我找了澳大利亚的同学，完全模拟了一个澳大利亚用户的购买过程。连PayPal的支付过程也是在对方机器上完成的（QQ远程协助）。

为了证实这个方法是否可行，我等了一下下午，似乎HostGator还没有将我的账号停止，也没有任何PayPal的退款信息。这里值得一提的是，在PayPal付款后，竟然接到了PayPal上海办事处打来的电话，对我刚才的消费行为进行确认。这点让我很是惊讶，查了一下来电号码，确实是PayPal上海的电话，外国人做事情确实挺周到的呵呵。

完成了HostGator的购买，当然要开始用了，首当其冲就启用了HostGator的SSH权限，然后就开始慢慢捣鼓英文站啦。

购买空间其实也预示着日后会将主要精力放在英文站的建设上，博客上也会开始发布关于英文站的内容。

下面介绍一下如何在HostGator上启用SSH并正确配置：

1. 默认情况下，HostGator的主机空间开通后，SSH权限是被关闭的，我们可以通过以下方法来开启：
   • 使用 SSH Request Form，直接向客服提交申请，会在非常快的时间内响应（我只等了1分钟）；
   • 通过Email方式向支持部门提交申请；
   • 通过Live Chat向客服人员提出申请。
2. 接下来到cPanel中，Security模块的SSH/Shell Access中去生成key。
3. 使用SSH客户端连接到你的主机上，注意端口不是默认的22，HostGator使用了2222作为SSH的端口。常用的SSH客户端有PuTTY、SecureCRT等。