SEM of home

一张来自国外的Spider抓取的示意图，很形象的反应了各种障碍对Spider抓取的影响：

注解：

1. Orphan Pages:孤立的网页（没有被任何网页链接）。
2. Unfriendly SEO-CMS System:CMS对搜索引擎不友好。
3. Bad server Configuration:服务器设置不好，比如不稳定经常无法访问等。
4. Cloaking；伪装、隐藏内容等。
5. Session Based Coding；根据ip、cookie等随机变换的内容等
6. 没有对错误页面进行处理

初夏时节，SMX大会升级版在我们的美丽城市西雅图再次登陆。本次SMX大会的水平确实很进阶。在问答环节我收到了很多问题，其中一些问题需要我回去做一些研究才能给出解答。在此，正如我已经承诺的，是对这些问题作出的解答。

问：我们听说谷歌目前就Flash内容的索引做得比以前更好了。如果我的一个Flash文件需要从外部文件中抽取内容，而这个外部文件已经被robots.txt屏蔽，Flash文件的内容还会被收录吗（Flash文件并未被robots.txt屏蔽）？或者谷歌不能索引到该内容？

答：我们目前还无法抓取被robots.txt阻止的文件中的内容。所以即使人们能够看到内容（比如在Flash中看到），搜索引擎还是无法抓取到该内容。要了解更多细节，请查看Flash索引现在可以加载外部资源了！一文。

问：基于用户行为习惯或者点击流量提供定制内容的网站已经变得越来越普遍了。如果一个用户从搜索结果网页进入我的站点，我能根据用户的搜索词来为他们定制网页内容或者重定向用户吗？或者这种行为有可能被认为是隐藏真实内容？例如，如果一些人搜索“古董浮雕吊坠”，但是却在我的站点上点击了“古董珠宝”网页，那么如果我了解了他们的搜索目的，我可以将他们重定向到我的古董浮雕吊坠的特定网页吗？

答：如果你将用户重定向至或者为用户返回的内容与Googlebot在这个URL上看到的内容不一样的话，（例如，在google.com的参考内容或查询字符串），我们就认为这是隐藏真实内容。如果搜索用户想要点击“古董珠宝”的搜索结果，你应该为他们如实提供网页内容，哪怕你认为另一个不同的网页可能会更好。你可以在你的网页上将相关网页链接起来（例如，从你的“古董浮雕吊坠”链接到你的“古董珠宝”网页，反之亦然。这样，任何人不论从任何来源登录这些网页，都能跨页浏览）；但是我们不认为你应该代替用户决定他们想看到什么样的网页。

问：即使是向不同的访问者提供不同内容，谷歌认为常规非恶意网站测试（例如A/B或者多变量测试）是不违反谷歌网站管理员指南的。原因之一是，尽管搜素引擎可能只看到了网页的初始内容，而看不到其替换版本，但是还有一定比例的用户看到的是同样的初始内容，因此这些测试并不是特意为了搜索引擎而做。

然而，一些测试服务通常推荐站长们在实验完成之后以合并各种成功因素的网页形式应用于100%的流量一段时间，进一步验证转换率是否理想。这种情况会被谷歌视为隐藏真实内容吗？

答：为了验证实验结果是否正确，在一段时间内将各种成功因素合并并应用于100%的流量中，是可以被接受的。然而，正如我们在关于这个主题的文章中指出的，“如果我们发现一个网站在几个月里百分之百地运行一个单一的非原创的网页集成，我们将会把这个站点从我们的索引中移除。”如果你想要确认实验的结果但是又担心“究竟多久才算很久”，请考虑运行一个跟进的实验，在其中你可以通过网页集成来发送大部分的流量，但仍然发送原始网页给一小部分访问者作为一种控制。这就是谷歌关于自己开发的测试工具—网站优化器的建议。

问：如果一个网页的HTTP标头所标明的字符编码与在meta equiv=”Content-Type”标签里所指定的不同，谷歌会关注哪一个？

答：两者我们都会关注，并且会基于网页内容做一些处理或者推测。如果两者不同但都可用，那么大多数的主流浏览器会优先使用HTTP标头中标明的字符编码。然而，如果你发现两者不一致，最好的办法就是选定其中之一！

问：谷歌如何处理URL中的三字节UTF-8编码的国际字符（例如中文或者日文字符）？这类URL在一些应用中无法识别。谷歌可以正确地处理这样的字符吗？换句话说，谷歌是否能理解www.example.com/%E9%9D%B4是否同www.example.com/shoes一样与“鞋子”相关？

答：我们可以正确处理在URL中的路径和参数中出现的%已转义的UTF-8编码字符，同时，我们也了解用这样形式编码的关键字。就一个域名中的国际字符而言，我们建议使用punycode式编码而非%式编码，因为一些比较旧版本的浏览器（如IE6）并不支持非-ASCII码域名。

如果你还有其他问题，就请加入我们的论坛吧。

原文: Advanced Q&A from (the appropriately-named) SMX Advanced

1. 为每个网页添加合适的标题，如果是网站首页，则标题建议使用站点名称或者站点代表的公司、机构名称；其余的内容页面，标题建议做成与正文内容的提炼和概括，这可以让您的潜在用户通过搜索引擎结果中的标题快速访问到您的页面。
2. 充 分利用网站首页或者频道首页的 description 标签，提供此网页内容的概括说明，形式为<meta name=”description” content=”此网页内容的概括说明” />，这将帮助用户和搜索引擎加强对你的网站和网页的理解。
3. 网站应该有明晰的导航和层次结构，网站上重要的网页，应该能从网站比较浅层的位置找到，确保每个页面都可以通过至少一个文本链接到达。
4. 尽量使用文字而不是flash、Javascript等来显示重要的内容或链接，百度暂时无法识别Flash、Javascript中的内容，这部分内容可能无法在百度搜索得到；仅在flash、Javascript中包含链接指向的网页，百度可能无法收录。
5. 尽量少使用frame和iframe框架结构，通过iframe显示的内容可能会被百度丢弃。
6. 如果网站采用动态网页，减少参数的数量和控制参数的长度将有利于收录。
7. 网站改版或者网站内重要页面链接发生变动时，应该将改版前的页面301永久重定向到改版后的页面。
8. 网站更换域名，应该将旧域名的所有页面301永久重定向到新域名上对应的页面。

只有当搜索引擎、站长、互联网用户之间，能有一种默契的利益均衡，这个行业才会顺畅发展。竭泽而渔式的网站建设，只会使您与用户、与搜索引擎越来越远。搜索引擎与站长之间，宜和谐发展，共同拥抱美好的愿景。

以下是我们给出的一些网站质量方面的建议：

1. 网 站的内容应该是面向用户的，搜索引擎也只是网站的一个普通访客，放置任何用户不可见、或者欺骗用户的内容，都可能被搜索引擎当做作弊行为，这些行为包括但 不仅限于：在网页中加入隐藏文字或隐藏链接；在网页中加入与网页内容不相关的关键词；具有欺骗性跳转或重定向；专门针对搜索引擎制作桥页；针对搜索引擎利 用程序生成的内容；具有大量重复无价值内容；充斥大量恶意广告或恶意代码等。
2. 百度更喜欢独特的原创内容，如果您的站点内容只是从各处采集复制而成，很可能不会被百度收录。
3. 谨慎设置您的友情链接，如果您网站上的友情链接，多是指向一些垃圾站点，那么您的站点可能会受到一些负面影响。
4. 谨慎加入频道共建、内容联盟等不能产生或很少产生原创内容的计划，除非您能为内容联盟创造原创的内容。
5. 百度会尽量收录提供不同信息的网页，如果您网站上相同的内容可以通过不同形式展现（如论坛的简版页面、打印页），可以使用robots.txt禁止spider抓取您不想向用户展现的形式，这也有助于节省您的带宽。

         作为站长 google网站管理员工具是必须要用的工具，通过这个工具你能够知道你的网站在搜索引擎眼里是什么样子的，通过google网站管理员工具反馈的数据对网站进行适当的调整，能够使你的网站更符合搜索引擎的标准，从而获得较好的排名，虽然国内最大的搜索引擎是百度，但是搜索引擎的排名算法核心还是相通的，google网站管理员工具能够帮助你全面了解自己的网站，下面详细介绍一下google网站管理员工具的功能和使用方法。

地址：www.google.com/webmasters/tools/?hl=zh_CN
登陆后如果没有google账户先创建一个账户，然后添加网址，并验证网站所有权，即可使用。

主要功能介绍：

一、网站配置：

1.sitemap：可以为自己的网站制作一个.xml的网站地图提交到这里，帮助google快速收录你的网站。

2.抓取工具访问：如果你的网站有些内容不想被收录需要修改或生成 robots.txt，这个功能能帮助你的撰写 robots.txt文件，删除网页的请求也在这里申请。

3.设置：（1）在这里可以设置网站目标地理区域       

                   （2）设置首选域名，一般网站首页都有两个域名，比如 semhome.org 和www.semhome.org，通过设置可以告送google在搜索结果里你想要显示那个域名。  

                   （3）抓取速度，可以设置google Spider抓取速度，以免对你的服务器造成负担。

二、搜索结果显示

1.热门搜索：你的网站在google里的热门关键词排名情况。

2.指向您网站的链接，通过google Spider强大的抓取能力做支撑，google把所有链向你的网站的网址全部收集下来，为你分析网站的成长情况和seo提供数据，如果你的网站外部链接多，说明你的网站“声誉”很好，关于“声誉”我在“搜索引擎排名算法的核心”中已经解释过。

3.关键词： Google 在抓取您的网站时找到的最常见的关键字，也是google判断你的网站内容和类别的主要依据，通过这个你可以知道你的网站在搜索引擎眼里是什么样子，如果不符合你的实际情况，可以做相依的调整。

4.内部链接：网站内部权重分配是通过内链实现的，通过这个数据你可看看你的网站内部权重的分配情况。

 三、故障诊断

1.抓取错误：google Spider抓取你的网站的时候遇到的死链接、无法访问的网址、robots限制的网址等在这里都会在这里显示，便于你分析网站错误。

2.抓取统计信息：这里显示google Spider一段时间每天抓取的网页数量。

3.HTML 建议：主要是告诉你 你的title和元标记不合理的内容，以及google无法收录的内容，通过这个内容可以检查出网站的不足以便修改。

google网站管理工具是站长必用的工具，在这里简单介绍了一下，想必很多朋友都用过了，进来很多读者email给我咨询了些相关问题，发现还有很多读者不知道这个工具所以就写下来分享一下，有说的不对的地方，请指教。

pr更新了，上次是3月底更新的，才两个月的时间pr再次更新，我的博客PR从0变成3了，有些失望，源以为能给变成4，其他的几个站pr还都是6没有一个上7的，看来努力还不够啊。

以前google pagerank 都是三个月更新一次，现在变成两个月了，google pagerank 对google的排名算法影响还是有的，而且实际上也不像google官方说的那么不重要，否则没必要不断更新算法耗费人力和物力。

争取在下次pr更新的时候，我的博客pr能到5，欢迎各位朋友与我交换友情链接。

您正在计划为自己的网站更换新的域名吗？很多网站管理员发现这真是一个繁琐的过程。究竟怎样做才能不影响网站在谷歌搜索结果中的表现呢？
您希望这种迁移对于用户来说是毫无察觉地发生的，同时希望谷歌知道新页面应该与原网站页面得到相同的质量认可。当您迁移网站时，那些讨厌的404错误提示（无法找到文件） 不仅会伤害用户体验，还会给您的网站在谷歌搜索结果中的表现带来负面影响。本文将介绍如何稳妥地将您的网站搬到一个新域名(例如从www.example.com变为www.example.org)。这与将网站搬到一个新的IP地址是不同的，如果想了解这方面的内容请阅读此文。

网站迁移的主要步骤如下：

• 首先通过移动一个目录或子域名的内容来测试整个网站的迁移过程。然后使用301重定向功能将原有网站网页重定向到您的新网站上。通过此方法可告知谷歌和其它搜索引擎：您的网站已经永久性地迁移了。

• 上述操作完成后，查看一下您新网站里的网页能否出现在谷歌的搜索结果里。如果您对这次小范围的迁移感到满意，就可以迁移整个网站了。请不要将旧网站中所有网页的流量都重定向到您的新主页上，这种一刀切式的重定向虽然会避免404错误，但它并不能为用户提供良好的体验。尽管页对页的重定向（旧网站中每一网页都重新定向到新网站的相应网页上）会带来更大的工作量，但这也会给您的用户带来更连贯和明晰的体验。如果在新旧网站中不是一对一的页面匹配，那么一定要努力确保旧网站中每一个网页至少要重定向到具有类似内容的新网页上。

• 如果网站因为要重新命名或重新设计而需变更域名，您可以分两个阶段进行：第一阶段，移动您的网站；第二阶段，开始重新设计。这样做，不仅可以掌控用户在每一阶段中感受到的变化幅度，而且可以使整个过程变得更顺利。把变化控制在最低限度可以使您更容易发现和解决各种意外情况。

• 检查您网站网页的内、外部链接。理想的情况是您应该联络每个链接到您网站上的其他网站的管理员，让他们把链接指向您新域名的相应网页。如果这难以实现，您要确保原网站中所有含有其他网站链接指向的网页都被重定向到您的新网站上。您也应该检查并更新所有旧网站里的内部链接，使它们指向新域名。当您的网站内容已经在新服务器上准备就绪后，您可以使用一个诸如Xenu的链接检查工具来确认在您的新站点上没有遗留的故障链接。这一点特别重要，如果您的原始内容包含绝对链接（如www.example.com/cooking/recipes/chocolatecake.html ）而不是相对链接（如 …/recipes/chocolatecake.html）的话。

   

• 为防止混淆和混乱，您最好继续持有对原网站域名的控制权限至少180天。

• 将您的新网站添加到网站管理员工具帐户中，并验证您对该网站的所有权。创建并提交一个Sitemap以显示出新网站的所有URL，这样谷歌就会知道您新网站里的内容现在已经可用，可以对其进行抓取了。

• 最后，确保您的新、旧网站都在网站管理员工具中得到验证，并定期检查抓取错误，确保来自旧网站的301重定向工作正常，同时新网站上也不会显示我们不想看到的404错误提示。
  

我们承认，迁移从来就不是一件容易的事 —— 但是，这些步骤能帮助您确保原有网站的良好声誉在迁移的过程中不受损失。