Robots.txt

最近在新的blog系统上花了些心思，并在搜索引擎收录的方面有了一点心得，记录如下。

1 百度懂得找新页面

我过去用WordPress的时候，单篇文章的URL用的是/年/月/slug/的格式。而现在用的Movable Type所产生的静态页面的URL却是/年/月/slug.html格式的。这样一来在搜索引擎里的单篇文章地址就有许多过去留下的错误链接，这些链接都无法访问。在Google里面，挺奇怪的是我过去的那些文章都排在了前面。大约前3页以内没有.html结尾的页面。我不知道是不是那些地址资历“老”的原因。而在百度里，我新发布的页面都排在前面，刚才又查了一下，似乎旧格式的页面都不在搜索结果里面了。