怎样让网站url利于所有搜索引擎蜘蛛的抓取爬行

URL优化在整个网站优化中的分量是很重的，因此总结以下六点供参考：
一、URL命名技巧
使用合适的关键词为URL命名。也就是说该关键词所表达的意义，必须与URL所指向的页面主题相关，这样便有利于提高页面的相关性，突出页面的主题。用户也能从url判断出网页内容以及网站结构信息，并可以预测将要看到的内容。
二、URL尽量短
为什么URL要尽量短呢?这里有三方面原因：
第一、用户体验方面。长长的URL不仅不美观，用户还很难从中获取额外有用的信息。
第二、运行速度方面。短url还有助于减小页面体积，加快网页打开速度，提升用户体验。
第三、提升权重方面。搜索引擎抓取页面的时候，对页面的URL长度是有一定限制的，超过这个限制，搜索引擎可能就会拒绝收录，所以页面的URL越短，得到权重就越高。至于为什么，息心SEO推荐您阅读我的上一篇文章：10分钟读懂网站结构
三、URL静态化
虽然现在的搜索引擎已经非常强大了，可以说正常的动态url对搜索引擎已经没有任何影响了，但息心还是建议大家让URL静态化，一劳永逸，但如果您一定要使用动态url也可以，前提是您要尽量减少动态url中包含的变量参数，这样即有助于减少url长度，也可以减少让搜索引擎掉入黑洞的风险。
四、网站中同一网页，只对应一个url
如果网站上多种url都能访问同样的内容，会有如下危险：
1、搜索引擎会选一种url为标准，可能会和网站想要表达的主题不同
2、用户可能为同一网页的不同url做推荐，多种url形式分散了该网页的权重
如果你的网站上已经存在多种url形式，可以按以下方式处理：
1、在系统中只使用正常形式url，不让用户接触到非正常形式的url
2、不把Session id、统计代码等不必要的内容放在url中
3、不同形式的url，301永久跳转到正常形式
4、防止用户输错而启用的备用域名，301永久跳转到主域名
5、使用robots.txt禁止Baiduspider抓取您不想向用户展现的形式
实际操作：
(1)去尾巴
第一种情况，输入网址首页www.xixinseo.com后跳转到有尾巴的网址www.xixinseo.com/.index.php时，这个时候就要在你的网站空间的控制面板里就可以设置，修改默认文档，放到第一的位置。
第二种情况，输入网址首页www.xixinseo.com后没有跳转，但是点击网站首页或者点击返回首页的时候会跳转到www.xixinseo.com/.index.php，这个情况就是页面的链接写错了，这个时候的处理办法就是不要在网站上留下含有尾巴的入口就可以了。
(2)301永久重定向
301在搜索引擎中还有一个功能：连带着权重也转移到的目标路径上。在空间控制面板或dnspod(有的空间没有301功能、所以需要dnspod)上可以设置
URL唯一性操作要注意三方面
(1)带尾巴的不要去优化 / index.html 、/index.php，选择最能让用户记住的路径去优化
(2)做谷歌优化，要着重优化顶级域名;做百度优化，不管做那种，只要做到URL的唯一性即可，但最好是带www.：
要解析一个www.的域名，不带www.的顶级域名也要解析，然后把不带www.的301到带www.的域名
(3)外链、内链、推广时的用户点击链接这三种链接也都统一成一个链接。就比如我的SEO必学基础栏目，我就设定这个URL是www.xixinseo.com/jichu，然后无论我是做内链还是做外链还会去推广我都会使用这个链接，不去做其他改变
五、利用百度提供的URL优化工具检查
百度站长平台提供了URL优化工具，可以帮助检查URL对搜索引擎的友好程度并提出修改建议。