很多站长都会遇到这个问题,网站开发完成上线后,百度一直不收录。即使收录也只是收录个首页,内页很难快速被收录。如何解决这个问题?搜索引擎的进化在互联网早期,网站数量有限,所以人工整理是可行的,比如就有DMOZ这样的人工编辑的网站数据库,分门别类的整理好各种网址。
后来全球网站数量爆炸性增长,人工整理就不现实了,于是有了 网络爬虫(也叫蜘蛛)代替人工去访问抓取网站,这就是最原始的 搜索引擎。虽然互联网是一个网状结构,但是抓取整个互联网上的所有网站还是有难度的,首先要解决的问题就是如何发现这些网站。
为了解决这个问题,搜索引擎都会有一个基础的网站数据库,从这里的网站开始爬取,希望能抓取整个互联网上的信息。而且依靠链接之间的引用关系和使用的链接文本来计算网页的权重,从而能对搜索结果排序。比如Google的PageRank算法。
Yahoo算是非常早的搜索引擎,它就使用DMOZ的网站作为爬虫的抓取起点,而且怀疑Google也使用DMOZ数据,因为10多年前做网站时,大家都希望自己的网站能被DMOZ收录,甚至贿赂DMOZ的编辑人员。
还有那时候大家都拼命交换友情链接,PR值高的网站就是大爷。这背后对应着网站的收录速度和排名高低。
一个新网站,如果有PR值高的网站给你加友情链接,很快网站就可以被抓取收录。早期互联网内容贫乏,随便做个网站,找有权重的 网站交换友情链接,这些搜索引擎爬虫都如饥似渴的抓取收录。可现在互联网上的内容太多了(Google的总索引页面数477亿左右)),搜索引擎也变得越来越挑剔,所以新站起流量越来越难了。
用新注册的域名做网站,从被百度收录到有排名需要很长的时间。
就像你遇到一个陌生人,你完全不知道他的底细,考核观察的时间就会很长。
所以希望网站快速被收录,建议花钱买老域名,而且最好选域名注册历史久、没有不良记录、各大搜索引擎还有残留索引记录的为佳。
什么叫“没有不良记录”?
域名没有做过黄、赌、毒、医疗等违法或灰色行业。
多点击一些网页快照,看看年初的月份,再看看近期的快照。还有一点就是,查看快照时候,右键查看下页面源码,看底部的友情链接部分有没有违法网站,避免选择被黑过的网站。
而且如果一个域名长达一年多没有做过网站,可能也要放弃。关于购买老域名,可以上聚名网或其他提供老域名抢注或交易的网站,平均价格在100-200之间。
基础的域名数据,比如百度权重,各个搜索引擎的收录情况,可以使用爱站SEO助手或自己写程序抓取。以上技巧很实用,前段时间跟一个朋友学的。
投怀送抱法
1、主动推送:最为快速的提交方式。
适用场景:把网站当天新产生的链接通过这种方式推给百度,保证新链接可以及时被百度收录。
在站长平台后台点击“网页抓取”->“链接提交”可以看到具体的使用说明,百度提供有curl、php和ruby等样例代码。
2、自动推送:最为方便的提交方式。
使用方法:将自动推送的JS代码加到网站每个页面里,当有用户访问这个页面时,页面链接就会自动推送给百度。可以配合主动推送使用。
3、Sitemap:传统提交方式。
很多网站CMS都提供生成 Sitemap的功能,如果没有的话,需要借助工具或自己写代码生成。通过Sitemap告诉百度蜘蛛哪些网页希望被抓取。
百度Sitemap支持3种格式:txt文本格式、xml格式、Sitemap索引格式。
如果是小网站,页面数量小于5万,可以使用txt或xml格式的sitemap文件放到网站根目录下就可以。
如果是网页数量超过5万,可以网址拆分成5万为一组的xml文件,然后放到Sitemap索引文件中,通过站长平台提交给百度。
具体格式参考百度官方说明: Sitemap提交工具站长资讯百度站长平台
Sitemap提交方式收录速度慢于主动推送。
4、手动提交:最偷懒的后台提交方式。
通过百度站长后台手动提交,一次只能提交20个网址。
但这里有原创提交入口,原创内容可以通过这里提交。
主动提交Sitemap有利于百度对你网站内容的识别抓取,但不一定会收录所有网址,页面质量高才会收录。
重复提交没有用,反而会浪费主动推送配额。
有专门的移动版Sitemap格式,需要按百度要求格式制作提交.
搜索引擎虽然越来越高级,但是爬虫(蜘蛛)的基本原理并没有大变化。
想要页面被收录,就需要蜘蛛访问抓取页面,如果没有蜘蛛光顾,网站被收录就无从谈起。
所以主动推广,交换链接依然是加快收录的有效手段。
如果你有一个百度抓取频率很高的网站,在主要页面上增加链接文本指向新站, 引导蜘蛛抓取你的新站。还有些人会用一些黑帽手法,比如 蜘蛛池,利用抓取的漏洞把百度蜘蛛困在资源站中,最后导出外链到新站以加快收录。
本文链接: http://www.cjzzc.com/article/306.html
上一篇:百度蜘蛛如何抓取网站和提高抓取频率
下一篇:搜索引擎知多少?
深圳坪山网站建设公司台山百度网站优化江苏电商网站设计优化价格浙江网站优化公司优化公司网站简便易.速达昆山盐城网站优化方案海网站关键词优化在什么地方商城网站优化广东电器网站优化如何昆明市效果好的网站seo优化网站优化如何排名网站优化 http代理遂宁市网站优化宣城企业网站排名优化哪家不错本地网站优化北屯网站优化哪家好贵阳seo网站排名优化软件网站SEO优化简历网站怎么优化诊疗火17星网站外链优化都包括哪些方面惠州网站排名优化资讯行业网站优化百度网站优化多少费用广州网站优化报价奉化区网站优化方法最好的网站优化的方法网站关键字优化软件东宝区网站做优化代理湛江网站优化分深圳网站排名优化哪家强响应式的网站做优化好吗香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤