生活服务
网站终于被百度收录了!
2024-12-16 15:31  浏览:98

作者:陌溪

大家好,我是阿Q

之前一直有小伙伴跑来问我,为啥蘑菇博客上线了这么久,百度出来只有首页?

百度收录

在聊这个问题之前,我们先谈谈什么是 SEO。搜索引擎优化(Search engine optimization,简称 SEO ),指为了提升网页在搜索引擎自然搜索结果中(非商业性推广结果)的收录数量以及排序位置而做的优化行为,是为了从搜索引擎中获得更多的免费流量,以及更好的展现形象。

其实蘑菇网站上线快几年了,但是只收录了首页,归根到底还是因为之前项目选型的时候,采用了 Vue 作为前端开发框架,而我们知道 Vue 作为单页面应用框架,所有的数据都是通过 axios 进行返回的,也可以想成是 ajax 请求异步返回的,是非常不利于 SEO 的。

而百度收录的原理,其实就是百度的爬虫程序去爬取咱们的网站网站,但是因为我们内容都是通过 axios 异步返回,所以只能看到下面这样的骨架代码,因此百度也就只会收录咱们的首页了。

蘑菇页面源码

一般爬虫抓取页面内容是先从一个页面出发,从中提取出其他页面的链接,然后当作下一个请求的对象,一直重复这个过程。所以要有良好的 SEO,需要你在各大网站上拥有外链,这样会提高你的网站被搜索引擎爬虫的几率。

Vue 为了解决 SEO 问题,官方有 Vue SSR 方案,后面又推出了 Nuxt.js 框架。

蘑菇其实在旧版本中,也是使用 nuxt.js 实现了一波,经过测试后也确实能够被百度所收录,但是因为同时维护两份代码,有些耗时耗力,并且切换到 nuxt.js后,因为是服务器渲染,网站打开也变慢了很多,因此在种种因素下,也放弃了维护 nuxt_mogu_web 项目

nuxt.js版蘑菇博客

同时,后面也在积极的探索更优雅的 SEO 实现方案,预期是不会较大的改变现有逻辑的基础上,就能够实现。

回归到原始需求,为了提高用户体验我们用了 VueReact 这些 SPA 技术、为了 SEO 我们用了 SSR、预渲染等技术。

不同技术方案有一定差距,不能兼顾优点。但仔细想,需要这些技术优点的 "用户",其实时不一样的,SPA 针对的是浏览器普通用户、SSR 针对的是网页爬虫,如 googlebotbaiduspider 等,那为什么我们不能给不同“用户”不同的页面呢,服务端动态渲染就是这种方案。

后来,陌溪在网上冲浪的时候,在 Github 上发现了 prender-alpine 这个开源项目

https://github.com/tvanro/prerender-alpine

prerender项目

prender-alpine 的原理,在 Alpine Linux 上构建的轻量级 Prerender 容器,带有 NodeHeadless Chrome

Prerender :可以当做是一个预渲染的容器,项目的原理其实就是相当于跑了一层 node.jsRender 层,帮助我们做服务器渲染。

针对爬虫的预渲染

服务端对请求的 user-agent 进行判断,浏览器端直接给 SPA 页面,如果是爬虫,需要通过 Prerender 容器动态渲染的 html 页面进行返回

完整的流程图如下,我们需要通过 nginx 识别出访问我们网站的用户是否是爬虫,还是普通用户,从而请求不同的页面。

完整流程

为了方便小伙伴们的使用,陌溪也把 prender-alpine 项目放到了蘑菇镜像仓库,同时提供了一份 prerender.yml 文件

只需要将其拷贝到蘑菇一键部署的 yaml 目录下即可,同时使用命令进行启动

启动完成后,可以看到项目运行在 3000 端口

容器运行

搭建完成后,我们可以打开浏览器进行测试,打开 172.184.166.150:3000/https://www.moguit.cn 页面,后面挂着的就是你要预渲染的页面,如果能够打开下面的页面,说明已经预渲染成功了

预渲染成功

同时,通过查看网页源码,也能够看到页面的文字和链接了,这样爬虫也就能爬取到我们网站的其它信息

查看源码

下面,我们就需要改造我们的 nginx 了,通过 $http_user_agent 来识别请求的 user_agent 是否属于 Google百度必应360…. 的爬虫

如果识别成功,那么会跳转到刚刚搭建的 prerender 容器中进行预渲染,否则继续返回原来的 Vue 页面

下面是完整的 nginx 配置文件 vue_mogu_web.conf


注意,这个配置需要修改 vue_mogu_web.yml,把刚刚创建的配置文件挂载出来

修改完成后,就可以开始使用接口工具进行测试了,通过设置 Headers 设置请求头信息,加入 User-agent = googlebot 用来标识这个请求是爬虫

调用接口可以看到,我们的页面能够把完整的数据给返回

模拟爬虫请求

同时,如果我们把 User-agent 删掉,这个时候返回的就是我们正常的 SPA 单应用页面了

模拟正常用户

到这里,网站针对爬虫专属的 SEO 就改造完毕了

经过几天测试后,通过 site:www.moguit.cn 进行查询,也可以看到被百度收录了好几个页面了~

百度收录多个页面

好了,本期蘑菇 SEO 优化讲解就到这里

我是陌溪,我们下期再见~


    以上就是本篇文章【网站终于被百度收录了!】的全部内容了,欢迎阅览 ! 文章地址:http://sjzytwl.xhstdz.com/xwnews/536.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://mip.xhstdz.com/ , 查看更多   
最新文章
《方舟生存进化》手机版为什么进不去 方舟手游进不去怎么办方舟手机版「《方舟生存进化》手机版为什么进不去 方舟手游进不去怎么办」
手机版有时候会出现游戏无法进入,这边来看看方舟生存进化手机版进不去怎么办?方舟生存进化手机版进不去解决办法。1.服务器维护
OPPO Find X8亮相,流畅度与性能全面突破,不容错过!x8手机「OPPO Find X8亮相,流畅度与性能全面突破,不容错过!」
在智能手机市场日新月异的背景下,OPPO在2024年牛角尖颁奖盛典上推出了其最新旗舰手机——OPPO Find X8。这款设备凭借流畅度和性
BeatsStudio3Wireless使用说明-使用技巧beats蓝牙耳机怎么连接手机「BeatsStudio3Wireless使用说明-使用技巧」
BeatsStudio3Wireless是一款非常热门的头戴式蓝牙耳机,不管是听音乐还是打游戏都能带给用户更出色的音质体验,同时可以根据个人
“LOL愚人节活动不愚人”火了,每人1000枚骰子,永久皮肤免费送
前言:S15赛季的比赛已经正式开始了,相信绝大多数的玩家都关注了最近一段时间的对抗,Lpl赛区的比赛进行的是比较激烈的,十支战
moto razr 40 Ultra正式发布 3999元起售开启小折叠大屏幕普及风暴摩托罗拉折叠手机「moto razr 40 Ultra正式发布 3999元起售开启小折叠大屏幕普及风暴」
2023年6月1日,联想召开"心动,何止一面"moto razr 40系列折叠屏手机新品发布会。moto razr 40 Ultra与moto razr 40两款重磅小折
2025年退休的人员,请务必关注这些问题申请手机号「2025年退休的人员,请务必关注这些问题」
新的一年即将来临,即将在2025年办理企业职工基本养老保险退休手续的人员,为确保您在达龄时快速办理退休手续,尽快领到退休后的
TVB离巢女星二婚老公曝收入,从事保险行业九年,长相不输圈中人
未经授权严禁转载,发现抄袭者将进行全网投诉TVB离巢女星梁靖琪近年虽然淡出圈,但是偶尔也会参演一些剧集,这些作品几乎都是由
晶莹如玉 步步高音乐手机i269步步高音乐手机「晶莹如玉 步步高音乐手机i269」
近日,主打的公司推出了一款时尚新机——i269,它采用了现在流行的白色机身,并且还搭配与同色的,时尚的外型配合出众的音质,
vivo手机的通用在哪里苹果手机省电模式在哪「vivo手机的通用在哪里」
对于许多vivo手机用户来说,寻找手机设置中的“通用”选项可能是一个令人困惑的问题。实际上,vivo手机并没有一个直接标注为“通
2024植物大战僵尸1正版最新版植物大战僵尸1手机版「2024植物大战僵尸1正版最新版」
广西北海电信 - 网友 发表于: 2023-11-18 11:51:43游戏非常好玩,植物和僵尸的种类很多 河南商丘 客人2020/7/11 14:20:58 666居