产品列表、新闻列表往往有好几页内容,站在用户角度翻页很自然,站在搜索引擎角度却容易出问题:后面的页面要么被当作重复内容,要么干脆不收录。列表页的分页处理,是很多官网被忽略的一块。
分页地址要稳定可抓取
有的站点分页用的是同一地址加脚本切换,看上去是第二页,其实搜索引擎只看到一个页面。更稳妥的做法是让每一页有独立、稳定的网址,翻页链接用普通的可点击链接承载,而不是只能通过点击按钮触发。地址可抓、链接可点,后续内容才有被收录的机会。
页面标题和描述要区分开
如果每一页的标题都是"产品中心",第二页、第三页完全一样,很容易被判断为重复。通常的做法是在标题里带上页码或该页的内容范围,让每个分页都有唯一、准确的标题。描述也可以简述这一页包含哪些内容,而不是全部雷同。
别把全部内容塞进第一页
有些列表页把几十条记录都放在第一页,靠前端滚动加载后面的数据。这样虽然体验流畅,但后面加载出来的内容搜索引擎未必会触发。折中的方式是:保留分页地址供爬虫抓取,同时用滚动加载提升用户浏览体验,两者并不冲突,关键在于保证每一批内容都有可访问的入口。
注意筛选与排序参数
列表页常有按类别、价格、时间排序的筛选条件,这些参数如果组合过多,会生成大量内容相似、只是排序不同的页面,反而稀释收录。对没有实质内容差异的排序与筛选组合,可以加以规范,避免搜索引擎抓取大量无价值页面。
给爬虫一条清晰的路径
分页之间应当互相链接,形成从第一页到后续页面的通路,必要时配上页面地图帮助抓取。同时确认站点地图里保留了列表页的入口,而不是只提交首页和详情页,让爬虫能顺着路径找到更深层的内容。
小结
列表页是官网内容的重要入口,处理得当,后面的产品与文章才能真正被看到。冉冉科技在网站建设与 SEO 优化服务中,会针对列表与分页结构给出可抓取的方案,帮助站点把内容层级梳理清楚。
关于冉冉科技
江苏冉冉信息科技有限公司(品牌“冉冉科技”)成立于2017年,位于江苏省常州市新北区,是一家从事互联网信息服务、电子商务应用与企业应用系统开发的技术服务企业。公司业务涵盖网站建设、网页设计、SEO优化、竞价包年、域名注册、虚拟主机、企业邮箱、整合营销及企业形象策划等,以“只做有效果的网络营销”为服务主张,累计完成三千余起网站建设与服务。

冉冉科技

商务咨询