适用场景

技术 SEO 的价值是「让搜索引擎能顺利读懂并收录」。顺序很重要：先保证能抓、能索引，再谈内容与权重。很多站点内容不错却没流量，问题就出在抓取和索引环节。

配置步骤（抓取与索引治理）

# 1) 服务端视角：看爬虫抓取情况
grep -i -E 'baiduspider|googlebot|bingbot|bytespider|yisouspider' /www/sites/tfor.cn/log/access.log | wc -l
# 看爬虫抓取状态码分布：404/500 多说明有问题
awk '{print $9}' /www/sites/tfor.cn/log/access.log | sort | uniq -c | sort -rn | head

# 2) 常见抓取异常
#  - 大量 404：链接结构变更没做 301
#  - 大量 5xx：服务器性能不足或超时
#  - 抓取频率低：站点权重低或响应慢

# 3) 站长平台检查项
#  - 索引量趋势、覆盖报告、抓取异常、移动适配

# 4) 站点改版时
#  - 旧 URL 301 到新 URL，保留至少 6 个月
#  - 更新 sitemap 并提交，保留旧 sitemap 一段时间

关键参数与建议

  • 抓取基础：robots.txt 放行、sitemap 提交、页面无强制登录
  • 索引基础：每页唯一 title/description、canonical 正确、无重复内容
  • 结构化数据：Organization / WebSite / NewsArticle / FAQPage / BreadcrumbList 按页面类型使用
  • 内链：主导航 + 面包屑 + 相关文章，避免孤岛页面
  • 内容架构：栏目层级不超过 3 层，URL 语义清晰且稳定
  • 移动与速度：移动端可读、首屏加载达标（详见站点性能优化）
  • 监测：搜索资源平台看抓取、索引、覆盖报告，按月处理异常
  • 避免作弊：不做隐藏文字、关键词堆砌、批量垃圾外链

容易踩的坑

  • 改版直接换 URL，旧链接全 404，权重归零
  • 服务器响应慢，爬虫抓取量下降
  • 未提交 sitemap，新页面靠外链慢慢被发现
  • 大量重复内容（分页、参数），被判定低质
  • 只关心中文搜索引擎，忽略 AI 爬虫策略（见 AI 搜索优化）
  • 不看覆盖报告，索引异常长期存在

验证与巡检

# 抓取量与状态码分布（近 7 天）
grep -ci spider /www/sites/tfor.cn/log/access.log
awk '{print $9}' /www/sites/tfor.cn/log/access.log | sort | uniq -c | sort -rn | head -5

# 重点：5xx < 0.1%，爬虫 404 不应持续增长
  • 巡检：爬虫抓取量稳定、5xx 极低、索引量增长、无大量 404、sitemap 已提交

小结

技术 SEO 验收：新文章发布后 24 小时内被 sitemap 收录并进入抓取队列，页面结构化数据校验通过，无重复 title 与 canonical 冲突。

> 说明：文中命令为通用写法，不同型号/版本可能略有差异，落地前请对照设备实际版本的官方文档；带外管理与安全设备变更建议先在测试设备验证。