robots.txt 与 sitemap 检测

检查抓取规则有没有误屏蔽收录、站点地图能不能被正常读取 —— 这两项直接决定搜索引擎能收你多少页面