一、 先查爬虫有没有留下痕迹

有抓取记录，但抓的全是首页、内页一次没抓，或者返回码里一堆 403、404、5xx，那就不是“没发觉”，而是“抓不动”。逐项对：里有没有误写成 Disallow: /；服务器有没有开 IP 白名单、 防火墙规则、地区约束；页面是不是靠 JavaScript 渲染，源码里只有空壳；有没有登录墙或验证码拦住首页。这四类里任意一类命中，收录都会一直卡住。

continue with open as f:

c = code_

by_code += 1

四、当前这个阶段该做和不该做

崭新站上线后如果不被搜索引擎收录,能够尝试检查网站结构和内容、提交网站到搜索引擎、采用社交媒体平台推广、提升外部链接等方法来提......

薅羊毛。 下面四节按顺序走：查痕迹、查拦截、看时间段点、定动作。

出岔子。 for path, n in top__common:

print

import re

if bot not in line:

开倒车。 崭新站一般更多久被收录， 当前这个问题没有统一答案，但半个月还查不到记录时该看哪些，是有明确方法的。很更多站较长搜不到自己的域名，第一反应是去改标题、换模板、加关键词，最终还是结果是越改越乱。先别动站，把“爬虫有没有来”和“来了有没有被挡”这两件事分别查一遍，就能了解该持续等还是该动手改。

if c:

for line in f:

二、 再看有没有把它挡在门外

path_pat = ')

code_pat = \s")

打开服务器访问日志，搜爬虫标识。如果半个月里一次抓取记录都没有，问题出在“发觉”环节，沉重点不是内容质量，而是入口。常见原因有三个：崭新域名没有任意外链， 可以。 爬虫没有路径找到你；站点还没在任意平台提交过地址；服务器对陌生 IP 直接回绝，爬虫连首页都拿不到。

三、 半个月当前这个时间段点意味着哪些

对已经有外链、提交过 sitemap 的站，半个月通常足以看到首页进入索引。对全崭新域名、零外链、内容又更少的站，半个月还在留意期是常见情况。判断标准能够更具体一点：半个月里爬虫来过、 到时候….. 返回码正常、也抓了内页，只是还没进索引库，那就持续等，同时也保证接下来发的每篇内容有独立信息；半个月里爬虫一次没来那不属于正常，得补入口。

说句实话… 该做的三件事：提交 sitemap、把崭新页面通过平台提供给的链接提交入口推一次、在能被抓取的页面上放一条指向崭新站的链接。不该做的三件事：不要为了“让爬虫更多来”去刷抓取频次或做站群互链；不要频繁改标题和模板；不要靠关键词堆砌坚硬凑内容。崭新站的收录节奏本来就偏缓慢，把入口打通、内容做扎实比反复折腾表层更管用。

from collections import Counter，我天...

LOG = "/var/log/nginx/" # 改成你的日志路径，一针见血。

p = path_

也是没谁了。 下面这段脚本把日志里爬虫的抓取按 URL 路径和返回码分组，能直接看出是“只抓首页”还是“较大面积报错”。

改 LOG 和 bot 两处。跑完看两个最终还是结果是：如果抓取最更多的路径全是 / 和 /， 说明内页没有可爬的入口； 给力。 如果 4xx、5xx 占了明显比例，说明抓取被挡，先去查防火墙和程序报错，别急着发崭新文章。

醉了... bot = "Baiduspider" # 可换成 Googlebot 等一起留意

if p:

top_path] += 1

---