Der Begriff Crawl Budget beschreibt diejenigen Ressourcen, die die Suchmaschine Google investiert, um die Inhalte einer bestimmten Webseite zu erfassen und zu indexieren. Die Erfassung und Indexierung von Webseiten wird als Crawlen bezeichnet. Somit ist das Crawl Budget die maximale Anzahl an Seiten, die von einer bestimmten Internetpräsenz durchsucht werden. Dass Google nicht alle URLs einer Webseite durchsuchen kann, liegt daran, dass auch die weltweit größte Suchmaschine keine unbegrenzten Ressourcen besitzt.
Informationen zum Crawl Budget
Wer sich über das Crawl Budget bezüglich der eigenen Internetpräsenz informieren will, kann dies über die Google Search Console tun. Dort werden unter dem Punkt „Crawling-Statistiken“ Informationen zur Crawling-Aktivität auf der eigenen Webseite der letzten 90 Tage angezeigt. Im Einzelnen enthalten die Statistiken Informationen darüber, welche Seiten der Webpräsenz gecrawlt wurden und wie häufig der Suchbot von Google die Internetseite besucht.
In Bezug auf die Crawling-Statistiken ist zu beachten, dass diese Informationen nur bestätigten Webseiten zur Verfügung stehen. Nach Aussage von Google gibt es keine besonders „gute“ Crawling-Frequenz. Dennoch ist es von Vorteil, wenn das Diagramm, das die Crawling-Frequenzen anzeigt, relativ gleichbleibend ist und mit steigendem Umfang der Seite zunimmt.
Dass eine sinkende Frequenz zu verzeichnen ist, kann beispielsweise daran liegen, dass die Seite lange nicht aktualisiert wurde oder eine robots.txt-Datei vorhanden ist.
Beeinflussung des Crawl Budgets
Es gibt eine Vielzahl von Faktoren, mit denen sich das Crawl Budget beeinflussen lässt. So sollten URLs gewählt werden, die bereits Hinweise auf die Inhalte geben. Auf diese Weise erhält die Suchmaschine genauere Informationen über die Webseite.
Auch mittels der Webseiteninhalte selbst lässt sich das Crawl Budget beeinflussen, und seit dem Google Panda Update gilt, dass diese qualitativ hochwertig sein müssen. Eine klare und logische Seitenarchitektur und URL-Struktur ist ebenfalls von Vorteil. Da die URLs möglichst kurz sein sollten, muss die Tiefe der Verzeichnisstruktur wohl überlegt sein.
Darüber hinaus erweist es sich von Vorteil, wenn die auf der Seite verwendeten Bilder möglichst schnell laden. Inzwischen geht man davon aus, dass auch die Höhe des PageRanks ein Einflussfaktor bezüglich der Crawl Budget-Höhe ist. Folglich werden Seiten mit zahlreichen eingehenden Links besonders häufig gecrawlt.
Weitere Informationen und Links:
Weitere Informationen zum Crawl Budget
Das Crawling Budget optimieren
Tipps zum Steigern des Crawl Budgets