Optimierte Robots.txt für WooCommerce

Bei einer Überprüfung wurde festgestellt, dass eine WooCommerce-Website aufgrund des häufigen Bot-Zugriffs auf nicht zwischenspeicherfähige Seiten mit dem Parameter ?add_to_wishlist= eine hohe CPU-Auslastung verursacht. Diese Seiten werden von Bots wie Googlebot und Ahrefs indiziert, wodurch die Website verlangsamt wird. Um dies zu verhindern, empfiehlt es sich, in der Datei /robots.txt bestimmte Parameter zu setzen, die es Bots verbieten, diese Links zu indizieren. Unabhängig davon, ob die "Add-to-cart"-Funktion über JavaScript oder direkt in HTML ausgeführt wird, ist die Deaktivierung der Indizierung solcher Parameter eine notwendige Maßnahme.

Optimierte robots.txt

#Block WooCommerce Vermögenswerte
Benutzer-Agent: *
Nicht zulassen: /karre/
Nicht zulassen: /warenkorb/
Disallow: /Kasse/
Disallow: /kasse/
Disallow: /Mein-Konto/
Disallow: /mein-konto/
Disallow: /*?orderby=Preis
Disallow: /*?orderby=Bewertung
Disallow: /*?orderby=date
Disallow: /*?orderby=Preis-Beschreibung
Disallow: /*?orderby=Beliebtheit
Disallow: /*?filter
Disallow: /*zum-wagen-hinzufügen=*
Disallow: /*?add_to_wishlist=*


#Block Suchbegriffe
Benutzer-Agent: *
Nicht zulassen: /Suche/
Nicht zulassen: *?s=*
Disallow: *?p=*
Disallow: *&p=*
Disallow: *&vorschau=*
Disallow: /Suche

Durch die Einstellung dieser Parameter werden die Crawler die "Add-to-cart"-Links und andere nicht speicherbare Seiten nicht mehr indizieren. Dies führt zu Einsparungen bei CPU, Speicher und Bandbreite.

Abschluss

Für Hosting-Anbieter, die ihre Preise nach der CPU-Nutzung richten, würde diese Maßnahme die monatlichen Kosten erheblich senken. Selbst bei herkömmlichem Webhosting führt dies zu einer spürbaren Reduzierung der CPU-Auslastung. Darüber hinaus ermöglichen diese Einstellungen in der robots.txt-Datei die Schonung wertvoller Crawling-Credits bei der Nutzung von Ahrefs. Nicht zuletzt profitiert auch die Gesamtauswertung durch die Google-Crawler, da wertvolle Crawling-Limits erhalten bleiben und sich der Google-Crawler auf wesentliche Inhalte konzentrieren kann.