Durante uma revisão, foi descoberto que um site WooCommerce está causando alto uso de CPU devido ao acesso frequente de bots a páginas não armazenáveis em cache com o parâmetro ?add_to_wishlist=. Essas páginas são indexadas por bots como Googlebot e Ahrefs, o que torna o site mais lento. Para evitar isso, é recomendável definir certos parâmetros no arquivo /robots.txt que proíbem os bots de indexar esses links. Independentemente de a função “add-to-cart” ser executada via JavaScript ou diretamente em HTML, desabilitar a indexação de tais parâmetros é uma medida necessária.
Otimizado robots.txt
#Block Ativos do WooCommerce Agente do usuário: * Não permitir: /cart/ Não permitir: /warenkorb/ Não permitir: /checkout/ Não permitir: /kasse/ Não permitir: /my-account/ Não permitir: /mein-konto/ Não permitir: /*?orderby=price Não permitir: /*?orderby=rating Não permitir: /*?orderby=date Não permitir: /*?orderby=price-desc Não permitir: /*?orderby=popularity Não permitir: /*?filter Não permitir: /*add-to-cart=* Não permitir: /*?add_to_wishlist=* #Block Pesquisar ativos Agente do usuário: * Não permitir: /search/ Não permitir: *?s=* Não permitir: *?p=* Não permitir: *&p=* Não permitir: *&preview=* Não permitir: /search
Ao definir esses parâmetros, os rastreadores não indexarão mais os links “adicionar ao carrinho” e outras páginas não armazenáveis em cache. Isso leva a economias de CPU, memória e largura de banda.
Conclusão
Para provedores de hospedagem que baseiam seus preços no uso da CPU, essa medida reduziria significativamente os custos mensais. Mesmo com hospedagem web tradicional, isso resulta em uma redução notável no uso da CPU. Além disso, essas configurações no arquivo robots.txt permitem a conservação de valiosos créditos de rastreamento ao usar Ahrefs. Por último, mas não menos importante, a avaliação geral pelos rastreadores do Google também se beneficia, já que os valiosos limites de rastreamento são preservados e o rastreador do Google pode se concentrar no conteúdo essencial.