Drupal: robots.txt anpassen für Google + CSS

Bild des Benutzers Regina Oswald

Bei der Kontrolle einer Domain in den Webmaster Tools ist mir aufgefallen, daß Google seit einiger Zeit zahlreiche Seiten blockiert.
Und zwar alle, die folgende Scripte verwenden (also fast alle):


http://www.meine-domain.de/modules/field/theme/field.css

http://www.meine-domain.de/modules/user/user.css

http://www.meine-domain.de/modules/system/system.base.css

http://www.meine-domain.de/modules/system/system.theme.css

http://www.meine-domain.de/modules/system/system.messages.css

http://www.meine-domain.de/modules/comment/comment.css

http://www.meine-domain.de/modules/search/search.css

http://www.meine-domain.de/modules/system/system.menus.css

http://www.meine-domain.de/modules/node/node.css

http://www.meine-domain.de/misc/jquery.once.js

http://www.meine-domain.de/modules/system/system.menus.css

http://www.meine-domain.de/modules/system/system.messages.css

http://www.meine-domain.de/modules/search/search.css

http://www.meine-domain.de/modules/comment/comment.css

http://www.meine-domain.de/modules/system/system.base.css

http://www.meine-domain.de/modules/system/system.theme.css

http://www.meine-domain.de/modules/user/user.css

http://www.meine-domain.de/modules/node/node.css

http://www.meine-domain.de/modules/field/theme/field.css

http://www.meine-domain.de/misc/drupal.js

http://www.meine-domain.de/misc/drupal.js

http://www.meine-domain.de/misc/feed.png

Das sieht dann in den Webmaster-Tools so aus:

Google Blockierte Dateien Drupal robots.txt css js

Da besteht dringender Handlungsbedarf!

Ein Blick in die robots.txt zeigt, daß die Verzeichnisse modules und misc für Robots verboten sind.

Drupal robots.txt

Wir wollen die genannten Verzeichnisse auch weiterhin nicht von Robots besuchen lassen, außer es handelt sich um .js - oder .css-Dateien.

Diese Ausnahme wird vor die Disallow-Anweisungen geschrieben und das könnte dann z.B. so aussehen:


#Allow JS + CSS

Allow: /misc/*.js

Allow: /misc/*.css

Allow: /modules/*.js

Allow: /modules/*.css

Allow: /profiles/*.js

Allow: /profiles/*.css

Allow: /themes/*.js

Allow: /themes/*.css

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

Da muß man sich natürlich fragen, warum das Problem jetzt plötzlich eingetreten ist?
Schließlich erwartet Google den freien Zugang zu   .js - und .css-Dateien ja schon seit letztem Herbst.

Das ist so passiert:
Die Webseite ist vor kurzem auf ein Super-Fish-Menü umgestellt worden.
Während der Anpassungen und für einen bestimmten Beobachtungszeitraum wurde die Komprimierung der  .js - und .css-Dateien abgeschaltet.
Wenn die Seiten komprimiert werden, werden sie ja im Ordner sites/* abgelegt.
Diesen kann Google besuchen, d.h. in dem Fall tritt die Problematik nicht auf.

Hier ist also in Zukunft Aufpassen verlangt, dmit man die Anpassungen in der robots.txt nicht beim nächsten Drupal-Core-Update wieder überschreibt.
D.h. der schnelle Löschfinger muß jetzt nicht nur vor der angepassten .htaccess-Datei, sondern auch vor der robots.txt Halt machen.