robots.txt mit der Kommandozeile aufrufen

Mit der Kommandozeile unter Linux kann man sehr viele SEO Aufgaben viel effizienter erledigen. Ganz ohne Maus und ganz ohne Fenster.

So kann man auch sehr schnell die robots.txt einer Webseite überprüfen, z.B.:

curl https://seowink.de/robots.txt

Und so sieht das Ergebnis aus:

robots.txt mal ganz schnell und effizient aufrufen?
robots.txt mit der Kommandozeile aufrufen unter Linux

Da sehe ich gleich ein Problem:
was hat da der Sitemap: https://seowink.de/wp-sitemap.xml zu suchen?
Gar nichts!
Aber das ist ein Thema für einen weiteren SEO Blogbeitrag.

Und falls dir das einfach zu trocken ist, dann kannst du dir die robots.txt auch gerne von einer Kuh anzeigen lassen:

curl -s https://seowink.de/robots.txt | cowsay
robots.txt von einer Kuh anzeigen lassen
robots.txt von einer Kuh anzeigen lassen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.