robots.txt mit der Kommandozeile aufrufen

Mit der Kommandozeile unter Linux kann man sehr viele SEO Aufgaben viel effizienter erledigen. Ganz ohne Maus und ganz ohne Fenster.

So kann man auch sehr schnell die robots.txt einer Webseite überprüfen, z.B.:

curl https://seowink.de/robots.txt

Und so sieht das Ergebnis aus:

Da sehe ich gleich ein Problem:
was hat da der Sitemap: https://seowink.de/wp-sitemap.xml zu suchen?
Gar nichts!
Aber das ist ein Thema für einen weiteren SEO Blogbeitrag.

Und falls dir das einfach zu trocken ist, dann kannst du dir die robots.txt auch gerne von einer Kuh anzeigen lassen:

curl -s https://seowink.de/robots.txt | cowsay