robots.txt mir curl aufrufen

robots.txt mit der Kommandozeile aufrufen

Michael Schramm | Veröffentlicht am | aktualisiert: 2020-10-21

Mit der Kommandozeile unter Linux kann man sehr viele SEO Aufgaben viel effizienter erledigen. Ganz ohne Maus und ganz ohne Fenster.

So kann man auch sehr schnell die robots.txt einer Webseite überprüfen, z.B.:

curl https://seowink.de/robots.txt

Und so sieht das Ergebnis aus:

robots.txt mal ganz schnell und effizient aufrufen?
robots.txt mit der Kommandozeile aufrufen unter Linux

Da sehe ich gleich ein Problem:
was hat da der Sitemap: https://seowink.de/wp-sitemap.xml zu suchen?
Gar nichts!
Aber das ist ein Thema für einen weiteren SEO Blogbeitrag.

Und falls dir das einfach zu trocken ist, dann kannst du dir die robots.txt auch gerne von einer Kuh anzeigen lassen:

curl -s https://seowink.de/robots.txt | cowsay
robots.txt von einer Kuh anzeigen lassen
robots.txt von einer Kuh anzeigen lassen
Verborgener Text mit Lynx überprüfen
Veröffentlicht am

Auf manchen Webseiten findet man Elemente welche einen Text verbergen und erst nach einer Interaktion des Besuchers anzeigen. Wie z.B. Toggl-Elemente welche uns den Text …

ahrefs keyword explorer
Begriffserklärung zu ahrefs Keyword Explorer
Veröffentlicht am | aktualisiert: 2021-01-26

Parent Keyword (Parent Topic) Eine Webseite kann für unterschiedliche Keywords eine gute Positionierung erhalten. Wenn man für ein Parent Keyword optimiert kann es auch passieren, …

ahrefs Backlink Übersicht
Begriffserklärung zu ahrefs Backlinkliste
Veröffentlicht am | aktualisiert: 2021-01-19

Wichtig: Die folgenden Kennzahlen beziehen sich auf die Domain welche auf deine Seite hin verlinkt. DR (Domain Rating) Das Domain Rating zeigt an wie „stark“ …

SEO title und meta description praktisch einsetzen
Veröffentlicht am | aktualisiert: 2020-11-06

In diesem Beitrag möchte ich dir kurz und bündig erklären was nun title und meta description sind und wie du sie gleich praktisch anwenden kannst.