Smart Crawling – Automatische URL-Erkennung

Um eine vollständige llms.txt zu erstellen, muss unser Generator zunächst alle relevanten Seiten deiner Website finden. Anstatt URLs manuell einzugeben, übernimmt unser Smart Crawling das automatisch – du gibst einfach deine Domain ein und der Rest passiert von selbst. Dank intelligenter Website-Crawling-Strategien werden alle wichtigen Seiten zuverlässig erkannt.

Drei Strategien für optimale Abdeckung

Unser Crawler kombiniert drei bewährte Methoden, um möglichst alle relevanten Seiten deiner Website zu finden:

Sitemap-Analyse: Der Crawler sucht zuerst nach einer XML-Sitemap (z.B. /sitemap.xml). Wenn vorhanden, werden alle dort aufgelisteten URLs als Ausgangspunkt verwendet – das ist die zuverlässigste Methode.
robots.txt-Auswertung: Die robots.txt wird analysiert, um Sitemap-Referenzen zu finden und Crawling-Regeln zu respektieren. Seiten, die per robots.txt ausgeschlossen sind, werden nicht verarbeitet.
Homepage-Link-Crawling: Falls keine Sitemap vorhanden ist, analysiert der Crawler die Links auf deiner Startseite und findet so die wichtigsten Unterseiten. Interne Links werden verfolgt, externe Links werden ignoriert.

Respektvolles und effizientes Crawling

Unser Crawler wurde so konzipiert, dass er Websites nicht belastet. Anfragen werden sequenziell und mit angemessenen Zeitabständen durchgeführt. Die robots.txt wird stets respektiert – wenn eine Seite nicht gecrawlt werden soll, wird sie übersprungen. So kannst du sicher sein, dass dein Server nicht durch das Crawling beeinträchtigt wird.

Live-Fortschritt per SSE

Während des Crawlings siehst du in Echtzeit, welche URLs gerade verarbeitet werden. Per Server-Sent Events (SSE) wird jeder Schritt live im Browser angezeigt: URL gefunden, Seite abgerufen, Inhalt extrahiert, KI-Zusammenfassung generiert. So weißt du jederzeit genau, was unser Tool gerade tut – volle Transparenz statt Black Box.

Kostenloser Einstieg

Bis zu 20 Seiten werden kostenlos gecrawlt und verarbeitet – ohne Registrierung und ohne versteckte Kosten. Gib einfach deine Website-URL ein und in wenigen Sekunden erhältst du deine fertige llms.txt mit allen automatisch erkannten Seiten.

Jetzt llms.txt generieren

Kostenlos bis 20 Seiten. Keine Registrierung.