Das JavaScript-Problem: Warum KI-Crawler Ihre Inhalte oft nicht sehen

Immer mehr Menschen stellen ihre Fragen direkt an ChatGPT, Perplexity oder den KI-Modus von Google. Die Antworten kommen sofort, oft ohne dass noch jemand auf eine Website klickt. Sichtbarkeit hängt damit nicht mehr nur vom Ranking ab, sondern davon, ob KI-Systeme Ihre Inhalte überhaupt erfassen können.

Genau hier scheitern viele moderne Websites an einem technischen Detail: dem JavaScript-Rendering. Wir kennen das Problem aus eigener Erfahrung. Unsere bisherige Website lieferte ohne JavaScript leeres HTML aus und war für KI-Crawler praktisch unsichtbar. Deshalb haben wir unitedads.de als statisch generierte Seite neu gebaut. In diesem Beitrag zeigen wir, warum das Problem entsteht, wie Sie es erkennen und wie Sie es lösen.

Bei vielen Websites entsteht der Inhalt erst im Browser

Frameworks wie React, Vue.js oder Angular sorgen für schnelle Interaktionen und flexible Oberflächen. Der Preis: Der eigentliche Seiteninhalt steckt oft nicht mehr im HTML, das der Server ausliefert. Er wird erst im Browser per JavaScript zusammengesetzt, nachdem Schnittstellen abgefragt und Zustände aufgebaut wurden.

Für Menschen ist das kein Problem, der Browser stellt alles zuverlässig dar. Ein Crawler ohne JavaScript-Ausführung sieht dagegen oft nur ein leeres Gerüst:

<!doctype html>
<html>
  <head><title>Ihre Website</title></head>
  <body>
    <div id="root"></div>
    <script src="/assets/index.js"></script>
  </body>
</html>

Die großen KI-Crawler führen kein JavaScript aus

KI-Systeme lesen Websites nicht wie ein Mensch mit Chrome oder Firefox. Sie laden das ausgelieferte HTML und werten dessen Text und Struktur aus. Vercel hat gemeinsam mit der Beratung MERJ die Zugriffe auf nextjs.org und im eigenen Netzwerk ausgewertet. Das Ergebnis: Keiner der großen KI-Crawler führt JavaScript aus. Untersucht wurden GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot von Anthropic, Meta-ExternalAgent, Bytespider von ByteDance und PerplexityBot.

Die Crawler laden JavaScript-Dateien zwar herunter, bei ChatGPT waren es 11,5 % der Abrufe, bei Claude 23,84 %, aber sie führen sie nicht aus. Ausnahmen sind Gemini, das die Infrastruktur des Googlebot nutzt, und der Applebot, der wie ein Browser rendert.

Daraus folgt eine einfache Regel: Was nicht im HTML steht, ist für diese Systeme nicht vorhanden. Eine Seite kann für Menschen einwandfrei funktionieren und für KI-Systeme leer sein. Die Studie stammt vom Dezember 2024; ob sich ein Crawler inzwischen anders verhält, zeigen Ihre eigenen Server-Logs.

[Eigene Daten: Abrufe der KI-Crawler auf unitedads.de vor und nach dem Relaunch, aus den Server-Logs, mit Zeitraum]

Google rendert JavaScript zeitversetzt in einer Warteschlange

Google versteht JavaScript inzwischen gut, mit Einschränkungen. Google verarbeitet JavaScript-Seiten in drei Schritten: Crawling, Rendering und Indexierung. Vor dem Rendering landet die Seite in einer Warteschlange; das kann laut Google einige Sekunden dauern, aber auch länger. Fehlerhafte Schnittstellenaufrufe, langsame Abhängigkeiten oder komplexe Logik im Browser führen dazu, dass Inhalte unvollständig erfasst werden.

Google selbst hält serverseitiges Rendering oder Pre-Rendering deshalb weiterhin für eine gute Idee, weil es die Seite für Nutzer und Crawler schneller macht und weil nicht alle Bots JavaScript ausführen können. Wer sich darauf verlässt, dass Google es schon schafft, optimiert für einen einzigen Empfänger.

In der KI-Suche entscheidet die Lesbarkeit, ob Sie als Quelle infrage kommen

Neu ist nicht das technische Problem, sondern die Art, wie Inhalte heute genutzt werden. KI-Systeme zitieren Websites direkt, übernehmen Textpassagen und bauen daraus Antworten. Es geht nicht mehr darum, ob eine Seite auf Platz drei oder fünf steht, sondern ob sie überhaupt als Quelle infrage kommt.

Kann eine KI Ihre Inhalte nicht lesen, tauchen Sie in ihren Antworten nicht auf. Für die Google-Suche selbst gilt laut Googles Leitfaden zur KI-Suche: Optimierung für AI Overviews und den KI-Modus ist weiterhin SEO, die Seite muss indexiert sein und mit Snippet erscheinen dürfen. Für ChatGPT, Claude und Perplexity kommt hinzu, dass deren Crawler nur das HTML vom Server sehen.

Sie erkennen das Problem im Quelltext Ihrer Seite

Ein einfacher Test reicht meist aus. Sehen Sie sich den HTML-Quelltext Ihrer Seite an oder rufen Sie sie mit deaktiviertem JavaScript auf. Finden Sie dort kaum echten Inhalt, ist das ein Warnsignal.

Besonders kritisch ist es, wenn Texte, Überschriften oder interne Links erst nachträglich per JavaScript eingefügt werden oder wenn Titel und Meta-Beschreibung dynamisch gesetzt sind. Für KI-Crawler ist all das unsichtbar.

Sichtbarkeit beginnt auf dem Server

Die Lösung liegt nicht darin, auf JavaScript zu verzichten, sondern es richtig einzusetzen. Entscheidend ist, dass der inhaltliche Kern einer Seite vom Server ausgeliefert wird: über serverseitiges Rendering, statische Generierung oder hybride Ansätze. Maschinen müssen den Inhalt direkt im HTML finden.

Interaktivität und komplexe Logik können weiter im Browser laufen. Sie dürfen aber nicht darüber entscheiden, ob ein Inhalt überhaupt existiert. Für Blogs, Wissensseiten und Unternehmensauftritte ist das keine Detailfrage der Technik, sondern eine Entscheidung über Ihre Sichtbarkeit.

Mit sieben Schritten machen wir Ihre Inhalte für KI-Crawler lesbar

Wer sicherstellen will, dass KI-Systeme die eigenen Inhalte erfassen, muss die Website aus Sicht einer Maschine betrachten, nicht aus Sicht des Browsers.

1. Prüfen, was wirklich im HTML ankommt

Bevor etwas umgebaut wird, braucht es Klarheit. Rufen Sie zentrale Seiten ohne JavaScript auf oder laden Sie sie per curl. Entscheidend ist nicht, was nach dem Rendern im Browser steht, sondern was der Server ausliefert. Fehlen dort Überschriften, Fließtext oder interne Links, ist das ein strukturelles Problem.

2. Kerninhalte serverseitig ausliefern

Alles, was für das Verständnis der Seite wichtig ist, gehört ins ausgelieferte HTML: Seitentitel, Hauptüberschriften, erklärender Text, Listen, Produktbeschreibungen. JavaScript darf diese Inhalte ergänzen, aber nicht erst erzeugen. Für Inhaltsseiten heißt das: serverseitiges Rendering oder statische Generierung.

3. Inhalt und Interaktivität trennen

Ein häufiger Fehler: Texte entstehen erst, wenn ein bestimmter Zustand gesetzt ist oder ein Schnittstellenaufruf erfolgreich war. Besser ist ein klares Prinzip, erst der Inhalt, dann die Logik. Filter, Tabs oder Sortierungen dürfen die Darstellung verändern, aber nicht den Informationsgehalt erzeugen.

4. Saubere, semantische HTML-Struktur verwenden

KI-Systeme sind auf Struktur angewiesen. Eine Seite aus verschachtelten <div>-Elementen ist schwerer zu deuten als eine mit klaren Überschriften, Absätzen und Listen. Dazu gehören eine eindeutige <h1>, logisch aufgebaute <h2>- und <h3>-Ebenen, echte <p>-Absätze und Links als <a href="...">.

5. Meta-Daten vom Server setzen

Title-Tags, Meta-Beschreibungen oder strukturierte Daten, die erst per JavaScript gesetzt werden, sehen viele KI-Crawler nicht. Wichtige Meta-Informationen gehören deshalb immer ins HTML vom Server. Fehlt dieser Zusammenhang, sinkt die Chance, als Quelle genutzt zu werden.

6. Zitierfähige Textpassagen schreiben

KI-Systeme arbeiten mit klaren Aussagen. Seiten, die nur aus Bedienelementen, Karten oder dynamischen Komponenten bestehen, liefern kaum verwertbaren Text. Hilfreich sind Absätze, die eine Frage direkt beantworten oder ein Konzept erklären. Genau diese Passagen werden in KI-Antworten zitiert oder umschrieben.

7. Die Seite aus Sicht einer KI testen

Der beste Test: Was bleibt übrig, wenn kein JavaScript ausgeführt wird? Ist der Zweck der Seite noch erkennbar, versteht ein Leser ohne Klick und ohne Interaktion, worum es geht? Lautet die Antwort Nein, ist das kein Sonderfall, sondern ein strukturelles Risiko. Prüfen Sie zusätzlich in Ihren Server-Logs, welche KI-Crawler Ihre Seiten abrufen.

Fazit: HTML ist wieder die wichtigste Schnittstelle

Früher lautete die zentrale Frage: Kann Google meine Seite indexieren? Heute kommt eine zweite hinzu: Kann eine KI meinen Inhalt ohne Browser verstehen? Wer das nicht klar bejahen kann, riskiert, in KI-Antworten zu fehlen, unabhängig davon, wie gut Produkt und Inhalte sind.

Moderne Frameworks bleiben dafür nutzbar, sie müssen nur bewusster eingesetzt werden. Wir haben diese Entscheidung für unsere eigene Website getroffen: Jede Seite liefert ihren vollständigen Inhalt als HTML aus, JavaScript kommt nur dort zum Einsatz, wo es eine Funktion braucht. Mehr dazu, wie KI-Systeme ihre Quellen auswählen, lesen Sie in unserem Beitrag zur Generative Engine Optimization.