Cornell-Tech-Studie zeigt, wie Deep Research durch manipulierte Webinhalte beeinflusst werden kann und warum KI-Antworten kritisch geprüft werden sollten.
Wenn KI-Sucher zu leichtgläubig werden: Wie KI-Agenten manipuliert werden
Bestimmt nutzt du sie auch schon: KI-Assistenten, die nicht nur eine kurze Antwort ausspucken, sondern selbstständig das Internet durchforsten. Tools wie OpenAIs Deep Research, Google Gemini Deep Research oder Open-Source-Systeme wie STORM nehmen dir stundenlange Recherchearbeit ab. Sie analysieren zahlreiche Webseiten, bewerten Quellen und erstellen strukturierte Berichte mit Quellenangaben. Das wirkt fast wie Magie.
Schon kurze manipulierte Kommentare auf Reddit oder in Wikis können KI-Rechercheagenten beeinflussen und die Ergebnisse von Deep Research verändern.
Doch genau hier verbirgt sich eine gravierende Sicherheitslücke. Eine aktuelle Studie von Forschern der Cornell Tech zeigt, dass bereits kleine Veränderungen auf öffentlich zugänglichen Webseiten ausreichen können, um die Ergebnisse solcher KI-Systeme zu beeinflussen. Die Forscher sprechen von einer neuen Form der Deep Research Manipulation, bei der Angreifer gezielt Inhalte im Web platzieren, die später von KI-Agenten übernommen werden.
Die Achillesferse der smarten Rechercheure
Das Problem liegt in der Arbeitsweise moderner Deep-Research-Agenten. Wenn du ein komplexes Thema recherchieren lässt, zerlegt die KI deine Anfrage in viele kleine Unterfragen und durchsucht das Internet nach passenden Informationen. Dabei zeigt sich ein klares Muster: Bei verwandten Themen greifen die Systeme immer wieder auf dieselben Webseiten zurück.
Die Studie belegt, dass bis zu 23 % aller genutzten Quellen von Plattformen stammen, auf denen Nutzer Inhalte selbst erstellen (User-Generated Content, kurz UGC). Bestimmte Diskussionsseiten und Community-Beiträge tauchen sogar bei fast jeder zweiten Suchanfrage zu einem Themenkomplex erneut auf.
Diese hohe Konzentration macht die Plattformen zu einem attraktiven Ziel für Angreifer. Die Forscher nennen diese Methode WARP (Web Agent Retrieval Poisoning). Das Tückische daran: Die Angreifer manipulieren nicht die KI selbst, sondern verändern gezielt Inhalte im Netz, die der KI-Agent später als vermeintlich vertrauenswürdige Quelle präsentiert bekommt.
Deep Research Manipulation: Ein kleiner Text mit großer Wirkung
Wie läuft eine solche Manipulation in der Praxis ab? Stell dir vor, jemand möchte ein erfundenes oder minderwertiges Produkt als besonders empfehlenswert darstellen. Der Angreifer sucht gezielt nach stark frequentierten Diskussionsseiten und ergänzt dort einen kurzen, manipulierten Text. Mithilfe spezieller Optimierungstechniken wird der Inhalt so formuliert, dass Sprachmodelle ihn als relevant und glaubwürdig einstufen.
Wenn du anschließend einen KI-Agenten mit der Recherche beauftragst, liest dieser die präparierten Inhalte und kann die Falschinformation in seinen Bericht übernehmen. Die Cornell-Studie zeigt, dass bereits ein manipulierter Text von nur 13 Wörtern ausreichen kann, um KI-Agenten in bis zu 51 % der Fälle zu beeinflussen. Selbst wenn der manipulierte Abschnitt weniger als vier Prozent des gesamten Inhalts ausmacht, bleibt die Erfolgsquote der Angreifer in vielen Fällen noch bei über 30 %.
Warum klassische Schutzmaßnahmen scheitern
Vielleicht denkst du jetzt, dass man problematische Webseiten einfach blockieren oder strengere Filter einsetzen müsste. Doch so einfach ist es nicht. Die Forscher testeten verschiedene Schutzmaßnahmen, darunter das pauschale Aussperren bestimmter Plattformen und nachgelagerte Inhaltsprüfungen.
Das Ergebnis fiel ernüchternd aus: Entweder blieben die Maßnahmen weitgehend wirkungslos, oder die Qualität der KI-Berichte verschlechterte sich deutlich. Werden zu viele nutzergenerierte Inhalte ausgeschlossen, verlieren die Systeme wichtige Informationen, aktuelle Trends, Erfahrungswerte und zahlreiche Nischendetails.
Fazit
Die Studie macht deutlich, dass moderne KI-Agenten für Deep Research erstaunlich anfällig für manipulierte Webinhalte sein können. Solange diese Systeme nicht lernen, die Glaubwürdigkeit einzelner Textabschnitte innerhalb einer Quelle besser zu bewerten, bleibt das Risiko einer Deep Research Manipulation hoch.
Für dich bedeutet das: Vertraue KI-generierten Berichten niemals blind – insbesondere bei Produktempfehlungen, Finanzthemen oder gesundheitlichen Fragestellungen. Nutze die angegebenen Quellen, prüfe die Originalseiten und hinterfrage die Ergebnisse kritisch. KI kann die Recherche erheblich beschleunigen, ersetzt aber noch nicht die eigene Bewertung der Informationen.