KI-generierte Papstpredigten überfluten Youtube und Tiktok

Eine AFP-Recherche hat dutzende Youtube- und Tiktok-Seiten ausfindig gemacht, die seit dem Amtsantritt des Papstes im Mai 2025 künstlich erzeugte Botschaften mit seiner Stimme oder anderweitig mit ihm in Verbindung stehend, veröffentlichen (hier archiviert).

Hunderte gefälschte Predigten und Reden, sowohl auf Englisch als auch auf Spanisch, zeigen, wie leicht es ist, dass mit künstlicher Intelligenz erstellte Täuschungen unentdeckt bleiben und Zuschauerinnen und Zuschauer täuschen.

"Natürlich besteht Interesse daran, was der neue Papst zu sagen hat, und die Menschen kennen seinen Standpunkt und seine Haltungen noch nicht", sagte Oren Etzioni, emeritierter Professor an der University of Washington und Gründer von TrueMedia.org, einer gemeinnützigen Organisation, die sich der Aufdeckung von Deepfakes widmet (hier und hier archiviert). "Die perfekte Grundlage, um mit KI-generierten Falschinformationen Unruhe zu stiften."

Nachdem AFP 26 Kanäle an Youtube gemeldet hatte, die überwiegend KI-generierte Inhalte über den Papst veröffentlichten, sperrte die Plattform 16 davon wegen Verstoßes gegen ihre Richtlinien gegen Spam, irreführende Praktiken und Betrug und einen weiteren wegen Verstoßes gegen die Nutzungsbedingungen von Youtube (hier und hier archiviert). "Wir haben mehrere Kanäle gesperrt, die uns von AFP wegen Verstoßes gegen unsere Spam-Richtlinien und Nutzungsbedingungen gemeldet wurden", sagte Sprecher Jack Malon. Das Unternehmen sperrte außerdem sechs weitere Seiten aus seinem Partnerprogramm, mit dem Content-Erstellerinnen und -Ersteller ihre Inhalte kommerziell verwerten können (hier archiviert).

Tiktok entfernte ebenfalls elf Konten, auf die AFP aufmerksam gemacht hatte – mit insgesamt über 1,3 Millionen Followerinnen und Followern – und verwies dabei auf die Richtlinien der Plattform gegen Identitätsbetrug, schädliche Falschinformationen und irreführende KI-generierte Inhalte zu Personen des öffentlichen Lebens (hier, hier und hier archiviert).

 "Chaotische Nutzung"

Unter Titeln wie "Die Vision von Papst Leo XIV" wurde der Papst auf Youtube und Tiktok gezeigt, wie er angeblich unzählige Warnungen und Lehren verkündete, über die er tatsächlich nie gesprochen hatte. Hinweise auf die Verwendung von KI waren jedoch oft schwer zu finden – und manchmal gar nicht (hier archiviert). 

Image

Youtube Screenshot: 28. Mai 2025

Auf Youtube ist eine Kennzeichnung für Inhalte, die jemandem etwas in den Mund legen, das sie oder er gar nicht gesagt hat, als "veränderte oder synthetische Inhalte" erforderlich. Doch solche Hinweise erscheinen nur unten in der aufklappbaren Beschreibung eines Videos.

Ein Sprecher von Youtube sagte, dass das Unternehmen inzwischen bei einigen Videos auf den von AFP gemeldeten Kanälen deutlicher sichtbare Kennzeichnungen angebracht hat, wenn diese nicht gegen die Richtlinien der Plattform verstoßen hatten.

Image

Youtube-Screenshot: 6. Juni 2025. In rot markiert sind die Untertitel, die später hinzugefügt wurden und auf synthetische Inhalte hindeuten

Auch Tiktok verlangt von Content-Erstellerinnen und -Erstellern, Beiträge mit realistisch wirkenden KI-generierten Inhalten zu kennzeichnen. Mehrere Videos über den Papst blieben jedoch unmarkiert (hier archiviert). Ein Sprecher von Tiktok erklärte, dass das Unternehmen proaktiv Inhalte entferne, die gegen die Richtlinien verstoßen, und verifizierte Abzeichen verwende, um authentische Konten zu kennzeichnen.

Brian Patrick Green, Direktor für Technologieethik an der Santa Clara University, sagte, die Schwierigkeiten bei der Moderation seien eine Folge der rasanten Entwicklungen in der KI, die "chaotische Nutzungen der Technologie" inspirierten (hier archiviert).

Viele Clips auf den von AFP identifizierten Youtube-Kanälen sammelten zehntausende Aufrufe, bevor sie deaktiviert wurden (hier archiviert).

Auf Tiktok erzielte ein spanischsprachiges Video 9,6 Millionen Aufrufe. In diesem wurde behauptet, der Papst predige über den Wert von Frauen, die ihre Partner unterstützen. Ein weiteres Video, das zwar auf die Verwendung von KI hinwies, aber dennoch Nutzerinnen und Nutzer täuschte, wurde rund 32,9 Millionen Mal angesehen.

Kein Video auf der offiziellen Instagram-Seite des Papstes hat mehr als sechs Millionen Aufrufe.

Fachleute warnen, dass selbst scheinbar harmlose Fälschungen problematisch sein können, insbesondere wenn sie genutzt werden, um Engagement für Konten zu generieren, die später die Daten ihrer Zielgruppen verkaufen oder gezielt Desinformation verbreiten könnten.

Die KI-generierten Predigten "untergraben nicht nur die moralische Autorität des Papstes" und "machen alles, was er tatsächlich sagt, weniger glaubwürdig", sagte Green, sondern könnten auch dazu genutzt werden, "Vertrauen in einen Kanal aufzubauen, bevor der Papst etwas Skandalöses oder politisch Motiviertes sagen soll".

Der Papst selbst hat ebenfalls vor den Risiken der KI gewarnt, während Vatican News ein Deepfake kritisierte,  das den Papst angeblich lobend über den burkinischen Anführer Ibrahim Traore sprechen ließ, der 2022 durch einen Putsch an die Macht gelangte (hier archiviert).

AFP widerlegte zudem Clips, die den Papst, der sowohl die amerikanische als auch die peruanische Staatsbürgerschaft besitzt, zeigen sollen, wie er US-Vizepräsident JD Vance und Perus Präsidentin Dina Boluarte kritisierte.

"Es gibt eine echte Krise", sagte Green. "Wir müssen einen Weg finden, um zu erkennen, ob Dinge echt oder gefälscht sind."