Hallucinator: Wissenschaftliche Quellenangaben auf Plausibilität prüfen
Das Open-Source-Werkzeug Hallucinator überprüft Literaturangaben in wissenschaftlichen Arbeiten und identifiziert Quellenangaben, die möglicherweise fehlerhaft oder erfunden sind. Es kann damit bei der Überprüfung von Literaturverzeichnissen unterstützen.
Das Open-Source-Werkzeug liest Literaturangaben aus PDF-Dokumenten aus und gleicht sie mit wissenschaftlichen Literaturdatenbanken wie CrossRef, arXiv und OpenAlex ab. Ist eine Referenz in keiner bibliographischen Datenbank auffindbar, kann dies ein Hinweis auf einen unsachgemäßen Einsatz von generativer KI bei der Erstellung der Arbeit darstellen. Bitte beachten Sie, dass eine Nichtauffindbarkeit auch andere Gründe haben kann (s.u.), somit müssen nicht aufgefundene Quellen immer einer zusätzlichen Einzelprüfung unterzogen werden.
Wie funktioniert das Werkzeug?
Der Hallucinator extrahiert die Literaturangaben aus einem PDF-Dokument und prüft, ob sich die angegebenen Publikationen in den angebundenen Datenbanken finden lassen. Dabei berücksichtigt er unter anderem Titel und Autor. Werden Quellen nicht gefunden oder stimmen die Autor:innen nicht überein, markiert das Werkzeug die betreffenden Referenzen zur weiteren Prüfung.
Das kann beispielsweise hilfreich sein, wenn Lehrende Literaturverzeichnisse in wissenschaftlichen Arbeiten überprüfen oder auffällige Quellenangaben gezielt nachvollziehen möchten. Statt jede Referenz von Beginn an einzeln zu recherchieren, erhalten sie eine Übersicht über die Angaben, bei denen sich eine genauere Prüfung lohnen könnte.
Die Ergebnisse müssen jedoch im Kontext betrachtet werden: Eine nicht gefundene Referenz ist nicht automatisch erfunden. Nicht alle wissenschaftlichen Veröffentlichungen sind in den durchsuchten Datenbanken erfasst. Das betrifft beispielsweise bestimmte Bücher, technische Berichte, sehr neue Publikationen oder Veröffentlichungen in weniger verbreiteten Publikationsformaten. Auch fehlerhaft ausgelesene Angaben oder abweichende Metadaten können dazu führen, dass eine Quelle nicht korrekt zugeordnet wird. Markierte Referenzen sollten deshalb manuell überprüft werden, etwa über die Website des Verlags, die Seite der Autor:innen oder weitere wissenschaftliche Suchdienste. Umgekehrt bedeutet eine erfolgreich bestätigte Quelle nicht, dass der gesamte Text frei von Fehlern ist.
Wichtig: Der Hallucinator ist kein KI-Detektor. Er untersucht weder den Schreibstil noch andere Merkmale, anhand derer sich die Entstehung eines Textes einschätzen ließe. Auch wenn alle Quellen korrekt sind, kann ein Text mit einem Sprachmodell erstellt worden sein. Umgekehrt beweist eine erfundene Referenz nicht automatisch, dass generative KI verwendet wurde.
Einsatz und technische Voraussetzungen
Der Hallucinator ist als Open-Source-Software verfügbar und kann lokal betrieben werden. Die Software kann über GitHub heruntergeladen werden. Die erstmalige Einrichtung dauert ca. zwei Stunden. Dazu gehören die Installation der Software und die Anbindung der benötigten Literaturdatenbanken.
Für die Anbindung der Literaturdatenbanken gibt es verschiedene Möglichkeiten: Sie können über Online-Schnittstellen eingebunden oder als lokale Datenbankkopien bereitgestellt werden. Letztere müssen regelmäßig – etwa einmal im Monat – aktualisiert werden und benötigen zusätzlichen Speicherplatz. Bei einer Anbindung über Schnittstellen können API-Schlüssel erforderlich sein, für die zunächst Konten bei den jeweiligen Datenbankanbietern eingerichtet werden müssen.
Ausführliche Informationen zum Funktionsumfang, Arbeitsweise und Vorgehen bei der Installation finden Sie auf GitHub.