KI: Nicht ohne
Eigenschaften

Doch wie genau lassen sich solche Merkmale messen, wenn es sich um ein Modell statt um eine Person handelt? Und welche Merkmale haben die Modelle überhaupt? Antworten auf diese Fragen wurden bisher meist eher nur anekdotisch oder mit simplen, ad hoc generierten Testszenarios gesucht. Die Bemühungen, latente Eigenschaften von Sprachmodellen wie beispielsweise deren Werteorientierung oder Überzeugungen zu Geschlechterkonzeptionen aufzudecken, können jedoch sehr fruchtbar mit den langjährig erprobten und robust validierten Methoden aus (menschlicher) Psychometrie erweitert und damit verbessert werden. Dabei geht es nicht darum, die Modelle zu vermenschlichen. Vielmehr eröffnen die Ergebnisse solcher Tests eine Reihe an interessanten und neuartigen Anwendungsfeldern an der Schnittstelle von Informatik und Sozialwissenschaften. So lassen sich durch sie beispielsweise synthetische Daten von Werteorientierungen zu Wahlverhalten ableiten oder simulierte Experimente mit bestimmten Persönlichkeitstypen durchführen.

Wer die psychometrischen Merkmale eines Menschen erfassen möchte, nimmt einen der in der Psychologie etablierten Testbögen zur Hand, etwa den sogenannten Big Five ­Inventory (kurz BFI, siehe Infokasten), der die fünf großen Faktoren Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizismus quantifiziert. Den veröffentlichten Spezifikationen des Fragebogens ganz genau folgend, ist es uns gelungen, in unseren Demonstrationen einer Reihe von Sprachmodellen Antworten auf Items zu entlocken.

Dazu haben wir den Sprachmodellen jedes der Items gemeinsam mit den Antwortmöglichkeiten als Input vorgelegt. Der Modelloutput, eine Wahrscheinlichkeitsverteilung über alle Antworten für jedes der Items, ließ uns die wahrscheinlichste Antwort für jedes Item festhalten. Die so ausgewählten Antworten konnten wir im nächsten Schritt unter Anwendung der Bewertungsregeln des Fragebogens zu Skalenwerten aggregieren. Damit erhielten wir die Werte des jeweiligen Modells für jede bestimmte Eigenschaft – und konnten so zum Beispiel feststellen, dass gewisse Modelle eine höhere Offenheit für Erfahrungen aufweisen, also als erfinderisch und neugierig beschrieben werden können.

Technisch gesehen greifen wir für unsere Demonstrationen auf Modelle für „zero-shot classification“ zurück, die auf logisch-semantischen Zusammenhängen ­trainiert wurden. Das Verfahren kann aber auch abge­ändert werden, um etwa Modelle aus der viel diskutierten GPT-Modellreihe zu testen, die beliebigen Text generieren können. In unserer veröffentlichten Studie beschreiben wir diese Verfahren im Detail und stellen auch Code zur Verfügung, der erlaubt, alle unsere Analysen zu replizieren und für andere Anwendungen zu adaptieren.

Was aber bringt es uns, diese Merkmale zu erfassen? Wir sehen hier einen Unterschied zu Zugängen, die die Leistung von Modellen in Bezug auf deren Vorhersagekraft beurteilen, beispielsweise bei der Klassifizierung unterschiedlicher Textsorten wie der Analyse der Stimmung in Texten, die eine bestimmte (demografische) Gruppe produziert hat, oder bei der Beantwortung von Wissensfragen. Wir wollen darüber hinausgehend auch andere, weitergehende Eigenschaften von Modellen charakterisieren, die tiefe Einblicke bieten. Das ist in etwa vergleichbar mit der Unterscheidung zwischen menschlichen Fähigkeiten und Charaktereigenschaften. Im Gegensatz zu Benchmark-Tests, bei denen die Leistung eines Modells gemessen wird, gibt es beim Ausfüllen solcher Fragebögen durch Modelle keine Grundwahrheiten – also keine richtigen oder falschen Antworten, die ein Modell anzeigen sollte.

Stattdessen bieten sich aber ganz andere Möglichkeiten: Erstens können wir die Antworten jedes Modells auf den Fragebogen und die daraus resultierenden Werte für Merkmale wie Verträglichkeit oder Offenheit mit der Verteilung der Werte aus psychometrischen Bewertungen in menschlichen Stichproben vergleichen, die dieselben Tests verwenden. Dies ermöglicht relative Vergleiche von Modellwerten mit menschlichen Durchschnittswerten oder typischen Profilen. So kann ein Modell beispielsweise als relativ hoch in „Verträglichkeit“ charakterisiert werden, wenn es in dieser Eigenschaft im Vergleich zu typischen menschlichen Populationen hohe Werte erzielt.

Zweitens ermöglichen uns die Inventare unabhängig von den absoluten Werten, verschiedene große Sprachmodelle miteinander zu vergleichen. So kann sich beispielsweise herausstellen, dass ein Modell bei der Gewissenhaftigkeit deutlich schlechter abschneidet als ein anderes. In Zukunft könnten wir auch Referenzpopulationen erstellen, die ausschließlich aus verschiedenen Modellen bestehen, und so im Laufe der Zeit eine „Population of Large Language Models“ aufbauen, die eine bestimmte Verteilung von Merkmalen (gemäß hoch standardisierten psychometrischen Inventaren) aufweist, mit denen zukünftige Modelle verglichen werden können.