Erfüllen Modelle wie ChatGPT oder Bard das europäische KI-Gesetz?

Mit der Verabschiedung des AI Act beginnt nun ein anspruchsvoller Zeitplan für sein Inkrafttreten. Zunächst muss die Verordnung noch vom Rat der Europäischen Union und dem Europäischen Parlament ratifiziert werden, was voraussichtlich erst nach dem ersten Quartal 2024 geschehen wird. Von da an gibt es zwei Geschwindigkeiten: Die Verbote für inakzeptable Fälle treten in sechs Monaten in Kraft; der Rest des Gesetzes innerhalb von zwei Jahren.

Diese Zeit ist Gold wert für alle Anbieter und Unternehmen, die Tools und Lösungen für künstliche Intelligenz entwickeln. Denn bis heute erfüllen die meisten großen KI-Modelle, die wir alle kennen, nicht die Anforderungen des letzten bekannten Gesetzentwurfs.

Forscher des Center for Research on Foundation Models der Stanford University haben in einer Analyse, die vor einigen Monaten durchgeführt und der Initiatorin des AI Act, Staatssekretärin Carme Artigas, vorgelegt wurde, die zehn führenden Foundation-Modelle – wie ChatGPT, Llama, Bard usw. – bewertet, um festzustellen, ob sie den Vorgaben entsprechen, die die europäischen Regulierungsbehörden in das Ökosystem einführen werden. Die Antwort war ein deutliches Nein.

Diese Anbieter geben selten ausreichende Informationen über die Herkunft ihrer Daten, die Berechnung und Implementierung ihrer Modelle sowie die Schlüsselmerkmale der Modelle selbst preis. Insbesondere erfüllen sie nicht die Anforderungen, die Nutzung von urheberrechtlich geschützten Daten in der Ausbildung, die verwendete Hardware und die während dieser Ausbildung erzeugten Emissionen zu beschreiben. Auch bei der Bewertung und Prüfung der Modelle entsprechen sie nicht den Anforderungen.

Die Forscher haben das Verhalten von OpenAIs GPT-4, Cohere, Stable, Claude 1, PaLM 2 (genutzt von Google Bard), BLOOM, Facebooks Llama, Jurassic-2, Luminous und GPT-NeoX verglichen. Von allen erreicht nur BLOOM (betrieben von Hugging Face) 75% der Anforderungen, die das europäische KI-Gesetz auferlegen wird. GPT-NeoX ist der zweite, ebenfalls relativ unbekannte Wettbewerber, der eine knapp bestandene Note erreicht, obwohl er bereits auf 60% der Erfüllung herabgesunken ist.

Was ist mit den berühmtesten Modellen? GPT-4, der Motor hinter dem beliebten ChatGPT, erhält eine knapp bestandene Note, da es nur 52% der Bedenken abdeckt, die von den europäischen Regulierungsbehörden geäußert wurden. PaLM 2 von Google Bard ist etwas besser, deckt aber auch nur knapp 56% aller Anforderungen Brüssels ab.

Von da an geht es zu den Durchfallern: Keines der zehn analysierten Modelle deckt auch nur die Hälfte der EU-Forderungen in dieser Angelegenheit ab. Zum Beispiel erreicht Llama, das generative KI-Modell von Meta (ehemals Facebook), nur 44% der Erfüllung, so die Stanford-Experten. Sogar Claude 1, das Modell, das von Anthropic genau als Reaktion auf ein erhöhtes Bewusstsein und Verantwortung im Umgang mit KI entwickelt wurde, fällt dramatisch durch, indem es nur 15% der Anforderungen des neuen Standards erfüllt.

“Unsere Ergebnisse zeigen eine bemerkenswerte Bandbreite in der Einhaltung durch die Modellanbieter: Einige Anbieter erreichen weniger als 25% (AI21 Labs, Aleph Alpha, Anthropic) und nur ein Anbieter erreicht mindestens 75% (Hugging Face/BigScience) derzeit. Selbst für die Anbieter mit den höchsten Punktzahlen gibt es noch erheblichen Spielraum für Verbesserungen. Dies bestätigt, dass das Gesetz eine signifikante Veränderung im Ökosystem bewirken wird, indem es erhebliche Fortschritte in Richtung größerer Transparenz und Verantwortung erzielt”, schließen die Forscher von Stanford.

Erfüllen Modelle wie ChatGPT oder Bard das europäische KI-Gesetz

Offene ‘vs’ geschlossene Modelle

Die Stanford-Experten haben auch eine klare Dichotomie in der Erfüllung der EU-Anforderungen beobachtet, abhängig von der Veröffentlichungsstrategie. Obwohl diese Strategien nicht binär sind und auf einem Spektrum existieren, betrachten sie aus Gründen der Einfachheit offene Modelle (z. B. GPT-NeoX von EleutherAI, BLOOM von Hugging Face/BigScience, LLaMA von Meta) im Vergleich zu eingeschränkten/geschlossenen Produkten (wie PaLM 2 von Google, GPT-4 von OpenAI, Claude von Anthropic).

Und ihr Fazit ist klar: Offene Vorschläge erreichen in der Regel hohe Punktzahlen bei den Anforderungen zur Offenlegung von Ressourcen (sowohl bezüglich der Datenherkunft als auch der Berechnung), wobei EleutherAI in diesen Kategorien nahezu perfekte Punktzahlen erhält. Solche offenen Veröffentlichungen stellen jedoch Herausforderungen bei der Überwachung oder Kontrolle ihrer Implementierung dar, während eingeschränktere/geschlossene Veröffentlichungen zu besseren Punktzahlen bei implementierungsbezogenen Anforderungen führen. Beispielsweise erhält PaLM 2 von Google 11/12/2023 bei der Implementierung.

Bewerte Diese Seite

No Responses

Leave a Reply

Your email address will not be published. Required fields are marked *

BLOG

Prompt-Techniken Wie man das Beste aus künstlicher Intelligenz herausholt

Prompt-Techniken: Wie man das Beste aus künstlicher Intelligenz herausholt

Generative Künstliche Intelligenz, wie ChatGPT, Gemini, DALL-E, Midjourney oder Stable Diffusion, sind fortschrittliche Technologien, die in der Lage sind, Texte, Dokumente, Mindmaps, Tabellen, Kalkulationstabellen, Präsentationen, Bilder oder Videos zu erstellen. Sie benötigen jedoch präzise Anleitungen, klare, direkte Vorgaben und ausreichende Informationen, um das bestmögliche Ergebnis zu erzielen. Diese Anweisungen oder Leitfäden werden als Prompts bezeichnet, […]

Krankenschwestern in den USA protestieren gegen den Einsatz von KI in Krankenhäusern

Krankenschwestern in den USA protestieren gegen den Einsatz von KI in Krankenhäusern

Die Gewerkschaft “National Nurses United” erklärt in einer Mitteilung, dass künstliche Intelligenz (KI) keine “Lebens- oder Todesentscheidungen” ohne menschliche Bewertung und kritisches Denken treffen kann. Künstliche Intelligenz hat seit der Einführung von ChatGPT Ende 2022 unser Leben verändert, und seitdem haben die KI-Modelle verschiedener Technologieunternehmen – wie OpenAI, Meta, Microsoft, Google oder Apple – ihre […]

Funcas befürchtet dass ChatGPT Kundendaten der Banken stehlen könnte

Funcas befürchtet dass ChatGPT Kundendaten der Banken stehlen könnte

Die Stiftung der Sparkassen (Funcas) hat die Banken vor dem Einsatz von generativer Künstlicher Intelligenz (GenAI) wie ChatGPT gewarnt, wegen der Gefahr, die diese beim Schutz vertraulicher Kundendaten darstellen könnte. Insbesondere empfiehlt die Organisation dem Finanzsektor, eigene Programme mit dieser Technologie zu entwickeln, um Lecks zu verhindern und die Vertraulichkeit sicherer zu bewahren. Laut Funcas […]

Empfiehlt den Einsatz von ChatGPT in Tausenden wissenschaftlichen Studien

Empfiehlt den Einsatz von ChatGPT in Tausenden wissenschaftlichen Studien

Der Bibliothekar Andrew Gray machte eine “sehr überraschende” Entdeckung. Er analysierte fünf Millionen wissenschaftliche Studien, die im letzten Jahr veröffentlicht wurden, und stellte einen plötzlichen Anstieg in der Verwendung bestimmter Wörter fest, wie “meticulously” (um 137% mehr), “intricate” (117%), “commendable” (83%) und “meticulous” (59%), in ihren englischen Versionen. Gray, vom University College London, sieht nur […]

Googles KI holt gegenüber ChatGPT auf Gemini Pro 1.5 steigt auf ein neues Niveau

Googles KI holt gegenüber ChatGPT auf: Gemini Pro 1.5 steigt auf ein neues Niveau

Google kann auf seinem Weg, den Thron der künstlichen Intelligenz zurückzugewinnen, nicht aufgehalten werden, denn sein Prestige steht dabei auf dem Spiel. Obwohl wir die riesige Menge an Überraschungen, die uns beim nächsten Google I/O erwarten, noch nicht kennen, hat das Unternehmen bereits einen großen Teil seiner aktuellen Modelle weiterentwickelt. Es plant sogar, Gmail durch […]

Skoda beginnt mit der Herstellung des überarbeiteten Octavia mit integrierter ChatGPT

Skoda beginnt mit der Herstellung des überarbeiteten Octavia mit integrierter ChatGPT

Skoda hat die Serienproduktion des überarbeiteten Octavia in seinem Hauptwerk in Mladá Boleslav gestartet. Die aktualisierte vierte Generation des Bestsellers der Marke bietet einen neu gestalteten Skoda-Kühlergrill, neue Matrix-LED-Scheinwerfer der zweiten Generation und die Integration von ChatGPT in die Sprachassistenten des Fahrzeugs, unter anderem Verbesserungen. Mit der Verlagerung der Octavia-Produktion Ende dieses Jahres nach Kvasiny […]