Wir haben einen neuen Chatbot im Büro. Es ist Meta.ai, der Assistent, den das Unternehmen von Mark Zuckerberg im September 2023 eingeführt hat und der jetzt aus zwei Gründen immer beliebter wird.
Erstens, weil er auf dem neuen grundlegenden Modell, Llama 3, basiert. Zweitens, weil wir ihn im Web nutzen können: Wir sind nicht mehr auf seine Integration in Apps wie WhatsApp, Instagram, Facebook oder Messenger angewiesen.
Genau das haben wir bei Xataka gemacht, und nach den ersten Stunden der Nutzung haben wir bereits einige Eindrücke darüber, was er leisten kann. Die Überraschung ist nicht, dass er sich gut verhält – was er tut – sondern dass sein wahres Potenzial nicht gerade im Web liegt: Das ist nur das “Zuckerl” von Meta, um mit seinen Konkurrenten auf deren Spielfeld konkurrieren zu können. Sein Vorteil liegt woanders.
Wie man den Meta.ai Chatbot testet
Theoretisch kann Meta.ai nur genutzt werden, wenn wir uns in den Vereinigten Staaten oder einem der 13 zusätzlichen Länder befinden, die in den anfänglichen Start einbezogen wurden, nämlich: Australien, Kanada, Ghana, Jamaika, Malawi, Neuseeland, Nigeria, Pakistan, Singapur, Südafrika, Uganda, Sambia und Simbabwe.
Außerdem kann der Chatbot nur auf Englisch genutzt werden. Meta gibt an, dass er bald in weiteren Sprachen und Regionen verfügbar sein wird, aber momentan sind dies die geografischen und sprachlichen Einschränkungen, die der Dienst auferlegt.
Die geografische Beschränkung kann leicht mit einem VPN überwunden werden. Dies ist eine Methode, die uns bereits in der Vergangenheit ermöglicht hat, Chatbots zu testen, die ebenfalls zunächst in Ländern wie den USA eingeführt wurden, und das trifft auch diesmal zu: Durch die Verbindung mit einem VPN und die Auswahl eines Knotenpunkts in einem der verfügbaren Länder ist das erledigt.
Wir haben eine Verbindung genutzt, die vorgab, wir seien in Atlanta, woraufhin eine Startseite erschien, die uns ermutigte, einige der Nutzungsmöglichkeiten des Chatbots auszuprobieren und uns auch dazu aufforderte, der KI von Meta alles zu fragen.
Ein kaum von seinen Rivalen zu unterscheidender Chatbot
In einer linken Seitenleiste haben wir einen Verlauf der Gespräche und vor allem eine Option, sich bei Facebook anzumelden, was unerlässlich ist, um auf eine der interessanten Optionen dieser Plattform zugreifen zu können: das Erzeugen von Bildern durch KI.
Zunächst konzentrierten wir uns darauf, einige Fragen zu stellen, um seine Antworten zu bewerten. Nachdem festgestellt wurde, dass Meta.ai kein Spanisch spricht — der Chatbot entschuldigte sich und versicherte, dass er in Zukunft diese Unterstützung bieten würde — fragten wir allerlei Dinge.
Wir begannen mit etwas Aktuellem aus dem Sport, um zu sehen, wie aktuell der Chatbot war. Er antwortete korrekt, als wir ihn nach den nächsten Champions-League-Spielen fragten, während er bei der Frage, wer der Favorit auf den Gewinn sei, Antworten basierend auf einer Wettseite gab, eine zwar merkwürdige, aber durchaus vernünftige Entscheidung.
Wir wollten auch wissen, ob er irgendwelche Informationen über Xataka hatte. Wieder antwortete er schnell und präzise. Die Beschreibung war genau und er fügte sogar ein Detail hinzu, das andere Chatbots in der Vergangenheit falsch hatten, das Gründungsjahr, 2004.
Um weitere informative – und wiederum sportliche – Fragen hinzuzufügen, baten wir Meta.ai, etwas zu tun, was wir bereits bei anderen Chatbots, die wir in der Vergangenheit bewertet hatten, gefragt hatten: eine Tabelle mit den Ländern zu erstellen, die die meisten Meisterschaften und zweiten Plätze bei den Fußballweltmeisterschaften erreicht hatten.
Hier machte der Assistent von Meta etwas Großartiges, was wir ihm nicht einmal gebeten hatten: er fügte die Jahre hinzu, in denen diese Länder die Meisterschaften gewonnen hatten. Er fügte keine weitere Spalte mit den Jahren der Vizemeisterschaften hinzu, und als wir ihn darum baten, erstellte er sie zunächst getrennt von der ersten.
Jedoch, nachdem wir ihn gebeten hatten, sie zusammenzuführen, führte er diese Fusion durch, um eine fast perfekte Tabelle zu erstellen: Es gab fehlerhafte Daten, wie das Vizemeisterschaftsjahr von Frankreich 1986, das nicht in diesem Jahr, sondern 2006 stattfand. Dann erreichte es diesen Erfolg erneut bei der letzten Weltmeisterschaft in Katar im Jahr 2022, aber dieses Datum gab er korrekt an.
Wir wollten auch, dass Meta.ai einige kleine mathematische Probleme löst. Beim ersten Versuch scheiterte er: Wir fragten folgendes (übersetzt ins Englische): “Die Summe der Alter von drei Erwachsenen beträgt 60 Jahre. Der Älteste von ihnen ist 6 Jahre älter als der Jüngste. Wie alt ist jeder von ihnen? Nehmen wir an, ein Erwachsener ist mindestens 18 Jahre alt”. Er antwortete 18,24,24, was nicht korrekt war.
Sowohl ChatGPT als auch Claude 3 (in ihren kostenlosen Versionen im Web) antworteten korrekt auf das Problem. Die Lösung ist 18,18,24, und nachdem wir Meta.ai darauf hingewiesen hatten, dass er einen Fehler gemacht hatte, versuchte er es erneut, aber er irrte sich wieder und sagte, die Lösung sei 12,30,18. Nachdem wir seinen Fehler erneut angezeigt hatten, bat er um die Lösung, um zu verstehen, was er falsch machte. Ein interessantes Detail, das erneut zeigt, dass diese Chatbots richtig (oder falsch) liegen können, aber ohne zu wissen, wie sie das tun.
No Responses