Alpaca und die Chancen für KI?
Ist KI-Technologie endlich für alle verfügbar? 🤖
Künstliche Intelligenz (KI) und deren Pseudointelligenz haben in den letzten Jahren grosse Fortschritte gemacht. Microsoft hat ihre Produkte bereits mit KI-Technologie ausgestattet.
Doch die spannende Neuigkeit kommt von Stanford: 🦙 Alpaca
Das ist ein KI-Modell, das eine KI trainiert und dabei nur einen Laptop statt eines Servers benötigt. Diese Demokratisierung der KI-Technologie hat das Potenzial, Innovationen zu fördern und vielen Menschen zugänglich zu machen.
Es ist vollbracht: die Technologie hinter chatGPT ist bereits bei den Microsoft Produkten die auf #Azure basieren integriert und damit auch in Microsoft Office und dasselbe in grün für Google Produkte.
Aber das ist nicht die wirklich wichtige Neuigkeit. Viel wichtiger ist die News rund um 🦙 Alpaca von Stanford. Warum? Weil hier KI eine andere KI trainiert aber auf dem Platz eines Laptops anstelle eines Servers und damit wird KI demokratisiert.
Pseudointelligenz und KI
Der Reihe nach: Wir alle haben unterdessen verstanden: Künstliche Intelligenz (KI) bezieht sich auf die Fähigkeit von Maschinen, menschenähnliche Intelligenz zu simulieren, indem sie Daten analysieren, Muster erkennen und Entscheidungen treffen können. Man spricht hier auch von Pseudointelligenz. Dies bezieht sich auf Systeme, die so programmiert sind, dass sie intelligent erscheinen, aber in Wirklichkeit keine tatsächliche Intelligenz besitzen.
wenn jemand heute noch sagt “chatGPT ist so doof, da nutze ich lieber Google” bestätigt nur den Fakt, dass Pseudointelligenz keine Einbahnstrasse ist.
Der Zusammenhang zwischen KI und Pseudointelligenz besteht darin, dass Pseudointelligenz oft als Vorstufe zur Entwicklung von KI-Systemen betrachtet wird. Pseudointelligenz kann als eine Art “Training” für KI-Systeme dienen, indem sie den Entwicklern hilft, die Fähigkeiten und Grenzen von Maschinen zu verstehen und zu verbessern. Die Systeme “tun” also nur so, indem sie menschenähnliches Verhalten simmulieren. Zum Beispiel mit einem NLP Modell (Natural Language Processing).
Und lange wollten Unternehmen wie openAi vermeiden, dass KI-generierte Inhalte in Trainingsmaterialien von neuen KI-Modellen einfliesst.
Aber genau das ist nun passiert. Bei Stanford.
Die Effektivität von KI-Modellen wie GPT-3.5 (text-da Vinci-003), ChatGPT und Bing Chat, die Anweisungen befolgen, hat zugenommen und wird von vielen Menschen täglich genutzt, auch bei der Arbeit. Trotz ihrer Beliebtheit haben diese Modelle jedoch Schwächen, wie das Aufrechterhalten schädlicher gesellschaftlicher Stereotypen und toxischer Sprache durch irreführende Ergebnisse.
Das Entwickeln eines leistungsstarken Modells zur Befolgung von Anweisungen mit begrenztem Budget ist schwierig, da es ein vortrainiertes Sprachmodell und qualitativ hochwertige Daten benötigt. Da es keine öffentliche Alternative zu Closed-Source-Modellen wie OpenAIs text-DaVinci-003 gibt, wird die Forschung in diesem Bereich eingeschränkt.
Und nun hat das Stanford Institute for Human-Centered Artificial Intelligence (HAI) kürzlich Alpaca veröffentlicht, ein Modell, das auf der Meta AI LLaMA 7B basiert. (Ja META, aka FACEBOOK).
Die Forscher verwendeten OpenAIs text-da-Vinci-003, um mit bloss 52'000 Anweisungsdemonstrationen im Stil der Selbstinstruktion für das Training von Alpaca zu erstellen. JA, KI trainiert also KI. Ein altes Modell trainiert ein neues Modell. Alpaca zeigt damit ähnliche Verhaltensweisen wie text-DaVinci-003, ist aber kompakter und kostengünstiger in der Herstellung, denn mit nur 52'000 Instruktionen ist es ein Fliegengewicht.
Das Forschungsteam entwickelte Anweisungsbeispiele, indem es den Selbstinstruktionsansatz erweiterte. Sie begannen mit einem Starterset aus 175 von Menschen erstellten Anweisungen und generierten mit text-DaVinci-003 weitere Anweisungen. Durch Vereinfachung des Erstellungsprozesses konnten sie die Kosten erheblich senken — auf weniger als 500 Dollar.
Alpaca und Lama bedeutet das nun für KI?
Es bedeutet also, dass jede Person die einen Laptop und eine starke Grafikkarte besitzt, sein eigenes KI Modell auf sich selbst trainineren und erstellen kann und damit wird KI eigentlich demokratisiert. Und ja, es es zwar Pseudointelligenz, also macht nur Menschen nach, aber man stelle sich vor, wie plötzlich Firmen und vor allem Startups aber auch Mini Entrepreneurs aus Entwicklungsländern in allen Bereichen, Gesundheit, Logistik, etc dieselben Möglichkeiten haben wie grosse Firmen!
Moors Law einfach noch schneller
Die Entwicklung von künstlicher Intelligenz (KI) hat in den letzten Jahren rasant an Fahrt gewonnen, insbesondere seit der Einführung von GPT-3 im Sommer 2020. KI wurde von einem Nischenthema für Experten zu einem Hype-Thema, das das Leben von Millionen Menschen beeinflusst. ChatGPT-3 hat beispielsweise über Microsofts Bing-Suchmaschine Einzug in die Geräte von über hundert Millionen Menschen gehalten.
Bis vor kurzem benötigten KIs wie GPT-3 enorme Rechenleistung und waren auf große Rechenzentren angewiesen. Doch letzte Woche veröffentlichte Georgi Gerganov auf Github eine Version von Metas GPT-3-Konkurrenten LLaMA, die auf handelsüblichen MacBooks, Linux-Computern und Windows-PCs laufen kann. Das bedeutet, dass KI-Systeme nun auf weniger leistungsfähiger Hardware laufen können, was bisher undenkbar war.
Diese Entwicklung wurde ermöglicht, indem die Daten der KI-”Gewichte” komprimiert und die kleinste Version dieser Wissenssammlungen verwendet wurden. Obwohl LLaMA auf einem normalen Notebook läuft, kann es derzeit noch nicht mit ChatGPT mithalten. Dennoch ist es beeindruckend, dass LLaMA auf einem MacBook Air funktioniert.
Durch das Leaken der Wissensmodelle aus den Laboren der Entwickler ins Netz und die Verfügbarkeit der KI auf handelsüblichen Geräten ist es schwierig geworden, die Nutzung dieser Technologie zu regulieren. Dies birgt sowohl Gefahren als auch spannende Möglichkeiten.
Mit der KI-Entwicklung, die nun auf breiterer Hardwarebasis zugänglich ist, werden KI-Anwendungen wahrscheinlich weiter verbreitet und in vielfältigeren Bereichen eingesetzt. Die Fähigkeit, KI-Modelle auf gängigen Geräten zu nutzen, könnte Innovationen fördern und die Integration von KI in alltägliche Anwendungen und Technologien vorantreiben.
KI Quo Vadis?
Gleichzeitig birgt diese Entwicklung Risiken, insbesondere im Hinblick auf den Datenschutz und die Sicherheit. Mit der breiteren Verfügbarkeit von KI-Modellen könnten diese Technologien von bösartigen Akteuren missbraucht werden, um Desinformation zu verbreiten, Sicherheitssysteme zu kompromittieren oder persönliche Daten zu stehlen.
Regulierungsbehörden und Entscheidungsträger müssen möglicherweise neue Gesetze und Richtlinien entwickeln, um die Verwendung von KI-Technologien zu überwachen und den Missbrauch dieser Systeme zu verhindern. Gleichzeitig müssen Entwickler und Unternehmen, die KI-Modelle erstellen, ihre Sicherheitsvorkehrungen überdenken, um sicherzustellen, dass ihre Technologien vor unerwünschten Zugriffen geschützt sind.
Die KI-Entwicklung wird wahrscheinlich weiterhin rasant voranschreiten, und wir werden immer leistungsfähigere und zugänglichere Modelle sehen. In dieser neuen Ära der KI müssen Gesellschaft, Regierungen und die Industrie zusammenarbeiten, um die Chancen und Herausforderungen, die diese Technologie mit sich bringt, anzugehen.
Für alles weitere — lass uns austauschen. #fragRoger
