OpenAI benennt Chef für KI-Branchenverband und neue Sicherheits-Teams

Das Frontier Model Forum ist ein Branchenverband, den Google, Anthropic, OpenAI und Microsoft gegründet haben. Die Organisation soll sich um die sichere und verantwortungsvolle Entwicklung und den Nutzen von sogenannten "Frontier-KI-Modellen" kümmern. Als Executive Director wurde nun Chris Meserole benannt. Auch ein 10 Millionen US-Dollar-Fonds wurde angekündigt sowie ein neues "Preparedness Team" bei OpenAI. Die Ankündigungen kommen kurz vor Start des UK AI Safety Summits.

"Frontier AI Models" werden auch als KI-Pioniermodelle bezeichnet. Meserole bringt laut Blogbeitrag von OpanAI viel Erfahrung in den Bereichen Steuerung und Sicherheit von neuen Technologien und künftigen Anwendungen mit. Zuletzt war er Direktor der Artificial Intelligence and Emerging Technology Initiative am Brookings Institut – einer Art Denkfabrik in Washington D.C. Zu seinen Aufgaben gehört, potenzielle Risiken von Pioniermodellen zu minimieren, Sicherheitsverfahren zu identifizieren und den Wissensaustausch mit politischen Entscheidungsträgern, Wissenschaftlern, der Zivilgesellschaft und anderen voranzutreiben. Zudem soll er das hehre Ziel verfolgen, die Bemühungen zu unterstützen, "KI zur Bewältigung der größten Herausforderungen der Gesellschaft einzusetzen."

Klimawandel stoppen, Krebs erkennen und KI-Systeme prüfen

Der Branchenverband wurde im Sommer 2023 gegründet. Die vier Gründungsunternehmen darf man getrost als Hauptanbieter massentauglicher, generativer KI Produkte ansehen. ChatGPT, Bing, Bard und Claude sind frei verfügbar und werden von Millionen Menschen genutzt. Laut den von allen Partnern einzeln veröffentlichten Pressemitteilungen verfolgt das Frontier Model Forum vier grundlegende Ziele: Die Förderung der KI-Sicherheitsforschung, die Identifizierung von Best Practices für den Entwicklungs- und Rollout-Prozess der Modelle, die Zusammenarbeit mit Externen zum Wissensaustausch über Vertrauens- und Sicherheitsrisiken sowie die Unterstützung bei der Entwicklung von KI-Modellen zur "Bewältigung der größten gesellschaftlichen Herausforderungen" – damit sind beispielsweise der Klimawandel und die Früherkennung von Krebs gemeint.

OpenAI kündigt auch einen neuen Fonds an und begründet das wie folgt: "Im vergangenen Jahr hat die Industrie erhebliche Fortschritte bei den Fähigkeiten der KI erzielt. Da sich diese Fortschritte beschleunigt haben, ist neue akademische Forschung im Bereich der KI-Sicherheit erforderlich." Mit dem Fonds sollen unabhängige Forscher weltweit unterstützt werden. Neben den Gründungsmitgliedern des Frontier Model Forums kommen die Finanzierungszusagen auch von den "philanthropischen Partnern", der Patrick J. McGovern Foundation und der David und Lucile Packard Foundation.

Die Forumsmitglieder haben eine freiwillige KI-Verpflichtung unterzeichnet, nach der sie das Melden von Schwachstellen in ihren Systemen erleichtert haben. Auch dazu soll der Fonds eingesetzt werden. Im Fokus soll jedoch das sogenannte Red-Teaming stehen, also das Prüfen und die Evaluierung der Systeme. Hierfür sucht OpenAI Menschen aus nahezu allen Fachrichtungen. "In den letzten Monaten hat das Forum daran gearbeitet, eine Reihe gemeinsamer Definitionen von Begriffen, Konzepten und Prozessen zu erarbeiten, damit wir ein Grundverständnis haben, auf dem wir aufbauen können. Auf diese Weise können Forscher, Regierungen und andere Branchenkollegen bei Diskussionen über KI-Sicherheit und Governance-Fragen von derselben Ausgangsbasis ausgehen."

Preparedness Team von OpenAI

OpenAI hat zudem ein neues Team gegründet, das sich wiederum etwa um das Red-Teaming kümmert. "Unter der Leitung von Aleksander Madry wird das Preparedness-Team die Bewertung von Fähigkeiten, Evaluierungen und das interne Red Teaming für Pioniermodelle eng miteinander verknüpfen." Das gelte für Modelle, die in naher Zukunft entwickelt werden, bis hin zu jenen, die Fähigkeiten auf AGI-Niveau haben. Zu den Aufgaben des Teams gehört konkret auch Cybersecurity, chemische, biologische, radiologische und nukleare Bedrohungen sowie Autonome Replikation und Adaption (ARA). Auch für dieses Team sucht OpenAI noch Mitarbeiter.

Dieses Investment in die Sicherheit von KI-Systemen kommt direkt im Vorfeld des AI Safety Summits in Großbritannien, bei dem sich zahlreiche Politiker, Unternehmen und Vertreter der Ziviligesellschaft treffen, um über Regulierungen von KI zu sprechen. Dazu schreibt OpenAI: "Im Rahmen unserer Beiträge zum Gipfel haben wir unsere Fortschritte bei der Sicherheit der Frontier-AI, einschließlich der Arbeit im Rahmen unserer freiwilligen Verpflichtungen, detailliert dargelegt."

(emw)