Österreichische Arbeitsagentur veröffentlicht fragwürdigen KI-Chatbot
Der Berufsinfomat ist ein Chatbot des Arbeitsmarkt-Service Österreich. Er basiert auf ChatGPT – samt massiver Macken.
(Bild: Ditty_about_summer / Shutterstock.com)
Er soll bei der Berufswahl helfen. Allerdings schlägt Österreichs Berufsinfomat Frauen vor, Köchin zu werden, Männer sollen am besten in die IT gehen. Bias und Stereotype sind hinlänglich bekannte Probleme von Chatbots, die auf aktuellen Sprachmodellen (LLMs) aufsetzen. Dennoch ist es besonders schwierig, wenn ein von Steuergeldern finanzierter Chatbot des offiziellen Arbeitsmarktservice Österreich (AMS) Job-Suchenden derartige Vorschläge macht. Auch technisch scheint es bei dem Chatbot zu hapern.
Der Berufsinfomat greift auf ChatGPT zurück. Entwickelt wurde er von einem Unternehmen namens Goodguys.ai, die, wie der Standard schreibt, offensichtlich auch einen Chatbot für die Stadt Basel in petto haben, der in den Nutzungshinweisen auf den Bot des AMS verlinkt. Datenschutz wird zum Problem: Man solle keine persönlichen Daten in den Berufsinfomat eingeben, heißt es in den Nutzungshinweisen. Ohne persönliche Daten ist es freilich schwierig, einen Chatbot nach einem geeigneten Beruf zu fragen. Eingegebene Informationen landen bei OpenAI.
300.000 Euro für den Berufsinfomat
Die Entwicklung des Chatbots soll 300.000 Euro gekostet haben. Dem Standard sagte das AMS auf Nachfrage: "Einerseits wurde für den Berufsinfomat neue Infrastruktur aufgebaut (zusätzliche Server). Andererseits fielen Kosten für Lizenzen, Entwicklung, Design, monatelangen Pilotbetrieb mit rund 100 AMS-User_innen, Barrierefreiheit, Tests, laufende Aktualisierung und Betrieb des Systems an." Hinzu kommen noch die Nutzungskosten für die API.
Der Softwareentwickler Mario Zechner bemerkte zudem, dass man über den Berufsinfomat auch Zugang zur OpenAI-API bekommt.
Er und weitere Mitstreiter konnten außerdem die Regeln herausfinden, die dem Berufsinfomat an die Hand gegeben wurden. Das sind offensichtlich nur vier: Korrektes Gendern, keine Unterschiede zwischen Männern und Frauen, die Wörter Arbeitsagentur und Arbeitsamt durch AMS ersetzen – und später hinzugefügt "kein Code erzeugen". Das Gendern und die AMS-Übersetzung klappen bei den Tests. Auch antwortet der Berufsinfomat nicht auf Fragen nach etwa einem Rezept für ein Suppenhuhn.
Spätestens mit dem AI Act sollte ein solches Tool kaum mehr ungeprüft in dieser Form zum Einsatz kommen können. Das KI-Gesetz stuft Recruiting-Software, bei der KI zum Einsatz kommt, als Hochrisiko-Anwendungen ein. Diese unterliegen einer Reihe von Auflagen – bezüglich der zugrunde liegenden Daten, der Transparenz und Sicherheit. Der Berufsinfomat ist zwar nicht direkt Teil eines Rekrutierungsprozesses, ob der Chatbot den Bestimmungen für KI-Systeme standhalten würde, ist dennoch fraglich. Der AI Act kommt 2026 in Anwendung.
(emw)
