Open Source soll LLM-Design nachvollziehbar machen

Im Frühjahr 2024 nimmt der neue Supercomputer «Alps» des nationalen Hochleistungs-​Rechenzentrums CSCS der ETH Zürich in Lugano den Betrieb auf. Dieser gehört mit über 10’000 Grafikprozessoren (GPU) der neuesten Generation zu den weltweit leistungsfähigsten Rechnern für Anwendungen im Bereich der Künstlichen Intelligenz (KI). Dank dem Zugang zu diesem Rechner soll die Wissenschaft in der Schweiz den Angaben der ETH zufolge in Sachen Rechenleistung mit den grössten Tech-​Unternehmen der Welt mithalten können.

Laut ETH würde die Schweiz damit über einen grossen Wettbewerbsvorteil verfügen. Supercomputing-​Infrastrukturen seien aufgrund der rasanten Entwicklung in der generativen KI weltweit Mangelware und – wo verfügbar – meist im Besitz von wenigen Grossunternehmen. «Diesen Standortvorteil wollen wir mit der gemeinsamen Initiative nutzen und das in der Schweiz vorhandene Know-​how im Bereich der Künstlichen Intelligenz der ganzen Gesellschaft zugänglich machen», erklärt Christan Wolfrum, ETH-​Vizepräsident für Forschung, und erläutert: «Die Vorreiterrolle in einem so zukunftsweisenden Feld muss die Wissenschaft übernehmen und darf nicht wenigen multinationalen Technologiekonzernen überlassen werden. Nur so können wir die Forschungsfreiheit und die digitale Souveränität der Schweiz sicherstellen.»

Zehn Mio. GPU-Stunden

Ziel der Initiative ist es, Large-​Language-Modelle (LLM) für die generative KI zu entwickeln und zu trainieren. Diese sollen transparent sein, nachvollziehbare Ergebnisse liefern und die Einhaltung von rechtlichen, ethischen und wissenschaftlichen Vorgaben sicherstellen. «Anders als die heute öffentlich zugänglichen Large-​Language-Modelle setzt die Initiative ganz auf Transparenz und ‘Open Source’. Es muss für alle nachvollziehbar sein, wie und auf welchen Daten die Modelle trainiert wurden und wie sie zu ihren Ergebnissen kommen», betont Jan Hesthaven, Provost und Akademischer Vizepräsident der EPFL.

Für die Entwicklung solcher Modelle nutzt die «Swiss AI»-​Initiative in den nächsten zwölf Monaten zehn Millionen sogenannter «GPU-​Hours» auf dem neuen Rechner «Alps» – dies entspricht der Rechenleistung eines einzelnen Grafikprozessors, der über 1100 Jahre lang unter Volllast läuft. Die Schweiz ist das erste Land der Welt, welches eine Forschungsinfrastruktur auf dem neusten NVIDIA Grace Hopper Superchip betreibt.

Mit diesen Rechenkapazitäten sollen neue, branchenspezifische KI-​Basismodelle entwickelt werden. Diese könnten in unterschiedlichen Bereichen eingesetzt werden, beispielsweise in Robotik, in Medizin, in Klimawissenschaften oder Diagnostik. Darüber hinaus geht die Initiative auch grundlegenden Fragestellungen bei der Entwicklung und Nutzung von LLM-​Modellen nach: Wie sieht das künftige Zusammenspiel von Mensch und KI aus? Welches ist der geeignete ethische Rahmen? Wie gehen wir mit Sicherheit und Datenschutz um? Mit welchen neuen Ansätzen können Modelle skaliert und energieeffizienter gemacht werden?

KMU-Integration

Die «Swiss AI»-​Initiative hat sich auch zum Ziel gesetzt, Wissenschaft, Industrie und Politik zusammenzubringen, um gemeinsam die Entwicklung und den Einsatz der künstlichen Intelligenz in der Schweiz mitzugestalten und voranzutreiben. Bereits etablierte Kooperationen mit Firmen, Spitälern und der öffentlichen Hand werden weiter ausgebaut. Swisscom-​CTO Gerd Niehage kommentiert: «Wir begrüssen die «Swiss AI»-​Initiative. Als Swisscom sind wir davon überzeugt, dass dies ein wichtiger Baustein für die Schweiz sein wird. Die digitale Transformation wird weiter vorangetrieben und es werden die notwendigen Fähigkeiten geschaffen, damit unser Land eine massgebliche Rolle im Bereich der generativen künstlichen Intelligenz spielt. KI-​Lösungen wie die der «Swiss AI»-​Initiative sind für Swisscom ein wichtiges Element innovativer, digitaler Lösungen, denen unsere Kunden vertrauen können.»

Die in der Schweiz vorhandene Software-​Infrastruktur, das aufgebaute Fachwissen und die entwickelten Basismodelle sollen möglichst offen und direkt an die Gesellschaft und die Industrie weitergegeben werden. Um wettbewerbsfähig zu bleiben, werden künftig auch KMU immer stärker auf den Einsatz von Künstlicher Intelligenz angewiesen sein. Sie würden ebenso wie der öffentliche Dienst unmittelbar von der offenen «Swiss AI»-​Initiative profitieren können, so die ETH weiter. Zudem baue die Swiss AI-​Initiative ein Programm zur Unterstützung von Start-​ups im KI-​Bereich auf.