Aus einer Zusammenarbeit zwischen der Forschungsgruppe TurkuNLP der Universität Turku und dem KI-Labor „Silo AI“ ging das erste große Sprachmodell (LLM) für alle nordischen Sprachen hervor. Das Modell mit dem Namen „Viking 7B“ ist ein Open-Source-Modell.
Silo AI ist nach eigenen Angaben Europas größtes privates KI-Labor. Sie wollen zu einem führenden europäischen KI-Unternehmen werden. Die Firma baut derzeit Open-Source-LLM auf, um die digitale Souveränität Europas zu gewährleisten. Das sind hohe Ansprüche.
Rechencluster ökologisch vorbildlich
Das Viking-Modell wurde auf dem EuroHPC-Supercomputer LUMI trainiert, der 4096 AMD MI-250X GPUs besitzt. LUMI ist der leistungsstärkste Supercomputer Europas und der fünft stärkste der Welt. Das System ist auch ökologisch sehr interessant: Es wird 100 Prozent mit regenerativer Energie aus Wasserkraft betrieben. Seine Abwärme wird in das naheliegende Fernwärmenetz eingespeist und deckt etwa 20 Prozent des Wärmebedarfs der umliegenden Stadt Kajaani.
Besonderheiten und Leistung
Einer der Kernaspekte von „Viking 7B“ besteht darin, dass das LLM nicht primär mit englischsprachigen Inhalten trainiert wurde. Die aktuelle Version legt Wert auf die nordischen Sprachen wie Finnisch, Schwedisch, Norwegisch, Dänisch und Isländisch. Obendrein wurden Englisch und Programmiersprachen trainiert. Damit handelt es sich um ein Modell mit speziellen Fähigkeiten für weltweit wenig genutzte Sprachen. Es soll sogar lokale Werte und Kulturen kennen.
Nach Angaben von Silo AI zeigen erste Benchmarks, dass das Viking 7B-Modell in vielen Aspekten besser abschneidet als andere Open-Source-Modelle wie Falcon, GPT-SW3, Llama, Mistral und MPT. Und das Modell sticht natürlich in den speziell trainierten seltenen Sprachen hervor.
Mehr lesen:
- Viking 7B: The first open LLM for the Nordic languages, Silo AI, 15.05.2024