Resort wyjaśnił, że modele stworzone przez polskich ekspertów i ekspertki z dziedziny IT i lingwistyki wesprą rozwój kompetencji cyfrowych oraz innowacje w administracji publicznej i biznesie. “Tworzymy fundament pod inteligentne usługi publiczne i innowacje, które będą realnym wsparciem zarówno dla administracji, jak i biznesu” - informuje Ministerstwo Cyfryzacji.
70 miliardów parametrów
Model językowy został opracowany przez zespół ponad 50 specjalistów i specjalistek. PLLuM wykorzystuje od 8 do 70 miliardów parametrów, które pozwalają na precyzyjne generowanie treści w języku polskim. Korzysta z danych organicznych - opracowywanych ręcznie, a nie przy użyciu innych modeli językowych. "Trenowany na polskich zasobach, bardzo dobrze radzi sobie z wyzwaniami fleksji i złożonej składni generując precyzyjne treści" - czytamy w komunikacie.
W rodzinie modeli PLLuM znajduje się m.in. model w architekturze MoE (ang. Mixture of Experts) ze zrównoważonym wyborem ekspertów. Jest też wyspecjalizowany model RAG (ang. Retrieval Augmented Generation), który zapewnia możliwości wyszukiwania informacji. “PLLuM to dowód na to, że możemy rozwijać nowoczesne technologie na własnych warunkach, w naszym języku, z korzyścią dla obywatelek i obywateli” – powiedział cytowany w komunikacie wicepremier i minister cyfryzacji Krzysztof Gawkowski.
Litera prawa i etyka
PLLuM bazuje na etycznym pozyskiwaniu danych. Wersje do użytku komercyjnego wykorzystują wyłącznie treści od właścicieli, którzy udzielili licencji konsorcjum. Ponieważ zasoby są zgodne z ustawą o prawie autorskim i prawach pokrewnych oraz przepisami UE, mogą być wykorzystane do budowy w pełni otwartego modelu. A modele naukowe, udostępniane na licencjach, które nie pozwalają na zastosowania komercyjne, korzystają z ogólnodostępnych zbiorów danych, takich jak pochodzące z organizacji non-profit Common Crawl.
Praca nad projektem kosztowała 14,5 mln zł. Kolejne 19 mln zł zostanie przeznaczone na wdrożenie modelu w administracji publicznej i rozszerzenie współpracy o nowych partnerów, m.in. Centralny Ośrodek Informatyki (COI) i Cyfronet - centrum komputerowe o dużej mocy. - Rozwój PLLuM to inwestycja w cyfrowe państwo – powiedział wiceminister cyfryzacji Dariusz Standerski.
Projekt realizowany jest na zlecenie Ministerstwa Cyfryzacji. Ono jest właścicielem wyników i kontroluje rozwój PLLuM. Lider konsorcjum - Ośrodek Badań nad Bezpieczeństwem SI w NASK - będzie koordynować prace wdrożeniowe PLLuM w usługach administracji publicznej. Do konsorcjum należą też Politechnika Wrocławska, Instytut Podstaw Informatyki PAN, Instytut Slawistyki PAN, Ośrodek Przetwarzania Informacji OPI-PIB oraz Uniwersytet Łódzki.
