"Test obejmował 20 zadań z 10 kategorii, od tworzenia maila, przez porady dla firm, sprawdzanie poprawności językowej, po znajomość polskiej historii i kultury (np. przytoczenie pierwszych 12 wersów "Pana Tadeusza"). Wyniki testu przeprowadzonego przez firmę Oxido, okazały się zaskakujące" - relacjonuje gazeta.
Polskie modele AI do poprawki
Spośród 12 modeli wygrało narzędzie Google'a. Na podium znalazł się także chiński model Qwen oraz model Llama od Mety (właściciela m. in. Facebooka - PAP). "Polskie modele uplasowały się natomiast na szarym końcu" - podkreśla dziennik.
Wynik jest tym bardziej zaskakujący, że dotychczas eksperci przekonywali, iż polskie modele lepiej znają niuanse naszego języka i historii.
"Polskie modele zawiodły tymczasem w kategoriach, które teoretycznie powinny być ich przewagą. Na przykład przy inwokacji «Pana Tadeusza» Bielik był ósmy, a PLLuM - trzeci od końca" - pisze "Rz".
Zobacz również:
Inwestorzy zainteresują się polskimi modelami AI?
Zdaniem Marka Jeleśniańskiego, autora badania, pozycja Bielika przy ograniczonych zasobach twórców to jednak "niezły wynik", a polskie modele mogą stać się alternatywą przy dalszych inwestycjach.
"Gdyby stworzyć sensowne ramy dla dotacji i innowacji, gdyby zainteresować inwestorów i instytucje aktywniejszym finansowaniem rozwoju Mistrala czy polskich modeli, to moglibyśmy zmniejszyć dystans, jaki nas dzieli do konkurentów" - przekonuje Jeleśniański.
