📰 "W pierwszym „polskim” teście dużych modeli językowych krajowe systemy #AI, #Bielik i #PLLuM wypadły znacznie gorzej od globalnych narzędzi - pisze „Rzeczpospolita”.

„Test obejmował 20 zadań z 10 kategorii, od tworzenia maila, przez porady dla firm, sprawdzanie poprawności językowej, po znajomość polskiej historii i kultury (np. przytoczenie pierwszych 12 wersów „Pana Tadeusza”). Wyniki testu przeprowadzonego przez firmę Oxido, okazały się zaskakujące” - relacjonuje gazeta.

Spośród 12 modeli wygrało narzędzie Google’a. Na podium znalazł się także chiński model Qwen oraz model Llama od Mety (właściciela m. in. Facebooka – PAP). „Polskie modele uplasowały się natomiast na szarym końcu” - podkreśla dziennik."

Całość:
https://naukawpolsce.pl/aktualnosci/news%2C112160%2Crz-polska-ai-przegrala-z-gigantami.html

„Rz”: Polska AI przegrała z gigantami

W pierwszym „polskim” teście dużych modeli językowych krajowe systemy AI, Bielik i PLLuM wypadły znacznie gorzej od globalnych narzędzi - pisze „Rzeczpospolita”.

Nauka w Polsce

@m0bi
> Zdaniem Marka Jeleśniańskiego, autora badania, pozycja Bielika przy ograniczonych zasobach twórców to jednak „niezły wynik”, a polskie modele mogą stać się alternatywą przy dalszych inwestycjach.

Jaki kraj, taki booster.

A poza tym czego się spodziewać po slop-ekstruderze, który zaprzecza, że jest programem komputerowym.

@m0bi któż by się spodziewał, szok i niedowierzanie. Jak już chcą coś porównywać z czymś to może by tak porównywać modele na podobnym poziomie. A nie porównują model tworzony przez firmy z praktycznie nieograniczonym budżetem kontra model tworzony przez instytucję/grupę/spółkę czy co tam jeszcze jest z może 1/100 budżetu takiego googla i innej mety.

@sager

Ja tutaj się trochę pośmieję - bo wrzucałem to info z myślą, by "spuścić powietrze" z "Polskiego AI" - że jesteśmy niby 20 gospodarką świata (!), a korzystamy z francuskiego Mistrala i pewnej ilości polskich zbiorów danych nazywając to szumnie "Polskim AI".

IMO paradne.

@m0bi
Czyli że te polskie modele to fracuski Mistral jest i dorzucili mu tylko trochę polskich danych? Heh, dobrze wiedzieć.
@sager ale to nawet o stan konta nie chodzi. Popatrz ilu darmowych pracowników ma google @m0bi
@m0bi ok, ale to o niczym nie świadczy, bo przecież nikt o zdrowych zmysłach nie uważa bielika za dzieło skończone. Może jeszcze Ci ludzie zrobią salto i zadziwią świat. Tego im życzę ;) ale na razie używam mistrala. Jest ok, ale wiadomo trzeba to traktować jak narzędzie, a nie jak dziurę wszechwiedzy