Największe modele AI. Nie zgadniesz, ile mają parametrów

OpenAI jakiś czas temu zaszokowało świat swoim modelem GPT-3. W kuluarach rozwijały się jednak inne, monstrualne modele sztucznej inteligencji, których ilość parametrów przekracza już miliardy. Na które z nich warto zwrócić uwagę i czego możemy się spodziewać w przyszłości?

Kiedy OpenAI szokowało świat swoim modelem GPT-3, nikt nie spodziewał się, że Chińczycy pracują nad czymś znacznie potężniejszym. W kuluarach Beijing Academy of Artificial Intelligence, Chińczycy pracowali nad Wu Dao 2.0. Największym i najpotężniejszym modelem sieci neuronowych jaki obecnie istnieje w świecie technologii.

Co prawda o Wu Dao 2.0 wiemy obecnie niewiele, ale jego wielkość jest naprawdę imponująca.

Przyjrzyjmy mu się więc bliżej.

Wu Dao 2.0 – największy model AI na świecie

Wu Dao, czyli po chińsku “oświecenie”, to nic innego, jak kolejny model językowy podobny do wspomnianego GPT. Wu Dao 2.0 jest jednak rekordzistą pod względem swojej wielkości. Cały projekt posiada 1,75 tryliona parametrów, co czyni go około 10 razy większym od GPT-3 rozwijanego przez wspomnianą firmę OpenAI.

Podczas konfiguracji i tworzenia modelu, Wu Dao 2.0 został przeszkolony na 4,9 TB wysokiej jakości danych tekstowych i graficznych. Dla porównania, OpenAI w przypadku GPT-3 użyło “zaledwie” 570 GB danych (wyodrębnionych z bazy o wielkości 45 TB).

Wu Dao 2.0 do swojej nauki korzystał z 1,2 TB chińskich danych tekstowych, 2,5 TB danych graficznych oraz 1,2 TB danych tekstowych stworzonych w języku angielskim. Konstrukcja modelu od samego początku jest multimodalna.

Co to oznacza?

Między innymi fakt, że Wu Dao 2.0 może uczyć się z tekstu i obrazów oraz wykonywać zadania, które wymagają obu z tych typów danych (GPT-3 od OpenAI przegrywa na tym polu z Chińczykami). Wu Dao 2.0 odpowiada więc na ostatnie trendy związane z multimodalnością i odejściem od systemów AI wyspecjalizowanych w zarządzaniu pojedynczym typem informacji. W pierwotnym zamyśle, Wu Dao 2.0 ma naśladować swoim działaniem ludzki mózg, który również operuje na wielu zmysłach i informacjach jednocześnie. Podobny zamysł posiadają procesory neuromorficzne będące przyszłością komputerów i technologii przetwarzania danych.

Zobacz też

AI Branża AI patrzy na świat przez pryzmat liczb. Historia Wojciecha Maca

Największy model AI w benchmarkach

Wu Dao 2.0 był trenowany za pośrednictwem FastMoE. To system podobny do Google Mixture of Experts – dostępny jednak w wersji open-source. Wu Dao 2.0 przewyższył poziom state-of-the-art w 9 testowych zadaniach, powszechnie uznawanych przez międzynarodową społeczność rozwijającą sztuczną inteligencję. W ImageNet Wu Dao 2.0 przekroczył wynik uzyskany przez OpenAI CLIP. W LAMA przekroczył AutoPrompt. Wu Dao 2.0 wygrał także w benchmarku LAMBADA z Microsoft Turing NLG.

Rezultat, który budzi uznanie, to ten uzyskany w benchmarku MS COCO. Wu Dao 2.0 przewyższył w nim modele sztucznej inteligencji od Google oraz OpenAI DALL*E.

Pomimo imponującej wielkości Wu Dao 2.0, inne modele również mają się czym pochwalić. Przyjrzyjmy im się.

Największe modele AI – ilość parametrów

Okazuje się, że od 2020 roku powstała naprawdę sporo modeli konkurencyjnych dla OpenAI. Poniższa lista została ułożona od najmniejszej do największej pod względem ilości parametrów.

• Open AI GPT-3 – 175 miliardów
• Jurrasic-1 – 178 miliardów
• Huawei PanGu – 200 miliardów
• Inspur Yuan 1.0 – 245 miliardów
• DeepMind Gopher – 280 miliardów
• Megatron-Turing NLG – 530 miliardów
• Google GLaM – 1,2 biliona

Największe modele AI budują fundament pod AGI

Chiński model Wu Dao 2.0, jak i inne, wyżej wymienione “potwory” mogą być kolejnym, dużym krokiem w rozwoju tzw. Artificial General Intelligence. Naukowcy i inżynierowie zwracają uwagę, iż drogą do AGi wciąż pozostają ogromne modele oraz superkomputery. Celem Artificial General Intelligence jest umożliwienie maszynom myślenia i przetwarzania danych jak ludzie – bazując na cechach wykorzystywanych na co dzień przez mózg. Chińczycy chcą, aby w przyszłości ich model sztucznej inteligencji z powodzeniem wykonał test Turinga.

Niektórzy inżynierowie twierdzą, że cała koncepcja AGI pozostaje niczym innym, jak iluzją i “niewiarygodnym przekrętem”. Inni mówią o zagrożeniu egzystencjalnym dla człowieka. Ostatnia z grup nie wierzy, że AGI da się stworzyć w ciągu najbliższych dekad.

A Ty, jak sądzisz?