Do stworzenia DeepSeak miano wykorzystać tzw. destylację. Dzięki niej „jeden model uczy się od innego modelu, w jaki sposób absorbuje wiedzę z oryginalnego modelu” – wyjaśnił stacji Fox News były dyrektor PayPal David Sacks. Programiści używają tej techniki, aby uzyskać lepszą wydajność mniejszych modeli. Pozwala im to osiągnąć podobne wyniki w przypadku określonych zadań przy znacznie niższych kosztach.
OpenAI twierdzi, że ma dowody
Część ekspertów zwróciła uwagę, że chiński model generował odpowiedzi wskazujące, że został przeszkolony na podstawie wyników z amerykańskiego GPT-4 OpenAI. Twórca ChatGPT z San Francisco zapewnił "Financial Times", że ma dowody na „destylację”, która - jak podejrzewa - pochodzi od DeepSeek.
Zobacz również:
Brytyjski dziennik zwraca uwagę, że destylacja jest powszechną praktyką w branży AI. Szczególnie często stosują ją start-upy. W przypadku DeepSeek, mogła zostać użyta w celu stworzenia własnego modelu. To zaś “stanowi naruszenie warunków świadczenia usług oferowanych przez OpenAI” - podkreślił dziennik. Zgodnie z nimi, użytkownicy nie mogą „kopiować” żadnej z ich usług ani „wykorzystywać wyników do opracowywania modeli konkurujących z OpenAI”.
Wielki, tani chatbot
DeepSeek zapewnia, że do stworzenia chatbota wykorzystał zaledwie 2048 kart graficznych Nvidia H800. A na wytrenowanie modelu z 671 miliardami parametrów wydał 5,6 miliona dolarów. “Stanowi to ułamek kwot, jakie OpenAI i Google wydały na szkolenie modeli porównywalnej wielkości” - czytamy w "Financial Times". Chiński chatbot jest potężniejszy od wykorzystywanego przez OpenAI modelu O1, wykorzystuje też mniej pamięci niż jego amerykańska konkurencja i jest o wiele tańszy.
Dlatego na wieść o przewyższającym ofertę OpenAI chińskim chatbocie zareagowały światowe giełdy. W obliczu obaw, że duże inwestycje w kosztowny sprzęt do sztucznej inteligencji mogą nie być konieczne, o 17 proc. spadły akcje Nvidii - producenta m.in. procesorów graficznych. W poniedziałek firma straciła 589 miliardów dolarów wartości rynkowej.
OpenAI odmówił komentarza w sprawie domniemanej kradzieży modeli pamięci. Nie wypowiedział się na ten temat również Microsoft - mniejszościowy udziałowiec OpenAI - informuje "Financial Times". Do prośby brytyjskiego dziennika nie odniósł się też start-up DeepSeek.
