Panimula

Sa palagay mo ba ang Grok3 ay magiging "endpoint" ng mga pre-sanay na modelo?

Ang Elon Musk at ang koponan ng Xai ay opisyal na naglunsad ng pinakabagong bersyon ng Grok, Grok3, sa panahon ng isang livestream. Bago ang kaganapang ito, ang isang makabuluhang halaga ng mga kaugnay na impormasyon, kasabay ng 24/7 na promosyonal na hype ng Musk, ay nagtaas ng pandaigdigang mga inaasahan para sa GroK3 sa mga hindi pa naganap na antas. Isang linggo lamang ang nakalilipas, may kumpiyansa na sinabi ni Musk sa panahon ng isang livestream habang nagkomento sa Deepseek R1, "Si Xai ay malapit nang maglunsad ng isang mas mahusay na modelo ng AI." Mula sa data na ipinakita nang live, ang Grok3 ay naiulat na lumampas sa lahat ng kasalukuyang mga pangunahing modelo sa mga benchmark para sa matematika, agham, at programming, kasama ang Musk kahit na ang pag -aangkin na ang Grok3 ay gagamitin para sa mga gawain sa computational na may kaugnayan sa mga misyon ng SpaceX, na hinuhulaan ang "mga pagbagsak sa antas ng Nobel Prize sa loob ng tatlong taon." Gayunpaman, ang mga ito ay kasalukuyang mga assertions lamang ng Musk. Matapos ang paglulunsad, sinubukan ko ang pinakabagong bersyon ng beta ng Grok3 at isinagawa ang klasikong tanong ng trick para sa mga malalaking modelo: "Alin ang mas malaki, 9.11 o 9.9?" Nakalulungkot, nang walang anumang mga kwalipikasyon o marking, ang tinatawag na Smartest Grok3 ay hindi pa rin masasagot nang tama ang tanong na ito. Nabigo ang Grok3 na tumpak na kilalanin ang kahulugan ng tanong.

Ang pagsubok na ito ay mabilis na iginuhit ang malaking pansin mula sa maraming mga kaibigan, at sinasadya, ang iba't ibang mga katulad na pagsubok sa ibang bansa ay nagpakita ng Grok3 na nakikipaglaban sa mga pangunahing katanungan sa pisika/matematika tulad ng "Aling Ball ang nahulog muna mula sa nakasandal na tower ng PISA?" Kaya, nakakatawa itong may label na "isang henyo na ayaw sagutin ang mga simpleng katanungan."

Ang Grok3 ay mabuti, ngunit hindi ito mas mahusay kaysa sa R1 o O1-Pro.

Naranasan ni Grok3 ang "pagkabigo" sa maraming karaniwang mga pagsubok sa kaalaman sa pagsasanay. Sa panahon ng kaganapan ng paglulunsad ng XAI, ipinakita ng Musk gamit ang Grok3 upang pag -aralan ang mga klase ng character at mga epekto mula sa landas ng laro ng Exile 2, na inaangkin niyang madalas na maglaro, ngunit ang karamihan sa mga sagot na ibinigay ng Grok3 ay hindi tama. Ang kalamnan sa panahon ng livestream ay hindi napansin ang malinaw na isyu na ito.

Ang pagkakamaling ito ay hindi lamang nagbigay ng karagdagang katibayan para sa mga netizens sa ibang bansa na mangutya ng musk para sa "paghahanap ng isang kapalit" sa paglalaro ngunit nagtaas din ng mga makabuluhang alalahanin tungkol sa pagiging maaasahan ni GroK3 sa mga praktikal na aplikasyon. Para sa tulad ng isang "henyo," anuman ang aktwal na mga kakayahan nito, ang pagiging maaasahan nito sa sobrang kumplikadong mga sitwasyon ng aplikasyon, tulad ng mga gawain sa pagsaliksik sa Mars, ay nananatiling pagdududa.

Sa kasalukuyan, maraming mga tester na nakatanggap ng pag-access sa Grok3 linggo na ang nakakaraan, at ang mga nasubok lamang ang mga kakayahan ng modelo sa loob ng ilang oras kahapon, ang lahat ay tumuturo sa isang karaniwang konklusyon: "Ang Grok3 ay mabuti, ngunit hindi ito mas mahusay kaysa sa R1 o O1-Pro."

Isang kritikal na pananaw sa "nakakagambala nvidia"

Sa opisyal na ipinakita ng PPT sa panahon ng paglabas, ang Grok3 ay ipinakita na "malayo" sa arena ng chatbot, ngunit ang cleverly na ginamit na mga diskarte sa graphic: ang vertical axis sa leaderboard na nakalista lamang ang mga resulta sa 1400-1300 na saklaw ng marka, na ginagawa ang orihinal na 1% na pagkakaiba sa mga resulta ng pagsubok ay lilitaw na makabuluhan sa pagtatanghal na ito.

Sa aktwal na mga resulta ng pagmamarka ng modelo, ang GROK3 ay 1-2% lamang nangunguna sa Deepseek R1 at GPT-4.0, na tumutugma sa maraming karanasan ng mga gumagamit sa mga praktikal na pagsubok na natagpuan "walang kapansin-pansin na pagkakaiba." Ang GroK3 ay lumampas lamang sa mga kahalili nito ng 1%-2%.

Bagaman mas mataas ang marka ng GROK3 kaysa sa lahat ng kasalukuyang mga modelo na nasubok sa publiko, marami ang hindi seryoso: pagkatapos ng lahat, dati nang pinuna si Xai para sa "marka ng pagmamanipula" sa panahon ng GROK2. Habang ang istilo ng haba ng sagot ng leaderboard, ang mga marka ay lubos na nabawasan, ang nangungunang mga tagaloob ng industriya ay madalas na pumuna sa kababalaghan ng "mataas na pagmamarka ngunit mababang kakayahan."

Kung sa pamamagitan ng leaderboard "pagmamanipula" o mga trick ng disenyo sa mga guhit, inihayag nila ang pagkahumaling ng Xai at Musk na may paniwala ng "nangunguna sa pack" sa mga kakayahan ng modelo. Ang Musk ay nagbabayad ng isang matarik na presyo para sa mga margin na ito: sa panahon ng paglulunsad, ipinagmamalaki niya ang paggamit ng 200,000 H100 GPU (na nag -aangkin ng "higit sa 100,000" sa panahon ng livestream) at nakamit ang isang kabuuang oras ng pagsasanay na 200 milyong oras. Ito ang humantong sa ilan na naniniwala na ito ay kumakatawan sa isa pang makabuluhang boon para sa industriya ng GPU at isaalang -alang ang epekto ng Deepseek sa sektor bilang "hangal." Kapansin -pansin, ang ilan ay naniniwala na ang manipis na computational power ay magiging kinabukasan ng pagsasanay sa modelo.

Gayunpaman, inihambing ng ilang mga netizens ang pagkonsumo ng 2000 H800 GPU sa loob ng dalawang buwan upang makagawa ng Deepseek V3, na kinakalkula na ang aktwal na pagkonsumo ng kapangyarihan ng GroK3 ay 263 beses na V3. Ang agwat sa pagitan ng Deepseek V3, na umiskor ng 1402 puntos, at ang Grok3 ay nasa ilalim lamang ng 100 puntos. Kasunod ng paglabas ng data na ito, maraming mabilis na napagtanto na sa likod ng pamagat ng Grok3 bilang ang "pinakamalakas na mundo" ay namamalagi ng isang malinaw na epekto ng utility ng marginal - ang lohika ng mas malaking mga modelo na bumubuo ng mas malakas na pagganap ay nagsimulang magpakita ng pagbawas ng pagbabalik.

Kahit na sa "mataas na pagmamarka ngunit mababang kakayahan," ang Grok2 ay may malawak na halaga ng mataas na kalidad na data ng first-party mula sa platform ng X (Twitter) upang suportahan ang paggamit. Gayunpaman, sa pagsasanay ng Grok3, natural na nakatagpo ni Xai ang "kisame" na kasalukuyang nakaharap sa OpenAi - ang kakulangan ng data ng pagsasanay sa premium ay mabilis na inilalantad ang marginal utility ng mga kakayahan ng modelo.

Ang mga nag -develop ng Grok3 at Musk ay malamang na ang unang maunawaan at makilala ang mga katotohanang ito, na ang dahilan kung bakit patuloy na nabanggit ng Musk sa social media na ang mga gumagamit ng bersyon ay nararanasan ngayon ay "pa rin ang beta" at ang "ang buong bersyon ay ilalabas sa mga darating na buwan." Kinuha ng Musk ang papel ng tagapamahala ng produkto ng Grok3, na nagmumungkahi ng mga gumagamit na magbigay ng puna sa iba't ibang mga isyu na nakatagpo sa seksyon ng mga komento.

Gayunpaman, sa loob ng isang araw, ang pagganap ng Grok3 ay walang alinlangan na nagtaas ng mga alarma para sa mga umaasa na umasa sa "napakalaking computational na kalamnan" upang sanayin ang mas malakas na mga modelo: batay sa magagamit na impormasyon ng Microsoft, ang GPT-4 ng OpenAi ay may sukat na parameter na 1.8 trilyong mga parameter, higit sa sampung beses na GPT-3. Iminumungkahi ng mga alingawngaw na ang laki ng parameter ng GPT-4.5 ay maaaring maging mas malaki.

Habang lumulubog ang mga sukat ng modelo ng parameter, ang mga gastos sa pagsasanay ay nag -skyrocketing din. Sa pagkakaroon ni Grok3, ang mga contenders tulad ng GPT-4.5 at iba pa na nais na magpatuloy sa "pagsunog ng pera" upang makamit ang mas mahusay na pagganap ng modelo sa pamamagitan ng laki ng parameter ay dapat isaalang-alang ang kisame na malinaw na ngayon sa paningin at pagninilay kung paano malampasan ito. Sa sandaling ito, si Ilya Sutskever, dating punong siyentipiko sa OpenAI, ay nauna nang nakasaad noong nakaraang Disyembre, "Ang pre-pagsasanay na pamilyar sa atin ay magtatapos," na muling nabuhay sa mga talakayan, na nag-uudyok sa mga pagsisikap na mahanap ang totoong landas para sa pagsasanay sa mga malalaking modelo.

Ang pananaw ni Ilya ay tunog ng alarma sa industriya. Tumpak niyang nalaman ang nalalapit na pagkapagod ng naa -access na bagong data, na humahantong sa isang sitwasyon kung saan ang pagganap ay hindi maaaring magpatuloy na mapahusay sa pamamagitan ng pagkuha ng data, na inihahambing ito sa pagkapagod ng mga fossil fuels. Ipinahiwatig niya na ang "tulad ng langis, nilalaman na binuo ng tao sa Internet ay isang limitadong mapagkukunan." Sa mga hula ni Sutskever, ang susunod na henerasyon ng mga modelo, post-pre-training, ay magkakaroon ng "tunay na awtonomiya" at mga kakayahan sa pangangatuwiran na "katulad ng utak ng tao."

Hindi tulad ng mga pre-bihasang modelo ngayon na pangunahing umaasa sa pagtutugma ng nilalaman (batay sa naunang natutunan na nilalaman ng modelo), ang mga hinaharap na AI system ay maaaring malaman at magtatag ng mga pamamaraan upang malutas ang mga problema sa isang paraan na katulad ng "pag-iisip" ng utak ng tao. Ang isang tao ay maaaring makamit ang pangunahing kasanayan sa isang paksa na may pangunahing propesyonal na panitikan, habang ang isang malaking modelo ng AI ay nangangailangan ng milyun-milyong mga puntos ng data upang makamit lamang ang pinaka pangunahing pagiging epektibo sa antas ng entry. Kahit na ang mga salita ay nabago nang bahagya, ang mga pangunahing katanungan na ito ay maaaring hindi maunawaan nang wasto, na naglalarawan na ang modelo ay hindi tunay na napabuti sa katalinuhan: ang pangunahing ngunit hindi malulutas na mga katanungan na nabanggit sa simula ng artikulo ay kumakatawan sa isang malinaw na halimbawa ng hindi pangkaraniwang bagay na ito.

Konklusyon

Gayunpaman, sa kabila ng matapang na puwersa, kung ang Grok3 ay talagang nagtagumpay sa pagbubunyag sa industriya na ang "pre-sanay na mga modelo ay papalapit sa kanilang pagtatapos," magdadala ito ng mga makabuluhang implikasyon para sa larangan.

Marahil pagkatapos ng siklab ng galit na nakapalibot na Grok3 ay unti-unting humupa, masasaksihan natin ang maraming mga kaso tulad ng halimbawa ng Fei-Fei Li na "pag-tune ng mga modelo ng mataas na pagganap sa isang tiyak na dataset para sa $ 50 lamang," sa huli ay natuklasan ang totoong landas sa AGI.