10 häbiväärset küsimust närvivõrkude kohta: masinõppe spetsialist Igor Kotenkov vastab

Uues seeria Tuntud ekspertide artiklid vastavad küsimustele, mida on tavaliselt piinlik küsida: tundub, et kõik teavad seda juba ja küsija näeb rumal välja.

Seekord vestlesime tehisintellekti spetsialisti Igor Kotenkoviga. Saate teada, kas saate salvestada oma digitaalse koopia oma lapselaste jaoks, miks ei saa neuroneid 100% usaldada ja kas maailma ähvardab masinate ülestõus.

1. Kuidas närvivõrgud töötavad? See on mingi maagia. Kuidas saaks ChatGPT-d üldse teha? Ja Midjourney või DALL-E?

Närvivõrk on matemaatiline mudel, mis on leiutatud elusorganismi aju toimimise mõistmiseks. Tõsi, aluseks võeti 20. sajandi teise poole alguse kõige elementaarsemad ideed, mida võib praegu nimetada ebaolulisteks või liialt lihtsustatuks.

Isegi nimi "närvivõrk" tuleneb sõnast "neuron" - see on aju ühe peamise funktsionaalse üksuse nimi. Närvivõrgud ise koosnevad sõlmedest – tehisneuronitest. Seega võime öelda, et paljud kaasaegse arhitektuuri ideed on "piilutud" loodusest endast.

Kuid mis veelgi olulisem, närvivõrk on matemaatiline mudel. Ja kuna see on midagi matemaatikaga seotud, siis saame kasutada matemaatilise aparaadi kogu võimsust, et sellise mudeli omadusi välja selgitada või hinnata. Funktsiooniks võib pidada närvivõrku ja funktsioon on ka matemaatiline objekt. Lihtsaim ja arusaadavam näide: funktsioon, mis näiteks võtab sisendiks suvalise arvu ja liidab sellele 2: f (4) = 6, f (10) = 12.

Kuid sellist funktsiooni on väga lihtne programmeerida, isegi laps saab sellega hakkama pärast paaritunnist keeleõpet. programmeerimine. Ja põhjus on selles, et selline funktsioon on väga lihtsalt formaliseeritav, üksikasjalikult kirjeldatud lihtsas ja arusaadavas keeles.

Siiski on mõned ülesanded, millele me isegi ei tea, kuidas läheneda. Näiteks võin teile anda fotosid segamini kassidest ja koertest ja saate need probleemideta kahte hunnikusse sorteerida. Millest aga täpselt juhindud vastuse määramisel? Mõlemad on kohevad. Mõlemal liigil on saba, kõrvad, kaks silma. Ehk suurus? Aga on väga väikseid koeri, on suuri kasse.

Me ei suuda kirjeldada paljusid reaalse maailma ülesandeid, me ei tea oma vaatluse ja mõne tingimusliku “õige” vastuse sõltuvust.

Me lihtsalt teame, kuidas seda vastust anda – ja see on kõik, mõtlemata, kuidas see välja tuleb.

Siin tulevad appi närvivõrgud. Neid matemaatilisi funktsioone õpetatakse andmete põhjal. Te ei pea kirjeldama sisendi ja väljundi vahelist suhet. Peate lihtsalt valmistama kaks virna fotosid ja modell treenib õigeid vastuseid andma. Ta ise õpib seda seost leidma, ta leiab selle ise, sellele toetudes veadkes teeb. Kas olete Bengali kassi ja rottweileri segi ajanud? Noh, järgmine kord läheb paremini!

Närvivõrgu õppimise protsess on selline "neuronite" kohandamine, et õppida probleemi lahendama ja andma õiget vastust. Ja mis kõige tähelepanuväärsem: on olemas teoreetiline tõestus, et piisavalt suur närvivõrk piisavalt suure andmehulgaga suudab õppida mis tahes keerukat funktsiooni. Kuid kõige olulisem on siin arvutusvõimsus (sest neuron võib olla väga suur) ja märgistatud andmete kättesaadavus. Nimelt märgistatud ehk neil on klass “koer”, kass või mis iganes.

Me ei saa täielikult aru, kuidas mudelid töötavad – kõige keerulisemad ja suuremad mudelid meeldivad ChatGPT peaaegu analüüsimatu.

Parimad teadlased tegelevad praegu oma protsesside sisemise toimimise "mõistmise" väljakutsega.

Kuid me teame, millise ülesande jaoks modellid koolitati, millist viga nad proovisid koolituse käigus minimeerida. ChatGPT puhul koosneb ülesanne kahest. Esimene on järgmise sõna ennustus vastavalt selle kontekstile: "ema pesi ..." Mida? Seda peaks mudel ennustama.

Teine ülesanne on tagada, et vastused ei oleks solvavad, kuid jääksid samas kasulikuks ja arusaadavaks. Seetõttu läkski mudel levima – see on otseselt koolitatud genereerima sellist teksti, mis inimestele meeldib!

Lisateavet ChatGPT toimimise kohta saate lugeda minu lehelt artiklit.

2. Kas neuronid suudavad mõelda?

Teadlased ei mõista siiani, mida tähendab "mõtlemine" või "mõistmine" ja kuidas intellekt üldiselt töötab. Seetõttu on raske hinnata, kas mudelil nagu ChatGPT on sellised omadused.

Kujutagem ette olukorda: lähenete oma korteri uksele. Kas teil on mõte, et ukse avamiseks peate võtma oma seljakoti vasakust taskust võtme? Kas võib öelda, et tegude kirjeldamine ja esitamine on mõtteprotsess? Sisuliselt oleme loonud seose hetkeseisu ja soovitud eesmärgi (avatud uks) vahel. Kui arvate, et vastus ülaltoodud küsimusele on jaatav, oleks minu vastus sama. 🙂

Teine asi on see, kui tegemist on uuenduslike mõtetega, mida pole varem väljendatud või mis pole nii levinud. Lõppude lõpuks saate näiteks ülaltoodud näitest hõlpsasti vea leida: "Jah, ma lugesin seda mudelit 100 500 korda Internetis ja raamatuid. Muidugi ta teab seda! Pole midagi üllatavat." Muide, kust sa teadsid? Kas sellepärast, et vanemad näitasid sulle lapsepõlves ja sa jälgisid seda protsessi sadu päevi järjest?

Sel juhul pole täpset vastust. Ja siin on mõte selles, et me ei võta arvesse üht olulist komponenti: tõenäosust.

Kui tõenäoline on, et mudel genereerib mõtte, mis sobib teie konkreetse "mõtte" määratlusega?

Lõppude lõpuks saab sellist neuronit nagu ChatGPT panna genereerima miljon erinevat vastust samale päringule. Näiteks "tulge välja ideega teaduslikud uuringud». Kui üks põlvkond miljonist on tõesti huvitav ja uus, siis kas see loeb tõestuseks, et modellist võib idee sündida? Aga kuidas see erineb papagoist, kes karjub suvalisi sõnu, et ei-ei ja annab midagi arusaadavat?

Teisest küljest ei avalda inimesed ka alati õigeid mõtteid - mõned fraasid viivad ummikusse ja lõppevad mitte millegagi. Miks ei saa närvivõrgud seda andestada? Noh, üks uus idee miljonist genereeritud on tõesti halb... Aga mis siis, kui 100 miljonist? Tuhat? Kus see piir on?

See on see, mida me ei tea. Trend on selline, et algul arvame, et masinatel on probleemi X lahendamine keeruline. Näiteks Turingi testi läbimiseks, kus on vaja lihtsalt pool tundi inimesega vestelda. Siis koos tehnoloogia arenguga mõtlevad inimesed välja viise, kuidas ülesande lahendamiseks või õigemini koolitada mudeleid. Ja me ütleme: "Noh, see oli tegelikult vale test, siin on teile uus test, neuronid ei suuda seda kindlasti läbida!" Ja olukord kordub.

Neid tehnoloogiaid, mis on praegu, 80 aastat tagasi, oleks peetud imeks. Ja nüüd püüame kõigest jõust nihutada "mõistuse" piiri, et mitte endale tunnistada, et masinad juba oskavad mõelda. Tegelikult on isegi võimalik, et me mõtleme esmalt midagi välja ja siis post factum ning määratleme selle tagasiulatuvalt tehisintellektina.

3. Kui neuronid oskavad joonistada ja luuletada, võivad nad olla loomingulised ja peaaegu nagu inimesed?

Vastus sõltub tegelikult suuresti ülaltoodud teabest. Mis on loovus? Kui palju loovust on keskmises inimeses? Oled sa kindel, et Siberist pärit korrapidaja oskab luua? Ja miks?

Mis siis, kui modell suudab toota luuletuse või maali, mis tinglikult jõuab linna harrastuskirjanike või lastekunstnike konkursi finaali? Ja kui seda ei juhtu iga kord, vaid üks kord sajast?

Enamik neist küsimustest on vaieldavad. Kui teile tundub, et vastus on ilmne, proovige intervjueerida oma sõpru ja sugulasi. Väga suure tõenäosusega ei lange nende vaatenurk sinu omaga kokku. Ja siin pole peamine asi tüli.

4. Kas on võimalik usaldada närvivõrkude vastuseid ja mitte enam googeldada?

Kõik sõltub sellest, kuidas mudeleid kasutatakse. Kui esitate neile küsimuse ilma kontekstita, ilma viipaga kaasneva teabeta ja ootate vastust teemadel, kus faktide täpsus on oluline, ja mitte vastuse üldine toon (näiteks sündmuste jada teatud perioodi jooksul, kuid ilma kohtade ja kuupäevade täpse mainimiseta), siis on vastus Ei.

Kodumaiste poolt hinnanguline OpenAI, sellistes olukordades, seni parim mudel GPT-4, vastab õigesti umbes 70-80% juhtudest, olenevalt küsimuste teemast.

Võib tunduda, et need numbrid on ideaalsest 100% tegelikust "täpsusest" väga kaugel. Kuid tegelikult on see suur hüpe võrreldes eelmise põlvkonna mudelitega (ChatGPT, mis põhineb GPT-3.5 arhitektuuril) – nende täpsus oli 40-50%. Selgub, et selline hüpe tehti 6-8 kuud kestnud uurimistöö raames.

Selge on see, et mida lähemale 100%, seda keerulisem on teha mõningaid parandusi, et mitte midagi mudeli mõistmises ja teadmistes “murdma hakata”.

Kõik eelnev viitab aga kontekstita küsimustele. Näiteks võite küsida: "Millal oli Einstein? Mudel peaks tuginema ainult sisemistele teadmistele, mis on sellesse "kinnitatud" kogu Internetist pärit andmete pikaajalise koolituse etapis. Nii et inimene ei saa vastata! Aga kui nad mulle mingi lehe Vikipeediast annaksid, siis saaksin seda lugeda ja infoallika järgi vastata. Siis oleks vastuste õigsus 100% lähedal (kohandatud allika õigsuse järgi).

Seega, kui mudel on varustatud kontekstiga, milles teave sisaldub, on vastus palju usaldusväärsem.

Aga kui laseks mudelil googeldada ja leiame internetist infoallikad? Et ta ise leiaks allika ja ehitaks selle põhjal vastuse? Noh, see on juba tehtud! Seega ei saa te ise googeldada, vaid delegeerida osa Interneti-otsingust GPT-4-le endale. Selleks on aga vaja tasulist tellimust.

Mis puudutab edasisi edusamme mudelis faktilise teabe usaldusväärsuse arendamisel, siis OpenAI tegevjuht Sam Altman annab selle probleemi lahendamiseks kulub teadlaste meeskonnal hinnanguliselt 1,5–2 aastat. Jääme seda väga ootama! Kuid praegu pidage meeles, et te ei pea neuroni kirjutatut 100% usaldama ja kontrollige vähemalt allikaid.

5. Kas on tõsi, et närvivõrgud varastavad tõeliste kunstnike jooniseid?

Jah ja ei – mõlemad konflikti pooled vaidlevad selle üle aktiivselt kohtutes üle maailma. Võib kindlalt öelda, et pilte otseselt mudelitesse ei salvestata, ilmneb lihtsalt “valvsus”.

Selles plaanis neuronid väga sarnased inimestega, kes esmalt õpivad kunsti, erinevaid stiile, vaatavad autorite töid ja proovivad siis jäljendada.

Mudelid aga õpivad, nagu me juba teada saime, vastavalt vigade minimeerimise põhimõttele. Ja kui modell näeb treeningu ajal sama (või väga sarnast) pilti sadu kordi, siis tema vaatenurgast on parim strateegia pildi meeldejätmine.

Võtame näite: teie kunstikooli õpetaja valis väga kummalise strateegia. Joonistate iga päev kaks pilti: esimene on alati ainulaadne, uues stiilis ja teine ​​on Mona Lisa. Aasta pärast proovite õpitut hinnata. Kuna olete Mona Lisat üle 300 korra joonistanud, mäletate peaaegu kõiki üksikasju ja nüüd saate seda reprodutseerida. See ei ole täpne originaal ja kindlasti lisate midagi oma. Värvid saab olema veidi erinev.

Ja nüüd palutakse teil joonistada midagi, mis oli 100 päeva tagasi (ja mida sa kord nägid). Te reprodutseerite vajaliku palju ebatäpsemalt. Lihtsalt sellepärast, et käsi pole topitud.

Sama lugu neuronitega: nad õpivad kõikidel piltidel ühtemoodi, lihtsalt mõned on rohkem levinud, mis tähendab, et modellile tehakse ka treeningutel sagedamini trahvi. See ei kehti ainult kunstnike maalide kohta - mis tahes pildi (isegi reklaami) kohta koolitusproovis. Nüüd on olemas meetodid duplikaatide kõrvaldamiseks (sest nende peal treenimine on vähemalt ebaefektiivne), kuid need pole täiuslikud. Uuringud näitavad, et on pilte, mis esinevad treeningu ajal 400-500 korda.

Minu otsus: närvivõrgud ei varasta pilte, vaid peavad jooniseid lihtsalt näideteks. Mida populaarsem on näide, seda täpsemalt mudel seda reprodutseerib.

Inimesed teevad trennis samamoodi: vaatavad ilu, uurivad detaile, eri stiile kunstnikud. Kuid kunstnike või fotograafide puhul, kes on pool oma elust käsitööd õppinud, on vaatenurk sageli eelkirjeldatust kardinaalselt erinev.

6. Kas vastab tõele, et "kõik on kadunud" ja närvivõrgud võtavad inimestelt töö ära? Kes hoolib kõige rohkem?

Oluline on eraldada ainult teatud ülesandeid täitvad "närvivõrgud" üldotstarbelistest närvivõrkudest nagu ChatGPT. Viimased järgivad väga hästi juhiseid ja suudavad kontekstis näidetest õppida. Tõsi, praegu on nende "mälu" suurus piiratud 10-50 leheküljega tekstiga, nagu ka refleksiooni- ja planeerimine.

Aga kui kellegi töö taandub rutiinsele juhiste täitmisele ja seda on lihtne paari päevaga artikleid lugedes selgeks õppida (või kui kogu Internet on selle teabega täidetud) ja tööjõukulud on keskmisest kõrgemad - siis varsti selline töö automatiseerida.

Kuid iseenesest ei tähenda automatiseerimine inimeste täielikku väljavahetamist. Ainult osa rutiinsest tööst saab optimeerida.

Inimene hakkab saama huvitavamaid ja loomingulisemaid ülesandeid, millega masin (seni) hakkama ei saa.

Kui tuua näiteid, siis muudetavate või asendatavate rühma elukutsed Kaasaksin näiteks maksuassistendid-konsultandid, kes aitavad koostada deklaratsiooni ja kontrollivad tüüpilisi vigu, tuvastavad ebakõlasid. Muudatused on võimalikud sellisel erialal nagu kliinilise uuringu andmehaldur - töö olemus seisneb aruannete täitmises ja nende vastavusseviimises standarditabeliga.

Kuid kokk või bussijuht on palju kauem nõutud lihtsalt sellepärast, et nad suudavad ühendada närvivõrke ja reaalset füüsiline maailm on üsna keeruline, eriti seadusandluse ja regulatsioonide osas – tänud bürokraatidele ärakolimise eest Kriis AI!

Suuri muutusi on oodata trükimaterjalide ja tekstilise infoga seotud tööstusharudes: ajakirjandus, haridust. Esimese väga suure tõenäosusega kirjutavad neuronid peagi teeside komplektiga mustandeid, milles inimesed juba punktimuudatusi teevad.

Kõige enam rõõmustavad mind muudatused haridusvaldkonnas. Sööma uurimine, mis näitavad, et hariduse kvaliteet sõltub otseselt lähenemise "isiksusest" ja sellest, kui palju aega õpetaja konkreetsele õpilasele pühendab. Lihtsaim näide: 30-liikmelistes rühmades õpiku abil õpetamine on palju hullem kui individuaalne juhendaja spetsiifilistele vajadustele (küll sama programmi järgi, mis õpikus). AI arenedes avaneb inimkonnal võimalus pakkuda igale õpilasele isikupärastatud assistent. See on lihtsalt uskumatu! Õpetaja roll nihkub minu arvates strateegilisele ja kontrollivale rollile: õppe üldprogrammi ja järjestuse kindlaksmääramine, teadmiste kontrollimine jne.

7. Kas on võimalik laadida oma teadvus arvutisse, teha digitaalne kaksik ja elada igavesti?

Selles mõttes, kuidas seda ulme põhjal ette kujutatakse, ei. Saate õpetada modelli ainult teie suhtlusstiili jäljendama, õppida oma nalju. Võib-olla suudavad GPT-4 taseme mudelid isegi leiutada uusi, mis on kujundatud teie ainulaadse stiili ja esitusviisiga, kuid see ei tähenda selgelt teadvuse täielikku ülekandmist.

Me inimkonnana jällegi ei tea, mis on teadvus, kus see on talletatud, mille poolest see teistest erineb, mis teeb minust – minust ja sinust – sinu. Kui äkki selgub, et see kõik on vaid mälestuste ja kogemuste kogum, mis on korrutatud individuaalsete omadustega taju, siis on suure tõenäosusega võimalik teadmised kuidagi üle kanda närvivõrkudesse, et need simuleeriksid tulevast elu nende alus.

8. Kas on ohtlik oma häält, välimust, teksti kõnestiili närvivõrku üles laadida? Tundub, et sellise digitaalse identiteedi saab varastada.

Neisse ei saa sõna otseses mõttes midagi alla laadida. Saate neid treenida (või ümber treenida) nii, et tulemused sarnaneksid rohkem teie välimuse, hääle või tekstiga. Ja sellise väljaõppinud mudeli saab tõesti varastada, st lihtsalt kopeerida skript ja parameetrite komplekt teises arvutis käivitamiseks.

Saate isegi päringuga video luua raha üle kanda kellegi teise kulul, millesse teie sugulane usub: parimad sügavvõltsimise ja hääle kloonimise algoritmid on juba selle taseme saavutanud. Tõsi, vaja on tuhandeid dollareid ja kümneid tunde salvestust, kuid sellest hoolimata.

Üldjuhul muutub tehnoloogia arenguga olulisemaks identiteedi tuvastamise ja kinnitamise küsimus.

Ja nad püüavad seda ühel või teisel viisil lahendada. Näiteks on olemas startup WorldCoin (tegelikult teeb see krüptovaluutat), millesse investeeris OpenAI juht Sam Altman. Käivitamise mõte seisneb selles, et iga inimese kohta käiv info allkirjastatakse tema enda võtmega hilisemaks tuvastamiseks. Sama kehtib ka massimeedia kohta, et teada saada, kas see uudis on tõsi või võlts.

Kuid kahjuks on see kõik prototüüpide staadiumis. Ja ma ei pea süsteemide sügavat juurutamist kõigis tööstusharudes järgmise kümnendi silmapiiril elluviimiseks lihtsalt seetõttu, et see on liiga keeruline ja mastaapne.

9. Kas neuronid võivad hakata kahjustama ja maailma üle võtma?

Oht ei ole praegused arengud, vaid see, mis neile edasise arenguga järgneb. Praegu ei ole leiutatud meetodeid närvivõrkude toimimise juhtimiseks. Võtame näiteks väga lihtsa ülesande: veenduda, et modell ei vannu. Mitte kunagi. Pole olemas meetodit, mis võimaldaks teil sellist reeglit järgida. Siiani võite leida erinevaid viise, kuidas seda kõike ühtmoodi "aretada".

Kujutage nüüd ette, et me räägime tinglikult GPT-8-st, mille oskused on võrreldavad kõige võimekamate ja targemate inimeste oskustega. Närvivõrk oskab programmeerida, kasutada Internetti, teab psühholoogia ja mõistab, kuidas inimesed mõtlevad. Kui annate talle vabad käed ja ei sea konkreetset ülesannet, siis mida see teeb? Mis siis, kui ta avastab, et teda ei saa kontrollida?

Asjade halva käigu tõenäosus pole hinnangute kohaselt nii suur. Muide, puudub üldtunnustatud hinnang – kuigi kõik vaidlevad detailide, kahjulike tagajärgede jms üle. Nüüd nimetavad nad ligikaudseid arve vahemikus 0,01% kuni 10%.

Minu arvates on need tohutud riskid, eeldades, et kõige negatiivsem stsenaarium on inimkonna hävitamine.

Huvitaval kombel on ChatGPT ja GPT-4 tooted, mille lõid inimeste ja neuronite kavatsuste "joondamise" probleemidega tegelevad meeskonnad (üksikasjad leiate siin). Seetõttu kuulavad modellid nii hästi juhiseid, püüavad mitte olla ebaviisakad, esitavad täpsustavaid küsimusi, kuid see on ideaalist siiski väga kaugel. Kontrolliprobleem pole pooleldigi lahendatud. Ja kuigi me ei tea, kas seda üldse lahendatakse ja kui jah, siis milliste meetoditega. See on tänase päeva kuumim uurimisteema.

10. Kas närvivõrk võib inimesesse armuda?

Praeguste lähenemisviiside ja neuronite arhitektuuriga ei ole. Nad loovad ainult teksti, mis on sisendteksti jätkuna kõige usutavam. Kui viskad sisse armastusloo esimese peatüki, kirjutades selle ümber oma isiksuse alla ja palud modellil oma armastuskirjale vastata, tuleb ta sellega toime. Aga mitte sellepärast, et armusin, vaid sellepärast, et see sobib kõige täpsemalt konteksti ja palvega “kirjuta mulle kiri!”. Pidage meeles, et mudelid õpivad looma teksti, mis järgib juhiseid.

Pealegi pole põhiversiooni närvivõrkudel seda mälu - kahe erineva käivitamise vahel unustavad nad kõik ja veerevad tagasi "tehaseseadetele". Mälu saab lisada kunstlikult, justkui kõrvalt, nii et mudelisse söödetakse näiteks 10 lehekülge kõige asjakohasemaid "mälestust". Kuid siis selgub, et me lihtsalt sisestame algsesse mudelisse sündmuste kogumi ja ütleme: "Kuidas te sellistes tingimustes käituksite?" Modellil ei ole mingeid tundeid.