AirGuru »
Stenly (0:24:55): Troufam si tvrdit, ze tvoji definici kreativity nesplnuje ani clovek. I clovek si vzdycky klade jen otazky, co jsou nejak pribuzne tomu, co ma v datasetu (= na vstupnich periferiich), teda pokud neni nejak naprosto vylozene na drogach, a i to bych silne pochyboval.
Dokonce bych tvrdil, ze clovek je od prirody bytost spis s negativni kreativitou, protoze kreativni chovani neni moc dobra survival strategie. Prilis mnoho vyletu mimo osvedcene vzorce chovani a uvazovani predstavuje pomerne silne nebezpeci pro zivot. To je podle me taky duvod, proc nejkreativnejsi lidi co mame (napr. umelci), jsou velmi casto mentalne dost jinak nastaveni proti normalnim lidem, bud jedou desne v drogach nebo maji nejake silne psychicke problemy.
To pro AI vubec nemusi platit a prvek nahodneho generovani napadu muze byt jen nejak vhodne nastavitelny parametr :) A jak je videt na schopnosti pocitani matematickych prikladu, zjevne je uz ted GPT schopen abstrakce.
Ja myslim ze v cele te svoji uvaze akorat narazis na orchestraci celeho toho systemu. Ano, tedka je GPT-3 jen nejaky modul, kam napises zacatek textu, a ono to generuje pokracovani. Jeden vstup, jeden vystup. Kdyz s nim chces vest rozhovor, tak se to dela tak, ze mu na vstup davas vzdycky celou dosavadni historii rozhovoru, tj. jak tvoje otazky, tak jeho odpovedi. Ale tohle je ciste nase omezeni.
Neni asi zadny fundamentalni problem tohle zmenit. Tj.
- Zaridit, aby hybatel toho myslenkoveho procesu nemusel byt spousteci prikaz od cloveka, ale probihalo to samovolne
- Zaridit, aby vystupem nemusel byt jen text, ale treba i realne akce
- Zaridit, aby na vstupech nemusel byt jen text, resp. zaridit, soucasti vstupu byla i nejaka "pamet", nebo proste aby ta sit nebyla staticka, ale veskere akce co se kdy staly by se zapisovaly zpatky a prekalibrovavaly se na ne parametry.
A tim jsme se dostali zase zpatky k moji puvodni namitce proti tobe. GPT-3 je akorat nejak velmi dobre navrzena sit. Pokud ji jeste nasobne naskalujeme a zajistime ji dostatecne rozmanitou moznost vstupu a vystupu, cim se to bude efektivne lisit od cloveka? My v mozku taky nemame buhvi co a na elementarni urovni to jsou akorat nejake bunky co si posilaji elektricke signaly. Mame tam spoustu evolucne vyvinutych podsystemu, mozna se nejaky bunky na neco trochu vic specializujou, ale principalne je to porad jen nejaky transformator vstupnich elektrickych pulzu na vystupni.
Este abych se vyjadril k tem 80. letum. AI vyzkum prichazi kazdou chvili s necim novym. To neni tak ze zakladni myslenka je celou dobu stejna a akorat skalujeme vypocetni vykon. Design GPT je otazka poslednich 4-5 let a je to dost revoluce.
Tady mas dalsi esej, co psal GPT-3: https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3