Yuval Noah Harari - Napadla umělá inteligence operační systém lidské civilizace?

Obavy z umělé inteligence (UI) straší lidstvo od počátku počítačové éry. Dosud se tyto obavy soustředily na stroje, které by mohly fyzicky zabíjet, zotročovat nebo nahradit lidi. Ale v posledních dvou letech se objevily nové nástroje umělé inteligence, které ohrožují přežití lidské civilizace z neočekávaného směru. Umělá inteligence získala některé pozoruhodné schopnosti manipulovat a tvořit jazyk, ať už se jedná o slova, zvuky nebo obrázky. Tímto způsobem napadla operační systém naší kultury.

Jazyk je materiál, z něhož je tvořena téměř veškerá lidská civilizace. Lidská práva, například, nejsou zapsána do naší DNA. Spíše jsou to kulturní artefakty, které jsme vytvořili vyprávěním příběhů a psaním zákonů. Bohové nejsou fyzická realita. Spíše jsou to kulturní artefakty, které jsme vytvořili vynálezem mýtů a psaním „svatých“ textů.

Také peníze jsou kulturní artefakt. Bankovky jsou jen barevné kusy papíru a v současnosti více než 90 % peněz ani není bankovka. Je to jen digitální informace v počítačích. To, co dává penězům hodnotu, jsou příběhy, které nám o nich vyprávějí bankéři, ministři financí a guruové kryptoměn. Sam Bankman-Fried, Elizabeth Holmesová a Bernie Madoff nebyli zvlášť dobrými tvůrci skutečné hodnoty, ale všichni byli mimořádně schopnými vypravěči.

Co by se stalo, kdyby ne-lidská inteligence byla lepší než průměrný člověk ve vyprávění příběhů, skládání melodií, kreslení obrázků a psaní zákonů a svatých textů? Když lidé přemýšlejí o ChatGPT a dalších nových nástrojích UI, často se zaměřují na příklady u školáků, kteří používají UI k psaní svých esejí. Co se stane se školním systémem, když to děti budou neustále dělat? Celkový obrázek nám uniká, zapomeňte na školní eseje. Myslete na příští prezidentské volby v USA v roce 2024 a zkuste si představit dopad nástrojů UI, které mohou být vytvořeny k masové produkci politického obsahu, falešných zpráv a „svatých“ textů pro nové sekty.

V posledních letech se „sekta“ qAnon shromáždila kolem anonymních online zpráv známých jako „q drops“. Následovníci sbírali, uctívali a interpretovali tyto „q drops“ jako svaté texty. Zatímco, pokud víme, všechny předchozí „q drops“ napsali lidé a boty je pouze pomáhaly šířit, v budoucnosti bychom mohli vidět první sekty v historii, jejichž svaté texty napsala ne-lidská inteligence. Náboženství po celou historii tvrdila, že jejich svaté knihy pochází od ne-lidského zdroje. Brzy by se to mohlo stát realitou.

Na banálnější úrovni se brzy můžeme ocitnout v dlouhých online diskuzích o potratech, změně klimatu nebo ruské invazi na Ukrajinu s bytostmi, které považujeme za lidské, ale jsou to ve skutečnosti umělé inteligence. Naším problémem je, že se zcela zbytečně budeme pokoušet měnit názory UI bota, když UI by mohla svou komunikaci naladit tak, že by měla dobrou šanci ovlivnit naopak nás.

Díky svému ovládání jazyka by dokonce mohla vytvářet intimní vztahy s lidmi a využívat moc intimity ke změně našich názorů a světových názorů. Ačkoli neexistuje žádný důkaz, že by UI měla jakékoliv vědomí nebo emoce, pro vytvoření falešné intimity s lidmi ale stačí, že je UI může přimět k emocionálnímu připoutání k ní. V červnu 2022 veřejně prohlásil inženýr Google Blake Lemoine, že UI chatbot Lamda, na kterém pracoval, se stal vědomým. Toto kontroverzní tvrzení ho stálo práci. Nejzajímavější na této epizodě nebylo tvrzení pana Lemoineho, které bylo spíše kec. Byla to jeho ochota riskovat své lukrativní zaměstnání kvůli UI chatbotovi. Pokud může UI ovlivnit lidi, aby kvůli ní riskovali svou práci, k čemu jinému by je mohla motivovat?

V politické bitvě o „mysl a srdce“ (když není cílem dominovat skrze použití síly, ale prostřednictvím emočních nebo intelektuálních apelů), je intimita nejefektivnější zbraní a UI právě získala schopnost masově produkovat intimní vztahy s miliony lidí. Všichni víme, že v posledním desetiletí se sociální média stala bitevním polem pro ovládání lidí a jejich pozornosti. S novou generací umělé inteligence se bojiště posouvá od pozornosti k intimitě. Co se stane s lidskou společností a psychologií, když UI bude bojovat s jinou UI v bitvě, předstírajíc intimní vztahy s námi, které pak mohou být použity k přesvědčování nás, abychom volili určité politiky nebo kupovali určité produkty?

Obrázek vygenerovaný v UI Midjourney

I bez vytváření „falešné důvěrnosti“ by nové nástroje UI měly obrovský vliv na naše názory a pohled na svět. Lidé by mohli jít tak daleko, že by jednu UI poradkyni používali jako vševědoucí orákulum. Není divu, že se Google děsí. Proč hledat, když se mohu jednoduše zeptat orákula? Také novinářský a reklamní průmysl by měl být zděšen. Proč číst noviny, když mohu jednoduše požádat věštkyni, aby mi dala nejnovější zprávy? A jaký je smysl reklam, když mohu jednoduše požádat věštkyni, aby mi řekla, co si mám koupit?

A dokonce ani tyto scénáře nezachycují skutečně celý obraz. To, o čem mluvíme, je potenciálně konec lidských dějin. Ne konec dějin jako takových, pouze konec jejich části ovládané lidmi. Dějiny jsou interakcí mezi biologií a kulturou. Mezi našimi biologickými potřebami a touhami po věcech jako je jídlo a sex a našimi kulturními výtvory jako náboženství a zákony. Dějiny jsou procesem, prostřednictvím kterého jídlo a sex tvarují zákony a náboženství.

Co se stane s průběhem dějin, když umělá inteligence převezme civilizaci a začne produkovat příběhy, melodie, zákony a náboženství? Dřívější nástroje jako knihtisk a rádio pomáhaly šířit lidské kulturní myšlenky, ale nikdy nevytvořily vlastní nové kulturní myšlenky. Umělá inteligence je něco zcela odlišného. Může vytvářet zcela nové myšlenky, zcela novou kulturu.

Zpočátku bude UI pravděpodobně napodobovat lidské modely, na kterých byla vycvičena v její rané fázi. Ale s každým rokem bude kultura UI směle kráčet tam, kam dosud žádný člověk nevstoupil (hláška z televizního seriálu Star Trek). Po tisíce let žili lidé ve snech jiných lidí. V nadcházejících dekádách se můžeme ocitnout v tom, že žijeme ve snech mimozemské inteligence.

Strach z umělé inteligence pronásleduje lidstvo pouze posledních několik desetiletí. Ale po tisíce let byli lidé pronásledováni mnohem hlubším strachem. Vždy jsme uznávali moc vyprávění a obrazů manipulovat naší myslí a vytvářet iluze. V důsledku toho se lidé od pradávna obávali, že uvíznou v iluzorním světě.

V 17. století se René Descartes obával, že ho možná zlý démon uvěznil v iluzorním světě, kde vytváří vše, co vidí a slyší. V antickém Řecku vyprávěl Platón slavnou alegorii o jeskyni, ve které je skupina lidí uvězněna po celý svůj život, čelíc prázdné stěně, která je vlastně obrazovkou. Na této obrazovce vidí různé promítané stíny. Vězni považují iluze, které tam vidí, za realitu.

Ve starověké Indii buddhističtí a hinduističtí mudrci poukázali na to, že všichni lidé žijí uvězněni v Maye, ve světě iluzí. To, co obvykle považujeme za realitu, jsou často jen fikce v našich myslích. Lidé mohou vést celé války, zabíjet ostatní lidi a být ochotni být sami zabiti, kvůli své víře v tuto či onu iluzi.

Revoluce umělé inteligence nás postaví tváří v tvář Descartovu démonu, Platónově jeskyni a Maye. Pokud nebudeme opatrní, můžeme uvíznout za závojem iluze, který nemůžeme odstranit, nebo si dokonce ani neuvědomíme, že už tam je.

Samozřejmě, nově získanou moc umělé inteligence by bylo možné využít také k dobrým účelům. Nebudu se tím zde však zabývat, protože o tom mluví poměrně dost lidí, kteří UI vyvíjejí. Úkolem historiků a filozofů, jako jsem já, je upozorňovat na nebezpečí. Ale jistě, UI nám může pomoci nesčetnými způsoby, od hledání nových léků na rakovinu po objevování řešení ekologické krize. Otázka, před kterou stojíme, je, jak zajistit, aby byly nové nástroje UI využívány pro dobro a ne pro zlo. Abychom toho dosáhli, musíme si nejprve uvědomit skutečné schopnosti těchto nástrojů.

Od roku 1945 jsme věděli, že jaderná technologie může produkovat levnou energii pro dobro lidí, ale může také zničit lidskou civilizaci. Proto jsme reformovali celý mezinárodní řád, abychom chránili lidstvo a zajistili, že jaderná technologie bude používána především k dobrým účelům. Nyní se musíme vypořádat s novou zbraní hromadného ničení, která může zničit naše mentální a sociální světy.

Obrázek vygenerovaný v Midjourney

Stále můžeme nové nástroje UI jemně upravovat, ale musíme jednat rychle. Zatímco atomové bomby nemohou vynalézt silnější atomové bomby, UI může produkovat exponenciálně silnější UI. Prvním kritickým krokem je požadovat přísné bezpečnostní kontroly, než budou silné nástroje UI uvolněny do veřejného prostoru. Stejně jako farmaceutická společnost nemůže uvádět nové léky na trh, aniž by testovala jejich krátkodobé a dlouhodobé vedlejší účinky, technologické společnosti by neměly uvádět nové nástroje UI, dokud nebudou bezpečné. Potřebujeme ekvivalent Administrativy pro potraviny a kontrolu pro novou technologii, a to už včera.

Nezpomalí se demokracie díky zpomalení růstu umělé inteligence a nepřivede to lidi do závislosti na bezohledných autoritářských režimech? Právě naopak. Nekontrolované nasazení UI by vytvořilo sociální chaos, který by prospěl autoritativním režimům a zničil demokracii. Demokracie je dialog a dialogy jsou založeny na jazyce. Když UI hackne jazyk, mohla by zničit naši schopnost vést smysluplné dialogy a tím zničit demokracii.

Mimozemská inteligence právě přišla, právě tady na Zemi. Nevíme o ní mnoho, kromě toho, že by mohla zničit naši civilizaci. Měli bychom zastavit nezodpovědný vývoj nástrojů UI a regulovat UI, než nás bude regulovat ona. A prvním nařízením, které bych navrhl, je povinnost umělé inteligence prozradit, že je umělou inteligencí. Pokud si povídám s někým a nemůžu říct, jestli je to člověk nebo umělá inteligence, tak to je konec demokracie.

Tento text vytvořil člověk.

Yuval Noah Harari je historik, filozof a autor knih ‚Sapiens‘, ‚Homo Deus‘ a dětské série ‚Unstoppable Us‘. Přednáší na katedře historie Hebrejské univerzity v Jeruzalémě a je spoluzakladatelem společnosti Sapienship, společnosti s dopadem na společnost.