Objevovat
Nezadržitelná vlna · Mustafa Suleyman, Michael Bhaskar
Technologie a budoucnost · Text zdarma

Nezadržitelná vlna

Mustafa Suleyman, Michael Bhaskar

Technologie, umělá inteligence, moc a největší dilema 21. století

25 min
PoslouchatČíst

O knize

V této knize z roku dva tisíce dvacet tři Mustafa Suleyman a Michael Bhaskar zkoumají novou technologickou vlnu vedenou umělou inteligencí a syntetickou biologií. Jejich ústřední otázka nezní, zda budou tyto nástroje užitečné, ale zda si společnosti dokážou zachovat smysluplnou kontrolu ve chvíli, kdy se mocné schopnosti stávají levnějšími, rozšířenějšími a autonomnějšími. Kniha spojuje technologický optimismus s varováním: inovace mohou přinést hluboký užitek, jejich rizika, motivace a nerovnoměrné rozdělení však vyžadují promyšlené řízení. České vydání vyšlo u Audiolibrixu; shrnutí vychází z původní knihy, nikoli z dodatečného doslovu novějšího anglického vydání.

Pro koho je kniha

Kniha je určena čtenářům, kteří hledají seriózní a přístupný rámec pro přemýšlení o umělé inteligenci, syntetické biologii, odolnosti institucí a rozdělování moci. Zvlášť užitečná může být pro studenty, manažery, učitele, pracovníky veřejné správy, podnikatele a občany, kterým vadí jak zjednodušený technologický optimismus, tak automatický katastrofismus. Čtenáři by měli očekávat argumentované předpovědi a návrhy veřejné politiky, nikoli definitivní obraz budoucnosti.

O autorovi

Mustafa Suleyman je technologický podnikatel, který spoluzaložil společnost DeepMind a později také Inflection AI. Jeho zkušenosti spojují vývoj produktů založených na umělé inteligenci s prací v oblasti politiky a řízení umělé inteligence. Michael Bhaskar je spisovatel a nakladatel, autor knih The Content Machine, Curation a Human Frontiers. Působil také jako rezidentní autor ve společnosti DeepMind. Společně přinášejí pohled člověka, který technologie buduje, i perspektivu nakladatele a systémového myslitele na společenské důsledky vznikajících technologií.

Text zdarma

Shrnutí a hlavní myšlenky

Shrnutí knihy zpracované ReWio. Autor původní knihy: Mustafa Suleyman, Michael Bhaskar.

Úvod

Nezadržitelná vlna je kniha o posunu ve schopnostech. Mustafa Suleyman a Michael Bhaskar tvrdí, že nejdůležitějším rysem pokročilých technologií není jen to, že známé úkoly zvládají rychleji nebo pohodlněji. Rozšiřují to, co mohou jednotlivci, firmy a státy skutečně dělat. Toto rozšíření může zlepšit zdravotnictví, vědecké objevy, vzdělávání, produktivitu i řešení problémů v oblasti životního prostředí. Zároveň však může rozšířit dosah podvodů, nátlaku, narušení a chyb. Jejich obavou není, že každý nový nástroj škodí. Pokrok také nepředstavují jako jediného padoucha s předem daným koncem. Jejich argument je náročnější: mocné technologie se šíří, protože řeší skutečné problémy, vytvářejí zisk, poskytují strategické výhody a vybízejí k napodobování. Jakmile se nějaká schopnost ukáže jako užitečná, další lidé ji přizpůsobí cílům, které původní vynálezci možná nikdy nezamýšleli. Vynálezci nemohou určovat každé pozdější použití, autoři však tvrdí, že stále nesou odpovědnost za to, co vytvoří, uvolní, umožní a učiní běžným. Kniha se zaměřuje především na propojení umělé inteligence a syntetické biologie. Umělá inteligence může pomáhat vykládat informace, odhalovat vzorce, navrhovat možnosti a koordinovat pracovní postupy. Biologické technologie dokážou stále častěji převádět znalosti do zásahů v živých systémech. Toto spojení je důležité, protože rychlejší zpracování informací může urychlit biologický výzkum a navrhování. Vyvážené čtení však vyžaduje důležitou výhradu: výpočty neodstraňují omezení laboratoří, potřebu fyzických materiálů, vědeckou nejistotu ani nutnost odborné a odpovědné práce. Model, který vytvoří věrohodný návrh, není totéž co bezpečný a ověřený výsledek v reálném světě. Autoři tento okamžik představují stejně tak jako politickou a institucionální výzvu, nejen jako výzvu technickou. Ptají se, zda lidstvo dokáže využít mimořádný přínos a zároveň zabránit vážným škodám. Potřebnou schopnost nazývají „zvládnutím“. Nejde o tvrzení, že dokonalá schránka může navždy uzavřít mocné znalosti. Jde o snahu zachovat možnost nebezpečný vývoj nebo nasazení sledovat, omezovat, přesměrovat a tam, kde je to odůvodněné, zastavit. Toto shrnutí chápe jejich argument jako provokativní rámec, nikoli jako prokázané proroctví. Některé jejich předpovědi jsou nutně nejisté. Užitečné je brát jejich otázky vážně, aniž bychom předpokládali, že umělá inteligence je vědomá, že budoucnost má jedinou nevyhnutelnou podobu nebo že se uskuteční každý znepokojivý scénář.

Schopnosti, nejen pohodlí

Ústřední myšlenkou knihy je, že technologie přerozdělují moc. Moc zde znamená schopnost dosáhnout určitého cíle: organizovat, přesvědčovat, navrhovat, analyzovat, koordinovat nebo jednat ve velkém měřítku. Starší digitální nástroje usnadnily zveřejňování a výměnu informací. Autoři tvrdí, že novější systémy stále více pomáhají s plánováním a prováděním. Tento rozdíl mění sázky. Systém umělé inteligence, který shrnuje dokumenty nebo navrhne rozvrh, může být užitečný, ale omezený. Systém napojený na účty, software, stroje nebo organizační procesy může potenciálně provést celý řetězec úkonů. Proto je zásadní rozlišovat mezi doporučením a oprávněným provedením. Nástroj může například doporučit vrácení peněz; povolit mu, aby peníze skutečně odeslal, je samostatné rozhodnutí o řízení. Může připravit zprávu; udělit mu oprávnění tuto zprávu odeslat klientovi je další hranice. Schopnosti výrazně rostou, když systémy získají přístup, oprávnění a autonomii. Autoři očekávají, že se mocné nástroje budou šířit, protože užitečnost vytváří motivaci. Firmy hledají efektivitu a nové produkty. Vlády hledají odolnost a strategickou výhodu. Výzkumníci hledají objevy. Běžní lidé hledají pomoc. Proto nestačí požádat jediného vynálezce, aby „jednal odpovědně“. Rozhodnutí jsou rozptýlena mezi dodavatele, provozovatele, uživatele, investory, regulátory a instituce. Další praktická úvaha: schopnost není totéž co důvěryhodnost. Systém může při mnoha příležitostech odvádět působivou práci, a přesto se nehodit pro rozhodující úkol, pokud se jeho chyby obtížně odhalují, jeho uvažování nelze smysluplně prověřit nebo se při vzniku škody vytratí odpovědnost. Spolehlivost závisí na kontextu. Překlep v interním návrhu není totéž jako chybný krok, který ovlivní něčí obživu, bezpečí nebo právní postavení. Představme si příklad, nikoli příhodu z knihy. Malá firma používá asistenta k přípravě odpovědí zákazníkům. To se dá poměrně snadno kontrolovat. Pokud mu firma později dovolí samostatně odesílat zprávy, schvalovat vratky nebo měnit předplatné, měla by nastavit jasné finanční limity, pravidla eskalace, záznamy a způsob, jak chyby napravit. Podstatná otázka nezní, zda je automatizace dobrá, nebo špatná. Jde o to, zda rozsah pravomoci odpovídá prokázané spolehlivosti a zda za výsledek stále odpovídá konkrétní člověk. Tento přístup se vyhýbá dvěma chybám. První je považovat každou automatizovanou funkci za existenční hrozbu. Druhá spočívá v tom, že zdánlivě malou změnu oprávnění považujeme za neškodnou. Širší varování autorů zní, že společnosti by měly sledovat, jak se schopnosti hromadí, nejen jak uhlazeně technologie působí.

Proč se umělá inteligence a biologie vzájemně posilují

Autoři stavějí umělou inteligenci a syntetickou biologii do středu nové vlny, protože je vnímají jako vzájemně se posilující víceúčelové schopnosti. Umělá inteligence pracuje především s informacemi: dokáže třídit, předvídat, vytvářet, simulovat a pomáhat při rozhodování. Biologie se týká živých systémů a schopnosti jim rozumět nebo je měnit. Podle autorů mohou lepší výpočetní nástroje urychlit části biologického výzkumu, zatímco biologické poznatky otevírají nové praktické možnosti v medicíně, zemědělství, materiálech i jinde. Tato kombinace dává skutečný důvod k naději. Výpočetní pomoc může výzkumníkům pomoci odhalovat slibné otázky, uspořádat velké množství důkazů a zkrátit některé části objevitelského procesu. Při opatrném použití by mohla zpřístupnit užitečné odborné znalosti většímu počtu lidí. Učitel může pomocí nástroje umělé inteligence vytvářet různorodé procvičovací otázky, přizpůsobovat vysvětlení různým úrovním čtení nebo připravovat hodinu. Stále však musí ověřovat správnost, chránit soukromí žáků a rozhodnout, zda vytvořené cvičení skutečně rozvíjí zamýšlenou dovednost. Pomoc neznamená rezignaci na odpovědnost. Autoři se stejně obávají, že široce využitelné znalosti mohou mít škodlivá uplatnění. Netvrdí, že by se biologický výzkum měl zastavit nebo že každý, kdo se naučí více biologie, je nebezpečný. Jde o to, že širší přístup k mocným nástrojům pro navrhování a plánování může snížit některé překážky pro nezodpovědné či zlovolné aktéry. Přesný rozsah a načasování těchto rizik zůstávají nejisté a fyzické požadavky laboratorní práce jsou stále důležité. Možnost takového zneužití však mění měřítko bezpečnosti: nestačí posoudit, zda nástroj prospívá svědomitým uživatelům; tvůrci musí zvažovat také zneužití a selhání. Různá nebezpečí vyžadují různou ochranu. Předcházet nehodám není totéž jako bránit úmyslnému zneužití. Prevence nehod může zahrnovat školení, testování, kontrolní seznamy, srozumitelná rozhraní a bezpečné výchozí nastavení. Úmyslné zneužití může vyžadovat omezení přístupu, sledování vysoce rizikových schopností, vyšetřovací postupy a postihy za porušení pravidel. Pokud to všechno shrneme pod vágní pojem „bezpečnost“, mohou vzniknout mezery. Klíčové poselství knihy proto nezní, že umělá inteligence zázračně vyřeší biologii nebo že biologie činí katastrofu nevyhnutelnou. Jde o to, že dvě rychle se rozvíjející oblasti mohou násobit své účinky. Odpovědné řízení by se mělo dívat na celý spojený systém: co nástroj umožňuje, kdo ho může používat, jaké zdroje jsou ve skutečném světě stále zapotřebí a jaké záruky platí, než se určitá schopnost široce zpřístupní.

Vlastnosti, které ztěžují kontrolu

Suleyman a Bhaskar uvádějí několik tendencí, kvůli nimž může být technologie obtížně řiditelná. Zdůrazňují rychlé zlepšování, širokou znovupoužitelnost, nerovnoměrný dopad a rostoucí autonomii. Nejlépe je chápat je jako otázky k analýze, ne jako univerzální zákony. Ne každý systém umělé inteligence je víceúčelový. Ne každá biologická technika je snadno dostupná. Ne každý automatizovaný proces si zaslouží stejnou míru obav. Zaprvé mohou rychle se vyvíjející technologie předběhnout pravidla, školení i přizpůsobení organizací. Politika navržená pro loňský systém nemusí vyhovovat systému, který je levnější, schopnější nebo zabudovaný do nových pracovních postupů. Zadruhé lze víceúčelový nástroj přizpůsobit mnoha úkolům. To přináší obrovskou hodnotu, zároveň však ztěžuje předvídání každého použití. Úzce navržený systém pro jeden jasně vymezený účel lze někdy testovat a řídit přímočařeji než flexibilní nástroj, který putuje mezi různými oblastmi. Zatřetí znamená nerovnoměrný dopad, že poměrně malý aktér může někdy způsobit účinky daleko přesahující jeho zdroje. Digitální systémy mohou pracovat rychle a ve velkém měřítku; malá chyba, klamavá kampaň nebo automatizované rozhodnutí mohou zasáhnout mnoho lidí, než si toho někdo všimne. Začtvrté mění autonomní jednání provozní situaci. Systém, který při každém zásadním kroku čeká na člověka, se liší od systému, který volí cíle, používá nástroje a pokračuje v řetězci úkolů. Zásadní je rozlišovat mezi zdánlivou inteligencí nástroje a jeho provozní pravomocí. Systém může být vynikající při tvorbě plánu, ale slabý při řešení výjimek, střetu hodnot nebo chybějícího kontextu. Systém schopný v testovacím prostředí proto není automaticky důvěryhodný v nepřehledné instituci. Než se rozšíří jeho pravomoc, měly by si organizace položit otázky: Co tento systém dokáže? Co mu dovolujeme? Kdo ověřuje jeho kroky? Co se stane, když selže? Dokážeme jeho dopady dohledat a zvrátit? Příklad: nástroj pro veřejné služby může seřadit žádosti nebo vytipovat případy k prověření. Odpovědné řešení by z tohoto pořadí neudělalo nezpochybnitelné rozhodnutí. Nabídlo by srozumitelné důvody, zachovalo možnost odvolání, určilo odpovědný úřad a ověřovalo, zda chyby nespravedlivě nedopadají na určité skupiny. Nejde o komplikaci pro komplikaci samotnou. Jde o zachování legitimity v situaci, kdy rozhodnutí ovlivňují skutečné lidi. Rámec autorů podporuje přiměřenost. Systémy s omezeným rozsahem, omezenými oprávněními a snadno vratnými výsledky vyžadují jinou reakci než systémy ovlivňující kritickou infrastrukturu nebo schopné široce jednat bez kontroly. Cílem není panika ani pasivita. Jde o to propojit ochranná opatření se skutečnými vlastnostmi a důsledky dané schopnosti.

Šíření spolu se soustředěním

Jedním z nejužitečnějších napětí v knize je skutečnost, že technologická moc se může šířit směrem ven, zatímco klíčová infrastruktura zůstává soustředěná. Mnoho lidí může získat přístup k výkonným nástrojům prostřednictvím aplikací, rozhraní a služeb. Zároveň může vývoj největších systémů záviset na drahých čipech, datových centrech, specializovaných odbornících, kapitálu a dodavatelských řetězcích. Oba trendy mohou platit současně. To je důležité, protože veřejné argumenty často volí jen jednu stranu. Někteří tvrdí, že pokročilé technologie nevyhnutelně rozptýlí moc, protože se nástroje dostanou k většímu počtu uživatelů. Jiní říkají, že moc nevyhnutelně soustředí, protože infrastrukturu si mohou dovolit jen velké instituce. Pohled autorů naznačuje složitější obraz: přístup se může rozšiřovat, zatímco vliv nad základními systémy, distribučními kanály a technickými standardy může zůstat v rukou relativně malého počtu aktérů. To vytváří příležitosti i nebezpečí pro řízení. Soustředěná výpočetní infrastruktura může představovat praktický bod dohledu. Provozovatele velkých datových center a výkonných výpočetních zdrojů lze možná snáze identifikovat než každého budoucího uživatele digitálního nástroje. Autoři navrhují, že taková úzká místa by mohla podpořit licencování, ohlašovací povinnosti, monitoring a bezpečnostní požadavky. To je však návrh, nikoli úplná odpověď. Kontroly na úrovni infrastruktury mohou upevnit postavení stávajících hráčů, znevýhodnit menší výzkumníky a dát vládám nebo dominantním firmám přílišný vliv nad tím, kdo smí inovovat. Mohou také minout nástroje a schopnosti s menšími výpočetními nároky, které se šíří jinými cestami. Každý systém řízení využívající takové pákové body proto musí čelit těžkým otázkám: Kdo stanoví kritéria? Existuje nezávislý přezkum? Může se menší organizace odvolat proti chybnému zamítnutí? Jsou povinnosti transparentní a přiměřené? Chrání regulace veřejnost, aniž by pouze chránila zavedené hráče? Další praktická úvaha: spravedlivé řízení potřebuje prevenci i přístup. Pravidlo, které brání vážnému riziku, může být oprávněné, jeho legitimita však závisí na vysvětlení pravidla, možnosti napadnout je na základě důkazů a kontrole, zda jeho náklady nedopadají nerovnoměrně. Jinak se „zvládnutí“ může stát vznešeným označením pro svévolné vylučování. Kniha toto napětí neřeší a možná ani neexistuje jednoduchý vzorec. Její hodnota spočívá v tom, že tento kompromis zviditelňuje. Budoucnost, v níž jsou schopnosti široce rozdělené, se automaticky nestane demokratickou. Budoucnost, v níž je infrastruktura kontrolovaná, se automaticky nestane bezpečnou. Instituce musí společně zkoumat vlastnictví, odpovědnost, konkurenci i veřejný prospěch.

Instituce pod tlakem

Autoři se obávají, že instituce se nemusí dokázat přizpůsobovat stejně rychle jako technologie, na které mají dohlížet. Školy, soudy, úřady, firmy, média i demokratické systémy částečně závisejí na důvěře: lidé potřebují vědět, kdo rozhodnutí učinil, jaké důkazy hrály roli a kam se obrátit s žádostí o nápravu. Rychlé a škálovatelné technologie mohou tato uspořádání zatěžovat chybami, vydáváním se za jiné osoby, manipulací, neprůhledným rozhodováním nebo náhlými změnami ekonomické moci. To neznamená, že instituce jsou bezmocné nebo zastaralé. Znamená to, že záleží na jejich kapacitě. Pravidla musí být srozumitelná, odborné znalosti dostupné a postupy schopné učit se z nových důkazů. Vláda nebo organizace, která reaguje až po vzniku škody, může opakovaně regulovat problém včerejška. Systém, který se pokouší předvídat a zakázat každé možné budoucí použití, se však může stát strnulým, vtíravým a neúčinným. Kniha odmítá jednoduché extrémy. Všeobecné zákazy by připravily společnost o skutečný přínos a globálně by se obtížně vymáhaly. Úplný dohled by mohl slibovat kontrolu, zároveň by však podkopával občanské svobody, veřejnou důvěru i otevřené podmínky potřebné pro vědu a demokracii. Ani jedna cesta není bezbolestná. Dobré řízení musí uznávat střet hodnot, nikoli tvrdit, že bezpečnost odstraní všechny náklady. Praktičtějším modelem je postupné nasazování. Příklad: než se systém použije v celé organizaci, lze ho otestovat v omezeném prostředí s jasnými ukazateli výkonu, lidským dohledem, hlášením incidentů a plánem návratu k předchozímu stavu. Pokud naměřené chyby překročí dohodnutý práh, nasazení se pozastaví nebo zvrátí. To bezpečnost nezaručí, ale vytvoří zpětnou vazbu dřív, než se chyby zakoření. Veřejná důvěra vyžaduje také možnost napadnout rozhodnutí. Když automatizované doporučení ovlivní závažné rozhodnutí, dotčení lidé potřebují smysluplné vysvětlení, cestu k napadení výsledku a jasno v tom, která lidská instituce nese odpovědnost. „Systém to tak řekl“ není obhajitelná konečná odpověď. Suleyman označuje tendenci odmítat nepříjemná technologická rizika jako „averzi k pesimismu“. Je to jeho označení, nikoli klinická diagnóza, a nedokazuje, že každá pesimistická předpověď je správná. Jeho nejsilnější význam je skromnější: popírání může být stejně intelektuálně pohodlné jako senzacechtivost. Odpovědná příprava vyžaduje dívat se na věrohodná rizika, ověřovat tvrzení a měnit názory, když se změní důkazy.

Zvládnutí jako průběžná praxe

Navrhovanou odpovědí knihy je „zvládnutí“: vrstevnatá schopnost sledovat, omezovat a v případě potřeby zastavit vývoj nebo nasazení nebezpečných technologií. Autoři ho nepředstavují jako jednorázový vynález ani jako kouzelnou záruku. Naopak zdůrazňují napětí, že zvládnutí může působit mimořádně obtížně, a přesto je nutné o ně usilovat. Vrstvený přístup je důležitý, protože žádná jediná kontrola není sama o sobě dostatečně spolehlivá. Technická hodnocení mohou před vydáním zkoumat systémy kvůli chybám a škodlivému chování. Omezená oprávnění mohou zabránit nástroji v provádění závažných kroků bez schválení. V klíčových bodech lze vyžadovat lidské povolení. Auditní záznamy mohou učinit kroky zpětně přezkoumatelnými. Nezávislý dohled může zpochybňovat tvrzení firem. Odpovědnost a motivace mohou způsobit, že selhání bezpečnosti bude nákladné, místo aby se jeho náklady přenesly na veřejnost. Důvěryhodné standardy mohou vyjasnit očekávání a mezinárodní spolupráce může omezit pokušení závodit k riskantnějšímu nasazení. Tato opatření slouží různým účelům. Hodnocení se snaží odhalit slabiny. Kontrola přístupu omezuje, co systém dokáže. Audit podporuje odpovědnost zpětně. Právní odpovědnost mění motivace. Mezinárodní dohody řeší problém, že zdrženlivost jednoho aktéra může zneužít jiný aktér usilující o výhodu. Pokud tyto vrstvy zaměníme, může vzniknout falešný pocit bezpečí: systém může být dobře otestovaný, ale špatně řízený, nebo může být přísně omezený jednou firmou a přesto kopírovaný jinde. Konkurence je jedním z nejtěžších problémů autorů. Firmy se mohou bát, že je někdo předstihne. Státy se mohou obávat strategické nevýhody. Bezpečnostní zájmy mohou země odrazovat od sdílení informací nebo zpomalování vývoje. Dobrovolná zdrženlivost jediného aktéra je proto křehká. Kolektivní koordinace není zaručena, kniha však tvrdí, že je nezbytná právě proto, že jednostranná řešení jsou zranitelná. Návrhy autorů si zaslouží kritické posouzení. Kdo rozhodne, co představuje nepřijatelné riziko? Jak transparentní jsou hodnocení? Jaké informace musí zůstat důvěrné a jaké musí být veřejně zpochybnitelné? Jak zajistit, aby regulátoři zůstali technicky schopní a politicky odpovědní? Jak pravidla aktualizovat, když selžou? Tyto otázky nejsou námitkami zvenčí proti projektu zvládnutí; jsou podmínkou jeho legitimity. Zvládnutí bychom proto měli chápat jako průběžné řízení v podmínkách nejistoty. Jeho úspěch by neznamenal, že všechna rizika zmizí. Znamenal by, že si společnosti zachovají dostatečný přehled, pravomoc a schopnost přizpůsobení, aby dokázaly předcházet škodám, kterým lze zabránit, a zároveň ponechaly prostor pro prospěšné inovace.

Závěrečné shrnutí

Nezadržitelná vlna tvrdí, že pokročilé technologie bychom měli posuzovat podle schopností, které rozdělují, nikoli jen podle pohodlí, které nabízejí. Suleyman a Bhaskar považují umělou inteligenci a syntetickou biologii za obzvlášť významné, protože mohou urychlit objevování, zesílit organizační moc a snížit překážky pro sofistikované jednání. Jejich varování doprovází skutečný optimismus: stejné nástroje by mohly přinést velký veřejný prospěch. Jejich ústřední výzvou je zvládnutí. Ne trvalé technologické uzamčení, ne bezmyšlenkovité zrychlování ani představa, že vše vyřeší samotná regulace. Místo toho volají po překrývajících se technických, institucionálních, právních, ekonomických a mezinárodních opatřeních, která lidem zachovají schopnost škodlivá použití kontrolovat, omezovat a tam, kde je to nutné, zastavit. Kniha je nejsilnější tehdy, když nutí čtenáře klást praktické otázky. Co smí systém dělat? Kdo odpovídá za jeho selhání? Kde leží nevratné hranice? Kdo získá novou moc a kdo ponese nová rizika? Její předpovědi bychom neměli chápat jako termíny ani jistoty a je dobré mít na paměti perspektivu autorů z technologického průmyslu. Přesto jejich hlavní výzva zůstává cenná: pokrok nespočívá jen ve vynalézání mocných nástrojů. Jde také o budování institucí dostatečně vyspělých na to, aby jejich moc dokázaly řídit.

Související knihy