A co se stane za jeden dva měsíce (nebo za jeden dva dny)? Mohu ukázat pouze na jednu analogii: vznik lidstva. Budeme v posthumánní éře. A při všem mém nezkrotném technickém optimismu si někdy myslím, že bych se cítil lépe, kdybych uvažoval o těchto událostech jako o něčem vzdáleném tisíc let - a ne dvacet.

Je možné se Singularity vyvarovat?

No, možná k tomu vůbec nedojde: někdy se pokouším představit si symptomy, které bychom mohli očekávat, kdyby se Singularita neměla vyvinout. Široce jsou přijímány argumenty Penrosa [19] a Searla [22] proti praktické možnosti vytvoření strojového rozumu. V srpnu 1992 uspořádala společnost Thinking Machines Corporation seminář (workshop) na téma "Jak sestrojíme stroj, který myslí" [27]. Jak lze usoudit z názvu, účastníci nebyli příliš nakloněni argumentům proti strojové inteligenci. Panoval prakticky souhlas s názorem, že myšlení může být založeno na nebiologickém základě a že zásadní význam pro existenci myšlení mají algoritmy. Mnoho se však debatovalo o tom, jak výkonný je hardware lidského mozku. Většina účastníků souhlasila s Moravcovým [17] odhadem, podle něhož nás od vyrovnání hardwarového výkonu dělí deset až čtyřicet let. Přesto zde byla zastoupena menšina, která poukazovala na [7] [21] a soudila, že výpočetní mohutnost jednotlivých neuronů může být mnohem větší, než se běžně věří. Je-li to pravda, mohlo by současnému počítačovému hardwaru do zařízení, které nosíme v hlavě, chybět deset řádů. Pokud je tomu tak (nebo je-li Penrosova či Searlova kritika oprávněná), Singularitu možná nikdy neuvidíme. Místo toho bychom v prvním desetiletí po roce 2000 mohli zjistit, že se výkonová křivka hardwaru začíná narovnávat - v důsledku naší neschopnosti automatizovat návrhářskou práci potřebnou k vývoji dalších hardwarových zlepšení. Skončili bychom u jistého velmi výkonného hardwaru, ale bez možnosti rozvíjej jej dále. Komerční digitální zpracování signálu by mohlo budit velký respekt a mohlo by se zdát, že i u digitálních operací jde o zpracování analogové, ale nikdy by se nic "neprobudilo" a nedošlo by k lavinovitému rozvoji inteligence, v němž tkví podstata Singularity. Pravděpodobně by tento stav byl považován za zlatý věk ... a byl by to současně konec pokroku. Velice se to podobá budoucnosti předpovězené Guntherem Stentem. V [25] na str. 137 Stent výslovně uvádí vyvinutí nadlidské inteligence jako dostatečnou podmínku pro nenaplnění jeho předpovědí.

Pokud však k technické singularitě může dojít, stane se tak. Dokonce i kdyby všechny vlády světa chápaly "hrozbu" a bály se jí jako čert kříže, vývoj by dále směřoval k tomuto cíli. V beletrii se objevily příběhy o zákonech, které zakazovaly konstrukci "stroje k obrazu lidské mysli" [13]. Konkurenční převaha - ekonomická, vojenská, dokonce i umělecká - každého pokroku v automatizaci je vskutku tak přesvědčivá, že přijímáni zákonů či uvalení cla, které by takové věci znemožňovaly, pouze zajistí, že cíle dosáhne dříve někdo jiný.

Eric Drexler [8]  působivě pronikl do podstaty toho, jak daleko může jít technický rozvoj. Souhlasí s tím, že nadlidské inteligence budou k dispozici v blízké budoucnosti - a že takové bytosti představují ohrožení lidského statu quo. Drexler však tvrdí, že taková nadlidská zařízení můžeme udržet na uzdě, takže bychom jejich výsledky mohli bezpečně zkoumat a používat. Je to ultrainteligentní stroj I. J. Gooda s jistou dávkou obezřetnosti. Já tvrdím, že takové zkrocení je v praxi zásadně neproveditelné. V případě fyzického uvěznění: představte si, že jste zamčeni ve svém domě s pouze omezeným datovým spojením ven ke svým pánům. Pokud tito páni myslí řekněme milionkrát pomaleji než vy, sotva můžeme pochybovat, že během několika let (vašeho času) byste mohli přijít s "užitečnou radou", která vás jen tak mimochodem osvobodí. (Říkám tomu "rychle myslící" forma superinteligence, "slabá nadlidskost". Taková "slabě nadlidská" bytost by se pravděpodobně "prokopala" na svobodu během několika týdnů vnějšího času. "Silná nadlidskost" by byla víc než jen ekvivalent lidské mysli roztočený na vysoké obrátky. Je těžké říci přesně, jak by "silná nadliskost" vypadala, ale rozdíly by asi byly zásadní. Představte si velmi rychlé psí myšlení. Pomohly by tisíce let psího života lidskému chápání? (No, kdyby se psí myšlení šikovně "předrátovalo" a potom rozjelo vysokou rychlostí, to by mohlo být něco jiného...) Zdá se, že mnoho spekulací o superinteligenci je založeno na "slabě nadlidském" modelu. Věřím, že postsingulární svět odhadneme nejlépe tím, že budeme přemýšlet nad vlastnostmi silné nadlidskosti. K tomu se v další části ještě vrátím.)

Jinou možností je vestavět do mysli vytvářené nadlidské bytosti pravidla (například Asimovovy zákony robotiky [3]). Myslím si, že každá pravidla tak přísná, aby byla účinná, vytvoří současně zařízení, jehož schopnosti budou jednoznačně pokulhávat za  nespoutanými verzemi (a lidská soutěživost tak bude dávat přednost nebezpečnějším modelům). Přesto je Asimovův sen úžasný: představte si ochotného otroka, který má po všech stránkách tisícinásobek vašich schopností. Představte si stvoření, které může splnit každé vaše bezpečné přání (ať tento termín znamená cokoli) a stále mu zbývá 99,9 % pro jiné činnosti. To by byl nový svět, který bychom nikdy opravdu nechápali, ale byl by plný laskavých bohů (i když jedno z mých přání by bylo stát se jedním z nich).