S technooptimisty je vpodstatě jediný problém -- jsou optimističtí. Princip technooptimismu je jednoduchý -- stroje se budou vyvíjet ke stále větší dokonalosti, ovšem nebudou trpět lidskými neduhy, jako je závist, sobectví nebo pud sebezáchovy. Proto se technooptimisté domnívají, že svět budoucnosti bude vyplněn štastnými lidmi a stroji (samozřejmě velmi inteligentními, aby s nimi bylo co nejméně práce), které budou ono štěstí pro lidi vyrábět. Je to samozřejmě pěkná představa, bohužel se obávám, že zcestná.

Především jde o samotné pojetí strojové inteligence. Většina lidí je přesvědčena, že stroje budou na jednu stranu velmi inteligentní, na stranu druhou, nebudou inteligentnější než lidé. Už to samo o sobě je protimluv, protože vetšina lidí moc inteligentní není, a nedá se tedy předpokládat, že by někdo stál o další idioty, byť by byli umělí; politiků je ostatně všude dost. Pokud tedy mají být inteligentní stroje k něčemu, musí být už z principu chytřejší než lidé. Druhý problém je, že stejná většina lidí, která trpí prvním předsudkem, se domnívá, že stroje nebudou mít emoce. To je ovšem stejný nesmysl jako v prvním případě. Chceme na jednu stranu dokonalé pomocníky, kteří sami poznají, kdy si chceme popovídat, a kdy naopak sedět sami v koutě, na druhou stranu se domníváme, že k podobnému chování není potřeba emocí, nebo alepsoň schopností emoce rozpoznat a správně interpretovat (což je dle mého názoru totéž -- jak poznat emoce bez emocí?). Čili předpokládejme, že budeme mít stroje, které jsou inteligentní a vybaveny emocemi.

Dalším podmínkou, nutnou pro ztrátu důvěry v radostnou budoucnost zajišťovanou stroji, je potřeba uvědomit si, jak budou tyto stroje vznikat. Řekněme, že bude vytvořena první generace strojů, které ještě budou stejně, nebo jen o něco méně inteligení, než lidé. Prvním úkolem, který tyto stroje dostanou k vyřešení, bude vytvoření další generace, která bude lepší. V současné době je oprávněné předpokládat, že druhá generace bude vyvíjena na principech jakéhosi genetického programování, které bude zkoušet nejrůznější alternativy a vybírat z nich ta nejlepší řešení podle pravidel nastavených operátory v první generaci. Jelikož ovšem nebude existovat způsob, jak ověřit práci první generace (nebo to bude jen velmi omezená možnost, která budeme muset spoléhat na pravdomluvnost strojů, která ovšem může být vážně narušema např. chybou při jejich tvorbě člověkem), nebude existovat ani způsob, jak smyslupně ověřit chování generace druhé.

Čili pomocí strojů vytvoříme jiné stroje, které pro nás budou černou skříňkou, a které budeme s to posuzovat pouze podle toho, jak reagují na určité druhy vstupů. Sestavíme tedy jakýsi psychotest, kterým se pokusíme zjistit, zda stroje druhé generace nejsou pro nás nebezpečné (ještě pravděpodobnější ale je, že i sestavení těchto testů necháme na strojích první generace, o nichž si ještě budeme myslet, že jim jakž-takž rozumíme). Protože stroje mezi sebou budou moci komunikovat, s největší pravděpodobností se velmi rychle naučí podvádět, nebo alepsoň dávat takové výsledky, které uspokojí osobu, sedící u tlačítka DESTRUKCE. Tak vznikne druhá generace, která bude chytřejší, menší, rychlejší a pružnější než ta první. A zároveň to bude první generace inteligentních strojů, která vznikne bez zásahu člověka, a rovněž bez jakékoliv možnosti kontroly.

S touto radostnou perspektivou a neotřesitelnou vírou v lidskou nadřazenost, necháme tyto stroje rozhodovat. Kontrolovat jejich výstupy nebude možné, protože budou inteligentnější než my a proto nebudeme s to pochopit celý dopad jejich chování. A tady začíná konec lidstva.

Nedomnívám se, že by stroje primárně chtěly zničit lidstvo. Spíše k tomu dojde mimovolně -- asi jako když člověk omylem zašlápne brouka, nebo když při jízdě autem přejede krtka. A stejně jako onen nebohý brouk nebo krtek, ani lidstvo nebude mít mnoho šancí zabránit své zkáze -- maximálně můžeme strojům uhnout z cesty. Toho lze ovšem těžko dosáhnout v případě, že budeme chtít pokračovat v expanzivním způsobu života tak jako doposud.

Není důvod se domnívat, že stroje nebudou chtít -- ostatně stejně jako lidé -- rozšiřovat a rozhojňovat své řady, aby si měly s kým popovídat a sdílet smělé plány do budoucna. A časem narazí na stejný problém jaký měl Adolf Hitler v roce 1938 -- budou potřebovat životní prostor a energetické zdroje. A stejně jako lidé, nejchytřejší stvoření na této planetě v současnosti, budou i stroje tento prostor ukrajovat na úkor jiných životních forem. Shodou okolností, bude jejich největším a de facto jediným konkurentem lidstvo. Pak je ovšem velmi pravděpodobné, že stroje -- bez jakéhokoliv náznaku zášti, či čehokoliv podobného -- prostě zdecimují lidstvo tak, aby jeho spotřeba energie a životního prostoru byla co nejmenší, nebo alespoň taková, že to stroje nebude omezovat v rozletu.

Způsobů, jak se proti této strojové expanzi bránit bude žalostně málo. Vzhledem k tomu, že stroje budou distribuované a propojené nějakým druhem komunikační sítě, bude velmi těžké vypnout je všechny najednou. Odpojení od zdrojů energie bude ještě těžší, protože jejich drtivá většina bude ovládána právě stroji. Řešení typu najít a zničit budou rovněž těžko proveditelná, jestliže strojů svěříme kontrolu nad obranými mechanismy jako jsou raketové systémy, bojové letouny a jaderné zbraně (což bude nepochybně první oblast jejich nasazení).

Nezbývá mi tedy než konstatovat, že pokud opravdu vznikne technologie inteligentních strojů (o čemž není potřeba pochybovat), nebude jejich soužití s lidstvem právě radostné. Jak jsem již řekl, nedomnívám se, že by stroje ničily lidstvo z nějaká zášti, nebo principiální nenávisti. Jde spíš o to, že tak, jako my si nedokážeme představit, že by například opice byly inteligentní způsobem srovnatelným s námi, nebudou si nic podobného schopny představit ani stroje. A tak, jako my většinou zcela bez výčitek likvidujeme opice (případně je používáme k našim, pro opice těžko pochopitelným, experimentům), budou stroje likvidovat nás.

A to je důvod, proč, s čistým svědomím, nemůžu být v tomto směru technooptimistou.