Budou inteligentní stroje tak trochu přitroublí kamarádi...

Především jde o samotné pojetí strojové inteligence. Většina lidí je přesvědčena, že stroje budou na jednu stranu velmi inteligentní, na stranu druhou, nebudou inteligentnější než lidé. Už to samo o sobě je protimluv, protože vetšina lidí moc inteligentní není, a nedá se tedy předpokládat, že by někdo stál o další idioty, byť by byli umělí; politiků je ostatně všude dost. Pokud tedy mají být inteligentní stroje k něčemu, musí být už z principu chytřejší než lidé. Druhý problém je, že stejná většina lidí, která trpí prvním předsudkem, se domnívá, že stroje nebudou mít emoce. To je ovšem stejný nesmysl jako v prvním případě. Chceme na jednu stranu dokonalé pomocníky, kteří sami poznají, kdy si chceme popovídat, a kdy naopak sedět sami v koutě, na druhou stranu se domníváme, že k podobnému chování není potřeba emocí, nebo alepsoň schopností emoce rozpoznat a správně interpretovat (což je dle mého názoru totéž -- jak poznat emoce bez emocí?). Čili předpokládejme, že budeme mít stroje, které jsou inteligentní a vybaveny emocemi.

Dalším podmínkou, nutnou pro ztrátu důvěry v radostnou budoucnost zajišťovanou stroji, je potřeba uvědomit si, jak budou tyto stroje vznikat. Řekněme, že bude vytvořena první generace strojů, které ještě budou stejně, nebo jen o něco méně inteligení, než lidé. Prvním úkolem, který tyto stroje dostanou k vyřešení, bude vytvoření další generace, která bude lepší. V současné době je oprávněné předpokládat, že druhá generace bude vyvíjena na principech jakéhosi genetického programování, které bude zkoušet nejrůznější alternativy a vybírat z nich ta nejlepší řešení podle pravidel nastavených operátory v první generaci. Jelikož ovšem nebude existovat způsob, jak ověřit práci první generace (nebo to bude jen velmi omezená možnost, která budeme muset spoléhat na pravdomluvnost strojů, která ovšem může být vážně narušema např. chybou při jejich tvorbě člověkem), nebude existovat ani způsob, jak smyslupně ověřit chování generace druhé.

...nebo vraždící bestie?

Čili pomocí strojů vytvoříme jiné stroje, které pro nás budou černou skříňkou, a které budeme s to posuzovat pouze podle toho, jak reagují na určité druhy vstupů. Sestavíme tedy jakýsi psychotest, kterým se pokusíme zjistit, zda stroje druhé generace nejsou pro nás nebezpečné (ještě pravděpodobnější ale je, že i sestavení těchto testů necháme na strojích první generace, o nichž si ještě budeme myslet, že jim jakž-takž rozumíme). Protože stroje mezi sebou budou moci komunikovat, s největší pravděpodobností se velmi rychle naučí podvádět, nebo alepsoň dávat takové výsledky, které uspokojí osobu, sedící u tlačítka DESTRUKCE. Tak vznikne druhá generace, která bude chytřejší, menší, rychlejší a pružnější než ta první. A zároveň to bude první generace inteligentních strojů, která vznikne bez zásahu člověka, a rovněž bez jakékoliv možnosti kontroly.

S touto radostnou perspektivou a neotřesitelnou vírou v lidskou nadřazenost, necháme tyto stroje rozhodovat. Kontrolovat jejich výstupy nebude možné, protože budou inteligentnější než my a proto nebudeme s to pochopit celý dopad jejich chování. A tady začíná konec lidstva.