01/03/24

La cecità della macchina (e della bomba)


«Il crescente affidamento che la nostra società fa sui computer, che erano inizialmente destinati ad “aiutare” la gente a fare analisi e a prendere decisioni, ma che da ormai molto tempo hanno da un lato superato la comprensione di chi li usa, diventando d’altro canto indispensabili, è un fenomeno molto grave. […]

Il computer ha così cominciato a essere uno strumento per la distruzione della storia. Perché quando la società legittima soltanto quei “dati” che sono “in un formato standard” e che “sono facili da comunicare alla macchina”, allora la storia, la memoria stessa, viene annullata. Il “New York Times” ha già incominciato a costruire una “banca-dati” di avvenimenti attuali. Naturalmente, soltanto quei dati che possono essere ricavati facilmente come sottoprodotti delle macchine compositrici possono venire immessi nel sistema. Col crescere del numero di abbonati a questo sistema, […] quanto tempo ci vorrà prima che sia il sistema a determinare che cosa va considerato “un fatto”? […]

Nella recente guerra degli Stati Uniti contro il Vietnam [l’autore scriveva nel 1976, ndr], erano dei computer, fatti funzionare da ufficiali che non avevano la più lontana idea di cosa succedesse dentro le loro macchine, a scegliere quali villaggi dovessero essere bombardati, e quali regioni avessero una densità di Viet Cong sufficiente a farle “legittimamente” dichiarare zone di “fuoco a volontà”, cioè vaste regioni geografiche in cui i piloti avevano il “diritto” di uccidere qualsiasi oggetto vivente. Naturalmente, in queste macchine potevano essere introdotti soltanto dati “leggibili dalla macchina”, cioè per lo più informazioni sui bersagli provenienti da altri computer. […]

Nella guerra moderna è normale che il soldato, per esempio il pilota di un bombardiere, operi a una distanza psicologica enorme dalle sue vittime. Egli non è responsabile delle ustioni ai bambini, perché non vede mai i loro villaggi, né l’esplosione delle sue bombe, né i bambini stessi fra le fiamme. Le moderne razionalizzazioni tecnologiche della guerra, la diplomazia, la politica e il commercio (come nel caso dei videogiochi) hanno un effetto ancora più insidioso sulle scelte politiche. Non soltanto i politici hanno abdicato alla loro responsabilità di prendere decisioni, lasciandola a una tecnologia che non capiscono – sebbene conservino l’illusione di essere loro, i politici, a formulare le domande sulla politica e a trovare le risposte –, ma la responsabilità è svanita proprio del tutto. […]

Il “bravo tedesco” dei tempi di Hitler poteva dormire più tranquillo perché “non sapeva” di Dachau. Non lo sapeva, ci ha detto in seguito, perché il sistema nazista era così ben organizzato da tenerglielo nascosto. (Curiosamente, però, io che ero adolescente in quella stessa Germania sapevo di Dachau. Io pensavo di avere ragione di temerla). Naturalmente, la vera ragione per cui il bravo tedesco non sapeva è che egli non aveva mai sentito come un suo dovere quello di chiedere cosa fosse successo al suo vicino ebreo il cui appartamento si era improvvisamente liberato. Il professore universitario che vide improvvisamente realizzato il suo sogno di essere promosso al rango di ordinario, non chiese come mai la sua preziosa poltrona fosse tutt’a un tratto diventata vacante. Alla fine, tutti i tedeschi diventarono delle vittime di quello che era loro “accaduto”.»

[Joseph Weizenbaum, Il potere del computer e la ragione umana (1976), Edizioni Gruppo Abele 1987, pp. 214-217.]

***

Due fotogrammi dal film La zona d’interesse (2023) di Jonathan Glazer

***

«Supponiamo che la bomba venga impiegata. Non sarebbe appropriato continuare a parlare di “agire”. Il processo attraverso il quale una simile “azione” finirebbe con l’essere effettuata sarebbe così indiretto e impenetrabile, consterebbe di tanti passi e passi parziali intermedi, di tante istanze, di cui nessuno sarebbe il passo, che, alla fine, ognuno avrebbe fatto soltanto qualche cosa, ma nessuno lo avrebbe “fatto”. Alla fine non sarà stato nessuno.

Per prevenire l’estremo pericolo di un richiamo della coscienza ci si è costruiti degli esseri a cui si può addossare la responsabilità, macchine-oracoli dunque, automi di coscienza elettronici – perché altro non sono le macchine calcolatrici cibernetiche che ora, quintessenza della scienza (e con ciò del progresso, e con ciò, sotto ogni riguardo, della morale), si assumono, ronzando, la responsabilità, mentre l’uomo si tiene in disparte e, per metà grato per metà trionfante, se ne lava le mani.

Per colui che aziona o fa azionare l’apparecchio la domanda se lo scopo che viene inserito nel circuito con un gioco di leve sia giustificabile, anzi se sia semplicemente sensato, non ha più alcuna importanza, com’è naturale, sin dal momento in cui l’apparecchio comincia a calcolare; alzi, la domanda è addirittura dimenticata. […] Con questo trasferimento della responsabilità all’oggetto (ritenuto “oggettivo”) e con la sostituzione della “responsibility” con un “response” meccanico egli ha trasformato il “dovuto” in un “giusto” da gioco degli scacchi, il vietato in qualche cosa di erroneo da gioco degli scacchi, ma questa trasformazione non gli ispira terrore. Eppure è, naturalmente, il fatto determinante. La prestazione dell’oracolo non può consistere in niente altro che nell’enumerare quali mezzi rappresentano un tornaconto in una situazione determinata dai fattori A B C - N, cioè quali perdite trovano un compenso; e, dato che per soppesare perdite e profitti possono venir inserite soltanto grandezze finite, anche la nostra vita viene inserita eo ipso quale grandezza finita, quindi soppesabile: e ciò significa che siamo già stati “annientati” dal metodo stesso, prima ancora di venir annientati effettivamente.»

[Günther Anders, L’uomo è antiquato, vol. I (1980), Bollati Boringhieri 2003, pp. 230-231.]

[immagine: spari sulla folla a Gaza, fotogramma da un video di sorveglianza aerea diffuso il 29/2/2024]