2
![]()
24/11/22
Dan McQuillan
Dan McQuillan est enseignant dans le domaine de l'informatique. Il a récemment publié
Resisting AI An Anti-fascist Approach to
Artificial Intelligence.
Titulaire d'un doctorat en physique expérimentale des particules, après son doctorat, il a travaillé comme assistant pour des personnes ayant des difficultés d'apprentissage et a été bénévole dans l’aide et le conseil juridique aux personnes psychiatrisées. Aux premiers jours du World Wide Web, il a créé un site web pionnier qui visait à fournir des informations dans leur laungue à des demandeurs d'asile et à des réfugiés. Il a aussi cofondé un projet de science citoyenne au Kosovo, aidant des jeunes issus de populations marginalisées à mesurer les niveaux de pollution et à inscrire la question de la qualité de l'air à l'ordre du jour national. Dan MacQuillan a été impliqué dans de nombreux mouvements sociaux de base, comme la campagne contre la Poll Tax au Royaume-Uni, dans le mouvement anti-globalisation et dans l'activisme environnemental. Au cours de la première vague de Covid-19, il a contribué à la création d'un groupe d'entraide local dans le nord de Londres, où il vit.
L'IA telle
que nous la connaissons aujourd’hui ne se limite pas à un ensemble de méthodes
algorithmiques tel que l'apprentissage profond, mais constitue un agencement ordonné
de technologies, d'institutions et d'idéologies qui prétendent offrir des
solutions à bon nombre des problèmes les plus délicats auxquels les sociétés
contemporaines sont actuellement confrontées. Sa capacité d'abstraction et de coordination
d’actions à grande échelle séduit les appareils d'État. En effet, c’est que la
bureaucratie et l'art de gouverner sont fondés sur les mêmes principes. Du
point de vue de l'État, les arguments en faveur de l'adoption des prétendus
gains d'efficacité à grande échelle que permettrait l'IA sont particulièrement
convaincants dans des contextes d'austérité budgétaire. Depuis la crise boursière
de 2008, les administrations publiques font face à une hausse de la demande alors
que leurs ressources se trouvent de plus en plus réduites. En effet, il y a
toujours plus de travailleurs pauvres, toujours plus d'enfants vivant sous le
seuil de pauvreté, toujours plus de problèmes de santé mentale et toujours plus
de misère, mais les services sociaux et les autorités civiles voient leurs
budgets réduits, les dirigeants politiques préférant diminuer l’offre de
services publics plutôt que de demander des comptes aux institutions
financières.
Nombre de politiciens
espèrent que la gouvernance algorithmique contribuera à résoudre la quadrature
du cercle entre l'augmentation de la demande et la diminution des ressources,
et qu'elle permettra de détourner l'attention du grand public quant au fait que
l'austérité constitue en fait le vol organisé des richesses des plus pauvres au
profit des élites. Dans ce contexte d'austérité, les capacités de classement de
l'IA permettent, par exemple, de différencier les bénéficiaires de l'aide
sociale entre les « méritants » et ceux qui seraient « non
méritants ». L’IA favorise aussi l’optimisation du triage au sein des administrations
en fonction des données qui sont collectées. Le passage à un classement
algorithmique ne se contente pas d'automatiser le système, mais le modifie
profondément et ceci sans aucun débat démocratique. Comme l'a signalé le
rapporteur spécial de l'ONU sur l'extrême pauvreté et les droits de l'homme, la
soi-disant mutation numérique et le passage à la gouvernance algorithmique
dissimulent en fait une myriade de transformations structurelles dans le
contrat social. La mise à niveau numérique de l'État correspond de plus en plus
à un filet de sécurité dégradé pour la plupart d'entre nous.
La « stratégie
de transformation » du gouvernement britannique en constitue un bel
exemple. Elle a été introduite dans la tourmente post-Brexit en 2017 et établit
que « le fonctionnement interne du gouvernement lui-même sera transformé dans
le cadre d'une campagne d'automatisation facilitée par la science des données
et l'intelligence artificielle. » Ce nouvel encadrement technique et
administratif permet de contourner le débat démocratique. Pour réduire le
nombre de demandeurs de prestations sociales, de nouvelles formes intrusives de
conditionnalité sont introduites, qui sont médiatisées par des infrastructures
numériques et de l’analyses de données. L'austérité a déjà servi de
justification pour réduire les prestations sociales et amplifier les conditions
générales de précarité. En y ajoutant la prise de décision automatisée, on
obtient une doctrine algorithmique de choc, où la crise sert de couverture à
des changements politiques controversés qui sont encore plus masqués du fait
qu'ils sont mis en œuvre par le biais d’obscurs programmes informatiques.
Ces
évolutions constituent des formes d'ingénierie sociale et ont de graves
conséquences. La restructuration des services sociaux au cours des dernières
années, sous le prétexte d’un impératif financier de réduction des dépenses
publiques, a non seulement généré pauvreté et précarité, mais a préparé aussi
le terrain pour les ravages de la pandémie de Covid-19, de la même manière que
des années de sécheresse précèdent souvent les ravages d'un feu de forêt. Selon
une étude de l'Institute of Health Equity, au Royaume-Uni, la
combinaison de la réduction des services sociaux et de santé, de la
privatisation et de la mauvaise santé liée à la pauvreté d'une proportion
croissante de la population au cours de la décennie qui a suivi le krach
financier a directement conduit le Royaume-Uni à un niveau record de
surmortalité durant la pandémie de Covid-19.
Bien que
les sanctions sociales soient dans un premier temps appliquées aux plus
marginalisés d’entre nous, à long terme, les changements de l'environnement
social alimentés par des algorithmes affecteront tout le monde. La
restructuration sociale qui en résultera sera marquée par l'abstraction, la
distanciation et l'optimisation propre aux méthodes de l'IA, et déterminera de
plus en plus la manière dont nous pourrons vivre, ou même si nous pourrons
vivre tout court.
L'IA va être
essentielle à cette restructuration, car ses opérations permettent de mettre à
niveau les divisions et les différenciations nécessaires. L'opération centrale
de l'IA, qui consiste à transformer la complexité désordonnée en schéma de
décision, est directement applicable aux inégalités qui sous-tendent le système
capitaliste en général, et l'austérité en particulier. En ignorant nos
interdépendances et en accentuant nos différences, l'IA incarne l'automatisation
du mantra de l'ancien Premier ministre britannique Margaret Thatcher selon laquelle
« la société n'existe pas ». Alors que l'IA est annoncée comme une
forme futuriste de technologie productive qui apportera l'abondance pour tous,
ses méthodes pour aider à décider qui obtient quoi, quand et comment, constituent
en fait des formes de rationnement. Dans un contexte d'austérité, l'IA devient une
machine à reproduire de la pénurie.
La cruauté apprise par la machine
La capacité
d'exclusion de l'IA ne se contente pas d'étendre la rareté, elle déclenche
aussi un processus de dérive vers des formes d’état d'exception. L’état
d'exception est un concept qui remonte à la pensée juridique de l'Empire Romain.
Il est censé permettre la suspension de la loi en temps de crise selon le
principe du necessitas legem non habet [la nécessité n'a pas de loi]. Il est
classiquement invoqué par la déclaration de la loi martiale ou, à notre époque,
par la création de trous noirs juridiques comme celui du camp de détention de
Guantanamo dans les années 2000.
La conception
moderne de l'état d'exception a été introduite par le philosophe allemand et
membre du parti nazi Carl Schmitt dans les années 1920, qui a attribué au
souverain le pouvoir de suspendre la loi au nom du « bien public ».
L'IA, quant à elle, a une tendance intrinsèque à créer des états d'exception
partiels grâce à sa capacité à imposer l'exclusion tout en restant opaque au
plus grand nombre. La vie des gens peut être impactée par le simple fait qu’un
seuil de confiance statistique est franchi, sans qu'ils le sachent. Les actions
de ségrégation et de raréfaction auxquelles se livre l'IA peuvent avoir force
de loi sans être de la loi, et créent ce que nous pourrions appeler de
nouvelles formes d’« états d'exception algorithmiques ».
Un exemple
typique est celui des listes d'interdiction de vol, qui empêchent des personnes
de prendre l'avion en raison de critères de sécurité inexpliqués et
incontestables. Selon un guide du gouvernement américain ayant fait l'objet
d'une fuite et indiquant qui devrait figurer sur une liste d'interdiction de
vol, « des preuves irréfutables ou des faits concrets ne sont pas
nécessaires », mais « le soupçon doit être aussi clair et aussi
complet que les circonstances le permettent ». Pour les algorithmes, bien
sûr, soupçon rime avec corrélation. Les systèmes internationaux de sécurité,
tels que ceux mis en œuvre par l'UE, adoptent de plus en plus l'apprentissage
automatique dans le cadre de leur mécanique. Ce que les systèmes d'IA vont
ajouter à la logique de la liste des personnes interdites de vol, ce sont des
soupçons assistés par ordinateur basés sur des corrélations statistiques.
Des
gouvernements mettent déjà en œuvre des régimes d'exception à part entière pour
les réfugiés et les demandeurs d'asile. Giorgio Agamben utilise le concept de « vie
nue » pour décrire la forme que prennent les corps soumis à l'état
d'exception, alors qu’ils sont privés d'existence politique ou civile. C'est la
vie de ceux qui sont condamnés à errer dans des endroits comme le camp de
réfugiés de Moria en Grèce ou dans le campement de fortune de la Jungle de
Calais. Pendant ce temps, les demandeurs d'asile en Italie sont contraints à
des situations « hyper-précaires » de non-existence légale, en ne
pouvant, par exemple, pas prétendre à la sécurité normalement garantie par l'État.
Dans le cadre du système britannique d' « environnement hostile »,
les personnes qui n'ont pas accès aux fonds publics en raison de leur statut
d'immigré se voient facturer 150 % du coût réel du traitement par le service
national de santé et sont menacées d'expulsion si elles ne paient pas. Dans ces
conditions, ces formes d’états d'exception de l'IA génèrent ce que l'écrivain
Flavia Dzodan appelle « une cruauté apprise par la machine », non
seulement aux niveaux des frontières nationales, mais aussi à travers les
frontières fluctuantes de la vie quotidienne.
Cette
diffusion de l'état d'exception de l'IA est menée grâce à des opérations de
redressement récursif. Les algorithmes prédictifs produisent des formes
nouvelles et agiles de classification personnelle, dynamiques et actualisées en
temps réel. L'émergence du redlining de l'IA peut être observée à partir d’exemples
tels que le logiciel « analyseur de traits » d'Airbnb, alimenté par
l'IA, qui évalue le risque de chaque réservation avant qu'elle ne soit
confirmée. Les algorithmes grattent et parcourent les informations disponibles
publiquement, telles que les médias sociaux, à la recherche de comportements
antisociaux, puis renvoient une note basée sur une série de modèles prédictifs.
Des utilisateurs ayant d'excellents avis sur Airbnb ont été bannis pour des « raisons
de sécurité », qui semblent être déclenchées par leurs réseaux d'amitiés
et d'associations, bien qu'Airbnb refuse de le confirmer.
La conception
de l’outil technologique mise en place par Airbnb précise que le score produit
par le logiciel d'analyse des traits de personnalité n'est pas seulement basé
sur l'individu, mais sur ses relations, qui sont combinées dans une « base
de données de graphes de personnalités. » L'apprentissage automatique
combine différents facteurs pondérés pour obtenir le score final, dans lequel
les traits de personnalité évalués comprennent « la méchanceté, les
tendances antisociales, la bonté, la conscience, l'ouverture, l'extraversion,
l'agréabilité, la névrose, le narcissisme, le machiavélisme ou la psychopathie »,
et les traits de comportement comprennent « la création d'un profil en
ligne faux ou trompeur, la fourniture d'informations fausses ou trompeuses au
fournisseur de services, la consommation de drogues ou d'alcool, la
participation à des sites Web ou à des organisations haineuses, la
participation au commerce du sexe, la participation à un crime, la
participation à un litige civil, le fait d'être un fraudeur ou un escroc connu,
la participation à la pornographie ou la rédaction d'un contenu en ligne au langage
négatif. »
Le recours
à l'apprentissage automatique pour le redlining est également visible
dans le cas de la base de données de NarxCare. NarxCare est une plateforme
d'analyse destinée aux médecins et aux pharmacies des États-Unis pour
"identifier instantanément et automatiquement le risque d'abus d'opioïdes
chez un patient". Il s'agit d'un système d'apprentissage automatique
opaque qui parcourt les dossiers médicaux pour attribuer aux patients un score
de risque d'overdose. L'un des échecs classiques du système a été
l'interprétation erronée des médicaments que les gens avaient obtenus pour des
animaux domestiques malades ; les chiens ayant des problèmes médicaux se voient
souvent prescrire des opioïdes et des benzodiazépines, et ces ordonnances
vétérinaires sont établies au nom du propriétaire. En conséquence, des
personnes ayant un besoin justifié d'analgésiques opioïdes pour des maladies
graves comme l'endométriose se sont vu refuser des médicaments par les hôpitaux
et par leurs propres médecins.
Les
problèmes de ces systèmes sont encore plus profonds ; l'expérience passée
d'abus sexuels a été utilisée comme un indicateur de la probabilité de devenir
dépendant des médicaments, ce qui signifie que le refus ultérieur de
médicaments devient une sorte de blâme envers la victime. Comme pour une grande
partie de l'apprentissage automatique appliqué au niveau social, les
algorithmes finissent simplement par identifier les personnes ayant des besoins
spécifiques, mais d'une manière qui amplifie leur abandon. De nombreux États
américains obligent les médecins et les pharmaciens à utiliser des bases de
données comme NarxCare sous peine de sanctions professionnelles, et les données
relatives à leurs habitudes de prescription sont également analysées par le
système. Un prétendu système de réduction des risques basé sur des corrélations
algorithmiques produit finalement nombre d’exclusions.
Ces types
de systèmes ne sont qu'un début. L'impact de ces états d'exception
algorithmiques se traduira in fine par la mise en place de mesures
d'exclusion punitives fondées sur l'application de critères sociaux et moraux
arbitraires à grande échelle. À mesure que les états d'exception partiels de
l'IA deviendront plus sévères, ils tireront leur justification sociale de la
hausse des niveaux de sécurisation. La sécurisation est un terme utilisé dans
le domaine des relations internationales pour désigner le processus par lequel
les politiciens construisent une menace extérieure, ce qui leur permet de
promulguer des mesures spéciales pour faire face à cette menace. Le succès de
l'adoption de mesures qui ne seraient normalement pas socialement acceptables
vient de la construction de cette menace comme existentielle - une menace pour
l'existence même de la société signifie que toute réponse est plus ou moins
justifiée.
De la tech à la prison
Un autre exemple
d'états d'exception algorithmiques tient à ce qu’on appelle la police
prédictive. La police prédictive illustre de nombreux aspects des injustices que
peut produire l'IA. Les dangers du déploiement d'algorithmes pour produire des
sujets que vous vous attendez à observer, par exemple, sont très clairs dans un
système comme ShotSpotter. ShotSpotter se compose de microphones fixés à des
structures à intervalles de quelques pâtés de maisons dans des quartiers de
villes comme Chicago, ainsi que d'algorithmes, dont une IA, qui analysent tous
les sons, tels que les détonations, pour déterminer s'il s'agit d'un coup de
feu. Un analyste humain dans une salle de contrôle centrale prend la décision
finale quant à l'envoi de la police sur les lieux. Bien entendu, les agents
présents sont préparés à s'attendre à une personne armée qui vient de tirer, et
les rencontres sous haute tension qui en résultent ont été impliquées dans des
incidents tels que le meurtre par la police d'Adam Toledo, treize ans, dans le
West Side de Chicago, alors que les images tirées de la caméra corporelle de l’officier
assassin ont montré que le jeune adolescent se conformait aux instructions de
la police juste avant d'être abattu.
ShotSpotter est un exemple frappant de la sédimentation des inégalités au moyen
de systèmes algorithmiques. Le logiciel superpose la suspicion prédictive à son
déploiement dans les communautés de couleur et en aboutissant, inévitablement,
à des cas d'emprisonnement injuste. D'autres systèmes de police prédictive sont
davantage dans le moule de la science-fiction classique tel qu’on la connaît dans
le roman Minority Report de Philip K Dick. Par exemple, le système
PredPol, qui a été largement adopté (récemment rebaptisé Geolitica), est issu
de modèles de recherche de ressources alimentaires développés par des
anthropologues, et a été transformé en système prédictif dans le cadre des
efforts de contre-insurrection en Irak. Ce n'est que plus tard qu'il a été utilisé
pour prédire la criminalité dans des zones urbaines comme Los Angeles.
L'effet en
cascade de la sécurisation et des états d'exception algorithmiques est
d'étendre la carcéralité, à savoir les dimensions de la gouvernance qui
s'apparentent à de la prison. La carcéralité se voit étendue par l'IA, tant
dans sa portée que dans sa forme : son omniprésence et les vastes masses de
données dont elle se nourrit étendent la portée des effets de la carcéralité,
tandis que le redlining virtuel qui se produit à l'intérieur des algorithmes
réitère leur forme historique en isolant les gens des services de l’État ou de
possibles perspectives d’ascension sociale. En même temps, l'IA contribue à la
carcéralité physique par la séquestration algorithmique des corps sur des lieux
de travail comme les entrepôts d'Amazon ainsi que par l'enrôlement direct de la
police prédictive et d'autres technologies de contrôle social dans ce que la Coalition
for Critical Technology appelle un "pipeline qui va tout droit de la
technologie vers la prison". La logique des méthodes prédictives et
préventives fusionne avec l'accent mis sur les notions de criminalité
individualisée pour étendre l'attribution de la criminalité à des attributs
innés dans les populations criminalisées. Ces combinaisons de prédiction et de
conception essentialiste, non seulement, légitiment l'intervention carcérale,
mais constituent également un processus de production des subjectivités
déviantes. L'IA est carcérale non seulement par son assimilation par les
agences d'incarcération de l'État, mais aussi par ses caractéristiques
opérationnelles.
La réduction du troupeau
Les
divisions sociales qui sont amplifiées par l'IA ont été mises en lumière par
l'épidémie Covid-19 : la pandémie est un test de résistance aux injustices
sociales profondes de notre époque. La raréfaction, la sécurisation, les états
d'exception et l'augmentation de la carcéralité accentuent des structures qui
fragilisent déjà la société, et la concentration croissante de la richesse et
de la mortalité pendant la pandémie est devenue un indicateur de la société
post-algorithmique. On dit souvent que ce qui vient après l'épidémie de
Covid-19 ne ressemblera pas à ce qui est antérieur, que nous devons nous
adapter à une nouvelle normalité ; on comprend peut-être moins à quel point
cette nouvelle normalité est déterminée par la normalisation des réseaux
neuronaux, à quel point le triage clinique déclenché par le virus est
représentatif de la distribution algorithmique à long terme des possibilités de
survie.
L'un des
premiers signes d'alerte a été la façon dont l'IA n'a absolument pas été à la
hauteur de son potentiel supposé en tant qu'outil prédictif lorsqu'il s'est agi
de l'épidémie Covid-19. Les premiers jours de la pandémie ont représenté une
période grisante pour les praticiens de l'IA, car il semblait que c'était le
moment venu pour tous ces nouveaux mécanismes d'analyse basés sur les données de
faire leurs preuves. Ils espéraient notamment être en mesure de prédire qui
aurait contracté le virus et qui, l'ayant contracté, pourrait tomber gravement
malade. Je me suis dit : "S'il y a un moment où l'IA peut prouver son
utilité, c'est maintenant". J'avais bon espoir", a déclaré un
épidémiologiste.
Dans
l'ensemble, les études ont montré que parmi les centaines d'outils mis au point,
aucun n’a produit de réelle amélioration, et que certains étaient même
potentiellement dangereux. Si les auteurs des études ont attribué le problème à
des ensembles de données de mauvaise qualité et à des conflits entre les
différentes normes de recherche dans les domaines de la médecine et de
l'apprentissage automatique, cette explication ne tient pas compte des
dynamiques sociales plus profondes qui ont été mises en évidence de manière
frappante par la lutte contre la pandémie, ni de la possibilité pour l'IA
d'alimenter et d'amplifier ces dynamiques.
Au Royaume-Uni, les directives appliquées lors de la première vague de Covid-19
stipulaient que les patients atteints d'autisme, de troubles mentaux ou de
difficultés d'apprentissage devaient être considérés comme
"fragiles", ce qui signifiait qu'ils ne seraient pas prioritaires
pour des traitements tels que les respirateurs. Certains médecins de proximité
ont envoyé des avis généraux de non-réanimation destinés aux personnes
handicapées. Le choc social de la pandémie a fait resurgir des présupposés
sociaux viscéraux sur la " forme physique ", qui ont façonné les politiques
et les décisions médicales individuelles, et qui se sont reflétés dans les
statistiques de décès de personnes handicapées. L'élaboration des politiques du
gouvernement britannique a enfreint ses obligations envers les personnes
handicapées, tant en vertu de sa propre loi sur l'égalité que de la Convention
des Nations Unies relative aux droits des personnes handicapées. "Il a été
extraordinaire de voir la vitesse et la propagation des pratiques eugéniques
soft", a déclaré Sara Ryan, une universitaire de l'Université d'Oxford.
"Il y a clairement des systèmes mis en place pour juger qui est ou n'est
pas digne d'être traité".
Parallèlement, il est apparu de manière flagrante que les communautés noires et
les minorités ethniques du Royaume-Uni étaient frappées par un nombre
disproportionné de décès dus au Covid. Bien que les premières tentatives
d'explication se soient appuyées sur le déterminisme génétique et les tropes de
la science raciale, ce type d'inégalités en matière de santé est principalement
dû à des antécédents d'injustice structurelle. Les déterminants sociaux de la
santé, tels que la race, la pauvreté et le handicap, augmentent la probabilité
de conditions de santé préexistantes, comme les maladies pulmonaires chroniques
ou les problèmes cardiaques, qui sont des facteurs de risque pour le Covid-19 ;
les mauvaises conditions de logement, notamment les moisissures, augmentent
d'autres comorbidités, comme l'asthme ; et les personnes ayant un travail
précaire peuvent tout simplement être incapables de travailler à domicile ou
même de se permettre de s'isoler. Tant de maladies sont en soi une forme de
violence structurelle, et ces déterminants sociaux de la santé sont précisément
les points de pression qui seront davantage comprimés par le système
d'extractivisme automatisé de l'IA.
En
comprimant le rythme de la mortalité et en diffusant la menace immédiate dans
toutes les classes sociales, la pandémie a rendu visible l'ampleur des décès
inutiles jugés acceptables par l'État. En termes de décès directement
imputables aux politiques du gouvernement britannique, par exemple, les
victimes de la pandémie peuvent être ajoutées aux quelque 120 000 décès en
surplus liés aux nombreuses années d'austérité. La pandémie a jeté une lumière
froide et révélatrice non seulement sur l'état en lambeaux de la protection
sociale, mais aussi sur une stratégie d'État qui considère certains groupes
démographiques comme sacrifiables. Le discours public sur la pandémie s’est
développé à partir d’une rhétorique tacite en faveur de la survie du plus fort,
les décès des personnes souffrant de "problèmes de santé
sous-jacents" étant présentés comme regrettables mais en quelque sorte
inévitables. Étant donné les fanfaronnades du gouvernement britannique sur la soi-disant
"immunité de groupe", il n'est pas surprenant de lire des
commentaires de journaux de droite affirmant que, "d'un point de vue
économique totalement désintéressé, le Covid-19 pourrait même s'avérer
légèrement bénéfique à long terme en éliminant de manière disproportionnée les
personnes âgées dépendantes".
Aussi effroyable que cela puisse être en soi, il est important d'examiner plus
en profondeur la perspective sous-jacente dont tout ceci résulte. Ce qui est en
jeu, ce n'est pas simplement l'optimisation économique, mais un calcul social
plus profond. La crainte fondamentale qui sous-tend l'acceptabilité de l'"abattage"
de sa propre population est qu'une population blanche fragile constitue une
hémorragie, qui rend la nation vulnérable au déclin et à son remplacement par
des immigrants issus de ses anciennes colonies. L'IA est un compagnon de route
de ce programme ultranationaliste d'optimisation de la population en raison de
son utilité comme mécanisme de ségrégation, de racialisation et d'exclusion.
Après tout, la frontière décisionnelle la plus fondamentale se situe entre ceux
qui peuvent vivre et ceux qui doivent être laissés à la mort.
L'IA constitue
ainsi une nouvelle forme de gouvernance qui correspond à ce que le philosophe
postcolonial Achille Mbembe appelle nécropolitique : l'opération "faire
vivre/laisser mourir". La nécropolitique est le pouvoir de l'État qui non
seulement discrimine dans l'attribution du soutien à la vie, mais approuve les
opérations qui permettent la mort. Il s'agit d'une dynamique de négligence
organisée, dans laquelle des ressources telles que le logement ou les soins de
santé font l'objet d'une raréfaction délibérée et dans laquelle des groupes
sont rendus vulnérables à des préjudices qui, autrement, pourraient être
évités.
La
désignation du caractère éliminable peut être appliquée non seulement à la
race, mais aussi à toute limite de décision. L'IA appliquée socialement agit de
manière nécropolitique en acceptant les conditions structurelles comme une
donnée et en projetant l'attribut de sous-optimalité sur ses sujets. La coût
deviendrait quelque chose d'inné à chaque individu. Le mécanisme de mise en
œuvre de ce coût est ancré dans l'état d'exception : L'IA devient le lien entre
la corrélation mathématique et l'idée du camp comme espace de la vie nue. Dans
la pensée d'Agamben, le camp est central, car il fait de l'état d'exception une
caractéristique territoriale permanente. La menace des états d'exception de
l'IA est la production computationnelle d’un camp virtuel. Comme le dit Mbembe,
l'origine du camp se trouve dans le projet de diviser les humains : la forme du
camp apparaît dans les guerres coloniales de conquête, dans les guerres
civiles, sous les régimes totalitaires, et maintenant comme une manière de
gérer à grande échelle des populations, des réfugiés ou encore des personnes
déplacées à l'intérieur d'un pays.
La logique historique du camp est l'exclusion, l'expulsion et, d'une manière ou
d'une autre, la mise en place d'un programme d'élimination et d’anéantissement.
Il y a ici un long enchevêtrement avec les mathématiques qui alimentent l'IA,
étant donné les racines de la régression et de la corrélation dans l'eugénisme de
scientifiques de l’époque victorienne comme Francis Galton et Karl Pearson. Le
concept même d'"intelligence générale artificielle" - la capacité
d'un ordinateur à comprendre tout ce qu'un humain peut comprendre - est
indissociable des efforts historiques visant à rationaliser la hiérarchie
raciale à une époque où le fait de disposer des machines nécessaires pour imposer
la domination coloniale était en soi une preuve de la supériorité de ceux qui
les utilisaient. Ce qui attend l'IA, c'est la réunification de la supériorité
raciale et de l'apprentissage automatique dans une version eugénique de la
machine. Il suffira d’une nouvelle crise sociale suffisamment grave pour que
tout ceci prenne alors forme à grande échelle. La pandémie préfigure aussi des
réponses étatiques similaires au changement climatique, dans laquelle les
frontières décisionnelles fondées sur les données seront mises en œuvre comme
des mécanismes d'apartheid mondial.
Lutter contre l’IA
La question est donc de savoir comment interrompre l’avancée
de rapports sociaux fascistes à l’aide de ces technologies avancées. L'opacité
la plus complète de l'apprentissage profond ne réside pas dans les milliards de
paramètres des derniers modèles, mais dans la manière dont il masque
l'inséparabilité de l'observateur et de l'observé, et le fait que nous nous
co-constituons tous les uns les autres. La seule réponse cohérente à la crise
sociale est, et a toujours été, l’entraide et le partage. Si la charge toxique
de l'apprentissage automatique sans contrainte correspond à l'état d'exception,
son inversion est un appareil qui met en œuvre la coopération.
Il ne s'agit pas d'un choix facile, mais d'un parcours du combattant, d'autant
plus qu'aucun des mécanismes libéraux de régulation ou de réforme ne le
favorisera. Néanmoins, notre ambition doit aller au-delà de la timide idée
d'une gouvernance de l'IA, qui accepte a priori ce à quoi nous sommes déjà
soumis, pour chercher à créer une pratique technique transformatrice qui
soutienne le bien commun.
Pour ça, nous pouvons nous appuyer sur notre propre histoire. Alors que la pensée
en réseaux revendique une généralisation à travers les domaines problématiques,
nous héritons d'un refus généralisé de la domination à travers les lignes de
classe, de race et de genre. La question est de savoir comment assembler cela
en relation avec l'IA, comment s'auto-constituer en conseils de travailleurs et
en assemblées populaires de manière à interrompre l'itération de l'oppression
par la recomposition de sujets collectifs. Notre survie même dépend de notre
capacité à reconfigurer la technologie pour qu'elle s'adapte à la crise en
déléguant le pouvoir à ceux qui, sur le terrain, sont les plus proches du
problème. Nous disposons déjà de toute l'informatique dont nous avons besoin.
Reste à savoir comment la transformer en une machine des communs.
Pour consulter la version originale de ce texte, c’est ici.
2
24/11/22
Dan McQuillan
Dan McQuillan est enseignant dans le domaine de l'informatique. Il a récemment publié Resisting AI An Anti-fascist Approach to Artificial Intelligence.
Titulaire d'un doctorat en physique expérimentale des particules, après son doctorat, il a travaillé comme assistant pour des personnes ayant des difficultés d'apprentissage et a été bénévole dans l’aide et le conseil juridique aux personnes psychiatrisées. Aux premiers jours du World Wide Web, il a créé un site web pionnier qui visait à fournir des informations dans leur laungue à des demandeurs d'asile et à des réfugiés. Il a aussi cofondé un projet de science citoyenne au Kosovo, aidant des jeunes issus de populations marginalisées à mesurer les niveaux de pollution et à inscrire la question de la qualité de l'air à l'ordre du jour national. Dan MacQuillan a été impliqué dans de nombreux mouvements sociaux de base, comme la campagne contre la Poll Tax au Royaume-Uni, dans le mouvement anti-globalisation et dans l'activisme environnemental. Au cours de la première vague de Covid-19, il a contribué à la création d'un groupe d'entraide local dans le nord de Londres, où il vit.
L'IA telle que nous la connaissons aujourd’hui ne se limite pas à un ensemble de méthodes algorithmiques tel que l'apprentissage profond, mais constitue un agencement ordonné de technologies, d'institutions et d'idéologies qui prétendent offrir des solutions à bon nombre des problèmes les plus délicats auxquels les sociétés contemporaines sont actuellement confrontées. Sa capacité d'abstraction et de coordination d’actions à grande échelle séduit les appareils d'État. En effet, c’est que la bureaucratie et l'art de gouverner sont fondés sur les mêmes principes. Du point de vue de l'État, les arguments en faveur de l'adoption des prétendus gains d'efficacité à grande échelle que permettrait l'IA sont particulièrement convaincants dans des contextes d'austérité budgétaire. Depuis la crise boursière de 2008, les administrations publiques font face à une hausse de la demande alors que leurs ressources se trouvent de plus en plus réduites. En effet, il y a toujours plus de travailleurs pauvres, toujours plus d'enfants vivant sous le seuil de pauvreté, toujours plus de problèmes de santé mentale et toujours plus de misère, mais les services sociaux et les autorités civiles voient leurs budgets réduits, les dirigeants politiques préférant diminuer l’offre de services publics plutôt que de demander des comptes aux institutions financières.
Nombre de politiciens espèrent que la gouvernance algorithmique contribuera à résoudre la quadrature du cercle entre l'augmentation de la demande et la diminution des ressources, et qu'elle permettra de détourner l'attention du grand public quant au fait que l'austérité constitue en fait le vol organisé des richesses des plus pauvres au profit des élites. Dans ce contexte d'austérité, les capacités de classement de l'IA permettent, par exemple, de différencier les bénéficiaires de l'aide sociale entre les « méritants » et ceux qui seraient « non méritants ». L’IA favorise aussi l’optimisation du triage au sein des administrations en fonction des données qui sont collectées. Le passage à un classement algorithmique ne se contente pas d'automatiser le système, mais le modifie profondément et ceci sans aucun débat démocratique. Comme l'a signalé le rapporteur spécial de l'ONU sur l'extrême pauvreté et les droits de l'homme, la soi-disant mutation numérique et le passage à la gouvernance algorithmique dissimulent en fait une myriade de transformations structurelles dans le contrat social. La mise à niveau numérique de l'État correspond de plus en plus à un filet de sécurité dégradé pour la plupart d'entre nous.
La « stratégie de transformation » du gouvernement britannique en constitue un bel exemple. Elle a été introduite dans la tourmente post-Brexit en 2017 et établit que « le fonctionnement interne du gouvernement lui-même sera transformé dans le cadre d'une campagne d'automatisation facilitée par la science des données et l'intelligence artificielle. » Ce nouvel encadrement technique et administratif permet de contourner le débat démocratique. Pour réduire le nombre de demandeurs de prestations sociales, de nouvelles formes intrusives de conditionnalité sont introduites, qui sont médiatisées par des infrastructures numériques et de l’analyses de données. L'austérité a déjà servi de justification pour réduire les prestations sociales et amplifier les conditions générales de précarité. En y ajoutant la prise de décision automatisée, on obtient une doctrine algorithmique de choc, où la crise sert de couverture à des changements politiques controversés qui sont encore plus masqués du fait qu'ils sont mis en œuvre par le biais d’obscurs programmes informatiques.
Ces évolutions constituent des formes d'ingénierie sociale et ont de graves conséquences. La restructuration des services sociaux au cours des dernières années, sous le prétexte d’un impératif financier de réduction des dépenses publiques, a non seulement généré pauvreté et précarité, mais a préparé aussi le terrain pour les ravages de la pandémie de Covid-19, de la même manière que des années de sécheresse précèdent souvent les ravages d'un feu de forêt. Selon une étude de l'Institute of Health Equity, au Royaume-Uni, la combinaison de la réduction des services sociaux et de santé, de la privatisation et de la mauvaise santé liée à la pauvreté d'une proportion croissante de la population au cours de la décennie qui a suivi le krach financier a directement conduit le Royaume-Uni à un niveau record de surmortalité durant la pandémie de Covid-19.
Bien que les sanctions sociales soient dans un premier temps appliquées aux plus marginalisés d’entre nous, à long terme, les changements de l'environnement social alimentés par des algorithmes affecteront tout le monde. La restructuration sociale qui en résultera sera marquée par l'abstraction, la distanciation et l'optimisation propre aux méthodes de l'IA, et déterminera de plus en plus la manière dont nous pourrons vivre, ou même si nous pourrons vivre tout court.
L'IA va être essentielle à cette restructuration, car ses opérations permettent de mettre à niveau les divisions et les différenciations nécessaires. L'opération centrale de l'IA, qui consiste à transformer la complexité désordonnée en schéma de décision, est directement applicable aux inégalités qui sous-tendent le système capitaliste en général, et l'austérité en particulier. En ignorant nos interdépendances et en accentuant nos différences, l'IA incarne l'automatisation du mantra de l'ancien Premier ministre britannique Margaret Thatcher selon laquelle « la société n'existe pas ». Alors que l'IA est annoncée comme une forme futuriste de technologie productive qui apportera l'abondance pour tous, ses méthodes pour aider à décider qui obtient quoi, quand et comment, constituent en fait des formes de rationnement. Dans un contexte d'austérité, l'IA devient une machine à reproduire de la pénurie.
La cruauté apprise par la machine
La capacité d'exclusion de l'IA ne se contente pas d'étendre la rareté, elle déclenche aussi un processus de dérive vers des formes d’état d'exception. L’état d'exception est un concept qui remonte à la pensée juridique de l'Empire Romain. Il est censé permettre la suspension de la loi en temps de crise selon le principe du necessitas legem non habet [la nécessité n'a pas de loi]. Il est classiquement invoqué par la déclaration de la loi martiale ou, à notre époque, par la création de trous noirs juridiques comme celui du camp de détention de Guantanamo dans les années 2000.
La conception moderne de l'état d'exception a été introduite par le philosophe allemand et membre du parti nazi Carl Schmitt dans les années 1920, qui a attribué au souverain le pouvoir de suspendre la loi au nom du « bien public ». L'IA, quant à elle, a une tendance intrinsèque à créer des états d'exception partiels grâce à sa capacité à imposer l'exclusion tout en restant opaque au plus grand nombre. La vie des gens peut être impactée par le simple fait qu’un seuil de confiance statistique est franchi, sans qu'ils le sachent. Les actions de ségrégation et de raréfaction auxquelles se livre l'IA peuvent avoir force de loi sans être de la loi, et créent ce que nous pourrions appeler de nouvelles formes d’« états d'exception algorithmiques ».
Un exemple typique est celui des listes d'interdiction de vol, qui empêchent des personnes de prendre l'avion en raison de critères de sécurité inexpliqués et incontestables. Selon un guide du gouvernement américain ayant fait l'objet d'une fuite et indiquant qui devrait figurer sur une liste d'interdiction de vol, « des preuves irréfutables ou des faits concrets ne sont pas nécessaires », mais « le soupçon doit être aussi clair et aussi complet que les circonstances le permettent ». Pour les algorithmes, bien sûr, soupçon rime avec corrélation. Les systèmes internationaux de sécurité, tels que ceux mis en œuvre par l'UE, adoptent de plus en plus l'apprentissage automatique dans le cadre de leur mécanique. Ce que les systèmes d'IA vont ajouter à la logique de la liste des personnes interdites de vol, ce sont des soupçons assistés par ordinateur basés sur des corrélations statistiques.
Des gouvernements mettent déjà en œuvre des régimes d'exception à part entière pour les réfugiés et les demandeurs d'asile. Giorgio Agamben utilise le concept de « vie nue » pour décrire la forme que prennent les corps soumis à l'état d'exception, alors qu’ils sont privés d'existence politique ou civile. C'est la vie de ceux qui sont condamnés à errer dans des endroits comme le camp de réfugiés de Moria en Grèce ou dans le campement de fortune de la Jungle de Calais. Pendant ce temps, les demandeurs d'asile en Italie sont contraints à des situations « hyper-précaires » de non-existence légale, en ne pouvant, par exemple, pas prétendre à la sécurité normalement garantie par l'État. Dans le cadre du système britannique d' « environnement hostile », les personnes qui n'ont pas accès aux fonds publics en raison de leur statut d'immigré se voient facturer 150 % du coût réel du traitement par le service national de santé et sont menacées d'expulsion si elles ne paient pas. Dans ces conditions, ces formes d’états d'exception de l'IA génèrent ce que l'écrivain Flavia Dzodan appelle « une cruauté apprise par la machine », non seulement aux niveaux des frontières nationales, mais aussi à travers les frontières fluctuantes de la vie quotidienne.
Cette diffusion de l'état d'exception de l'IA est menée grâce à des opérations de redressement récursif. Les algorithmes prédictifs produisent des formes nouvelles et agiles de classification personnelle, dynamiques et actualisées en temps réel. L'émergence du redlining de l'IA peut être observée à partir d’exemples tels que le logiciel « analyseur de traits » d'Airbnb, alimenté par l'IA, qui évalue le risque de chaque réservation avant qu'elle ne soit confirmée. Les algorithmes grattent et parcourent les informations disponibles publiquement, telles que les médias sociaux, à la recherche de comportements antisociaux, puis renvoient une note basée sur une série de modèles prédictifs. Des utilisateurs ayant d'excellents avis sur Airbnb ont été bannis pour des « raisons de sécurité », qui semblent être déclenchées par leurs réseaux d'amitiés et d'associations, bien qu'Airbnb refuse de le confirmer.
La conception de l’outil technologique mise en place par Airbnb précise que le score produit par le logiciel d'analyse des traits de personnalité n'est pas seulement basé sur l'individu, mais sur ses relations, qui sont combinées dans une « base de données de graphes de personnalités. » L'apprentissage automatique combine différents facteurs pondérés pour obtenir le score final, dans lequel les traits de personnalité évalués comprennent « la méchanceté, les tendances antisociales, la bonté, la conscience, l'ouverture, l'extraversion, l'agréabilité, la névrose, le narcissisme, le machiavélisme ou la psychopathie », et les traits de comportement comprennent « la création d'un profil en ligne faux ou trompeur, la fourniture d'informations fausses ou trompeuses au fournisseur de services, la consommation de drogues ou d'alcool, la participation à des sites Web ou à des organisations haineuses, la participation au commerce du sexe, la participation à un crime, la participation à un litige civil, le fait d'être un fraudeur ou un escroc connu, la participation à la pornographie ou la rédaction d'un contenu en ligne au langage négatif. »
Le recours à l'apprentissage automatique pour le redlining est également visible dans le cas de la base de données de NarxCare. NarxCare est une plateforme d'analyse destinée aux médecins et aux pharmacies des États-Unis pour "identifier instantanément et automatiquement le risque d'abus d'opioïdes chez un patient". Il s'agit d'un système d'apprentissage automatique opaque qui parcourt les dossiers médicaux pour attribuer aux patients un score de risque d'overdose. L'un des échecs classiques du système a été l'interprétation erronée des médicaments que les gens avaient obtenus pour des animaux domestiques malades ; les chiens ayant des problèmes médicaux se voient souvent prescrire des opioïdes et des benzodiazépines, et ces ordonnances vétérinaires sont établies au nom du propriétaire. En conséquence, des personnes ayant un besoin justifié d'analgésiques opioïdes pour des maladies graves comme l'endométriose se sont vu refuser des médicaments par les hôpitaux et par leurs propres médecins.
Les problèmes de ces systèmes sont encore plus profonds ; l'expérience passée d'abus sexuels a été utilisée comme un indicateur de la probabilité de devenir dépendant des médicaments, ce qui signifie que le refus ultérieur de médicaments devient une sorte de blâme envers la victime. Comme pour une grande partie de l'apprentissage automatique appliqué au niveau social, les algorithmes finissent simplement par identifier les personnes ayant des besoins spécifiques, mais d'une manière qui amplifie leur abandon. De nombreux États américains obligent les médecins et les pharmaciens à utiliser des bases de données comme NarxCare sous peine de sanctions professionnelles, et les données relatives à leurs habitudes de prescription sont également analysées par le système. Un prétendu système de réduction des risques basé sur des corrélations algorithmiques produit finalement nombre d’exclusions.
Ces types de systèmes ne sont qu'un début. L'impact de ces états d'exception algorithmiques se traduira in fine par la mise en place de mesures d'exclusion punitives fondées sur l'application de critères sociaux et moraux arbitraires à grande échelle. À mesure que les états d'exception partiels de l'IA deviendront plus sévères, ils tireront leur justification sociale de la hausse des niveaux de sécurisation. La sécurisation est un terme utilisé dans le domaine des relations internationales pour désigner le processus par lequel les politiciens construisent une menace extérieure, ce qui leur permet de promulguer des mesures spéciales pour faire face à cette menace. Le succès de l'adoption de mesures qui ne seraient normalement pas socialement acceptables vient de la construction de cette menace comme existentielle - une menace pour l'existence même de la société signifie que toute réponse est plus ou moins justifiée.
De la tech à la prison
Un autre exemple d'états d'exception algorithmiques tient à ce qu’on appelle la police prédictive. La police prédictive illustre de nombreux aspects des injustices que peut produire l'IA. Les dangers du déploiement d'algorithmes pour produire des sujets que vous vous attendez à observer, par exemple, sont très clairs dans un système comme ShotSpotter. ShotSpotter se compose de microphones fixés à des structures à intervalles de quelques pâtés de maisons dans des quartiers de villes comme Chicago, ainsi que d'algorithmes, dont une IA, qui analysent tous les sons, tels que les détonations, pour déterminer s'il s'agit d'un coup de feu. Un analyste humain dans une salle de contrôle centrale prend la décision finale quant à l'envoi de la police sur les lieux. Bien entendu, les agents présents sont préparés à s'attendre à une personne armée qui vient de tirer, et les rencontres sous haute tension qui en résultent ont été impliquées dans des incidents tels que le meurtre par la police d'Adam Toledo, treize ans, dans le West Side de Chicago, alors que les images tirées de la caméra corporelle de l’officier assassin ont montré que le jeune adolescent se conformait aux instructions de la police juste avant d'être abattu.
ShotSpotter est un exemple frappant de la sédimentation des inégalités au moyen de systèmes algorithmiques. Le logiciel superpose la suspicion prédictive à son déploiement dans les communautés de couleur et en aboutissant, inévitablement, à des cas d'emprisonnement injuste. D'autres systèmes de police prédictive sont davantage dans le moule de la science-fiction classique tel qu’on la connaît dans le roman Minority Report de Philip K Dick. Par exemple, le système PredPol, qui a été largement adopté (récemment rebaptisé Geolitica), est issu de modèles de recherche de ressources alimentaires développés par des anthropologues, et a été transformé en système prédictif dans le cadre des efforts de contre-insurrection en Irak. Ce n'est que plus tard qu'il a été utilisé pour prédire la criminalité dans des zones urbaines comme Los Angeles.
L'effet en cascade de la sécurisation et des états d'exception algorithmiques est d'étendre la carcéralité, à savoir les dimensions de la gouvernance qui s'apparentent à de la prison. La carcéralité se voit étendue par l'IA, tant dans sa portée que dans sa forme : son omniprésence et les vastes masses de données dont elle se nourrit étendent la portée des effets de la carcéralité, tandis que le redlining virtuel qui se produit à l'intérieur des algorithmes réitère leur forme historique en isolant les gens des services de l’État ou de possibles perspectives d’ascension sociale. En même temps, l'IA contribue à la carcéralité physique par la séquestration algorithmique des corps sur des lieux de travail comme les entrepôts d'Amazon ainsi que par l'enrôlement direct de la police prédictive et d'autres technologies de contrôle social dans ce que la Coalition for Critical Technology appelle un "pipeline qui va tout droit de la technologie vers la prison". La logique des méthodes prédictives et préventives fusionne avec l'accent mis sur les notions de criminalité individualisée pour étendre l'attribution de la criminalité à des attributs innés dans les populations criminalisées. Ces combinaisons de prédiction et de conception essentialiste, non seulement, légitiment l'intervention carcérale, mais constituent également un processus de production des subjectivités déviantes. L'IA est carcérale non seulement par son assimilation par les agences d'incarcération de l'État, mais aussi par ses caractéristiques opérationnelles.
La réduction du troupeau
Les divisions sociales qui sont amplifiées par l'IA ont été mises en lumière par l'épidémie Covid-19 : la pandémie est un test de résistance aux injustices sociales profondes de notre époque. La raréfaction, la sécurisation, les états d'exception et l'augmentation de la carcéralité accentuent des structures qui fragilisent déjà la société, et la concentration croissante de la richesse et de la mortalité pendant la pandémie est devenue un indicateur de la société post-algorithmique. On dit souvent que ce qui vient après l'épidémie de Covid-19 ne ressemblera pas à ce qui est antérieur, que nous devons nous adapter à une nouvelle normalité ; on comprend peut-être moins à quel point cette nouvelle normalité est déterminée par la normalisation des réseaux neuronaux, à quel point le triage clinique déclenché par le virus est représentatif de la distribution algorithmique à long terme des possibilités de survie.
L'un des premiers signes d'alerte a été la façon dont l'IA n'a absolument pas été à la hauteur de son potentiel supposé en tant qu'outil prédictif lorsqu'il s'est agi de l'épidémie Covid-19. Les premiers jours de la pandémie ont représenté une période grisante pour les praticiens de l'IA, car il semblait que c'était le moment venu pour tous ces nouveaux mécanismes d'analyse basés sur les données de faire leurs preuves. Ils espéraient notamment être en mesure de prédire qui aurait contracté le virus et qui, l'ayant contracté, pourrait tomber gravement malade. Je me suis dit : "S'il y a un moment où l'IA peut prouver son utilité, c'est maintenant". J'avais bon espoir", a déclaré un épidémiologiste.
Dans l'ensemble, les études ont montré que parmi les centaines d'outils mis au point, aucun n’a produit de réelle amélioration, et que certains étaient même potentiellement dangereux. Si les auteurs des études ont attribué le problème à des ensembles de données de mauvaise qualité et à des conflits entre les différentes normes de recherche dans les domaines de la médecine et de l'apprentissage automatique, cette explication ne tient pas compte des dynamiques sociales plus profondes qui ont été mises en évidence de manière frappante par la lutte contre la pandémie, ni de la possibilité pour l'IA d'alimenter et d'amplifier ces dynamiques.
Au Royaume-Uni, les directives appliquées lors de la première vague de Covid-19 stipulaient que les patients atteints d'autisme, de troubles mentaux ou de difficultés d'apprentissage devaient être considérés comme "fragiles", ce qui signifiait qu'ils ne seraient pas prioritaires pour des traitements tels que les respirateurs. Certains médecins de proximité ont envoyé des avis généraux de non-réanimation destinés aux personnes handicapées. Le choc social de la pandémie a fait resurgir des présupposés sociaux viscéraux sur la " forme physique ", qui ont façonné les politiques et les décisions médicales individuelles, et qui se sont reflétés dans les statistiques de décès de personnes handicapées. L'élaboration des politiques du gouvernement britannique a enfreint ses obligations envers les personnes handicapées, tant en vertu de sa propre loi sur l'égalité que de la Convention des Nations Unies relative aux droits des personnes handicapées. "Il a été extraordinaire de voir la vitesse et la propagation des pratiques eugéniques soft", a déclaré Sara Ryan, une universitaire de l'Université d'Oxford. "Il y a clairement des systèmes mis en place pour juger qui est ou n'est pas digne d'être traité".
Parallèlement, il est apparu de manière flagrante que les communautés noires et les minorités ethniques du Royaume-Uni étaient frappées par un nombre disproportionné de décès dus au Covid. Bien que les premières tentatives d'explication se soient appuyées sur le déterminisme génétique et les tropes de la science raciale, ce type d'inégalités en matière de santé est principalement dû à des antécédents d'injustice structurelle. Les déterminants sociaux de la santé, tels que la race, la pauvreté et le handicap, augmentent la probabilité de conditions de santé préexistantes, comme les maladies pulmonaires chroniques ou les problèmes cardiaques, qui sont des facteurs de risque pour le Covid-19 ; les mauvaises conditions de logement, notamment les moisissures, augmentent d'autres comorbidités, comme l'asthme ; et les personnes ayant un travail précaire peuvent tout simplement être incapables de travailler à domicile ou même de se permettre de s'isoler. Tant de maladies sont en soi une forme de violence structurelle, et ces déterminants sociaux de la santé sont précisément les points de pression qui seront davantage comprimés par le système d'extractivisme automatisé de l'IA.
En comprimant le rythme de la mortalité et en diffusant la menace immédiate dans toutes les classes sociales, la pandémie a rendu visible l'ampleur des décès inutiles jugés acceptables par l'État. En termes de décès directement imputables aux politiques du gouvernement britannique, par exemple, les victimes de la pandémie peuvent être ajoutées aux quelque 120 000 décès en surplus liés aux nombreuses années d'austérité. La pandémie a jeté une lumière froide et révélatrice non seulement sur l'état en lambeaux de la protection sociale, mais aussi sur une stratégie d'État qui considère certains groupes démographiques comme sacrifiables. Le discours public sur la pandémie s’est développé à partir d’une rhétorique tacite en faveur de la survie du plus fort, les décès des personnes souffrant de "problèmes de santé sous-jacents" étant présentés comme regrettables mais en quelque sorte inévitables. Étant donné les fanfaronnades du gouvernement britannique sur la soi-disant "immunité de groupe", il n'est pas surprenant de lire des commentaires de journaux de droite affirmant que, "d'un point de vue économique totalement désintéressé, le Covid-19 pourrait même s'avérer légèrement bénéfique à long terme en éliminant de manière disproportionnée les personnes âgées dépendantes".
Aussi effroyable que cela puisse être en soi, il est important d'examiner plus en profondeur la perspective sous-jacente dont tout ceci résulte. Ce qui est en jeu, ce n'est pas simplement l'optimisation économique, mais un calcul social plus profond. La crainte fondamentale qui sous-tend l'acceptabilité de l'"abattage" de sa propre population est qu'une population blanche fragile constitue une hémorragie, qui rend la nation vulnérable au déclin et à son remplacement par des immigrants issus de ses anciennes colonies. L'IA est un compagnon de route de ce programme ultranationaliste d'optimisation de la population en raison de son utilité comme mécanisme de ségrégation, de racialisation et d'exclusion. Après tout, la frontière décisionnelle la plus fondamentale se situe entre ceux qui peuvent vivre et ceux qui doivent être laissés à la mort.
L'IA constitue ainsi une nouvelle forme de gouvernance qui correspond à ce que le philosophe postcolonial Achille Mbembe appelle nécropolitique : l'opération "faire vivre/laisser mourir". La nécropolitique est le pouvoir de l'État qui non seulement discrimine dans l'attribution du soutien à la vie, mais approuve les opérations qui permettent la mort. Il s'agit d'une dynamique de négligence organisée, dans laquelle des ressources telles que le logement ou les soins de santé font l'objet d'une raréfaction délibérée et dans laquelle des groupes sont rendus vulnérables à des préjudices qui, autrement, pourraient être évités.
La désignation du caractère éliminable peut être appliquée non seulement à la race, mais aussi à toute limite de décision. L'IA appliquée socialement agit de manière nécropolitique en acceptant les conditions structurelles comme une donnée et en projetant l'attribut de sous-optimalité sur ses sujets. La coût deviendrait quelque chose d'inné à chaque individu. Le mécanisme de mise en œuvre de ce coût est ancré dans l'état d'exception : L'IA devient le lien entre la corrélation mathématique et l'idée du camp comme espace de la vie nue. Dans la pensée d'Agamben, le camp est central, car il fait de l'état d'exception une caractéristique territoriale permanente. La menace des états d'exception de l'IA est la production computationnelle d’un camp virtuel. Comme le dit Mbembe, l'origine du camp se trouve dans le projet de diviser les humains : la forme du camp apparaît dans les guerres coloniales de conquête, dans les guerres civiles, sous les régimes totalitaires, et maintenant comme une manière de gérer à grande échelle des populations, des réfugiés ou encore des personnes déplacées à l'intérieur d'un pays.
La logique historique du camp est l'exclusion, l'expulsion et, d'une manière ou d'une autre, la mise en place d'un programme d'élimination et d’anéantissement. Il y a ici un long enchevêtrement avec les mathématiques qui alimentent l'IA, étant donné les racines de la régression et de la corrélation dans l'eugénisme de scientifiques de l’époque victorienne comme Francis Galton et Karl Pearson. Le concept même d'"intelligence générale artificielle" - la capacité d'un ordinateur à comprendre tout ce qu'un humain peut comprendre - est indissociable des efforts historiques visant à rationaliser la hiérarchie raciale à une époque où le fait de disposer des machines nécessaires pour imposer la domination coloniale était en soi une preuve de la supériorité de ceux qui les utilisaient. Ce qui attend l'IA, c'est la réunification de la supériorité raciale et de l'apprentissage automatique dans une version eugénique de la machine. Il suffira d’une nouvelle crise sociale suffisamment grave pour que tout ceci prenne alors forme à grande échelle. La pandémie préfigure aussi des réponses étatiques similaires au changement climatique, dans laquelle les frontières décisionnelles fondées sur les données seront mises en œuvre comme des mécanismes d'apartheid mondial.
Lutter contre l’IA
La question est donc de savoir comment interrompre l’avancée de rapports sociaux fascistes à l’aide de ces technologies avancées. L'opacité la plus complète de l'apprentissage profond ne réside pas dans les milliards de paramètres des derniers modèles, mais dans la manière dont il masque l'inséparabilité de l'observateur et de l'observé, et le fait que nous nous co-constituons tous les uns les autres. La seule réponse cohérente à la crise sociale est, et a toujours été, l’entraide et le partage. Si la charge toxique de l'apprentissage automatique sans contrainte correspond à l'état d'exception, son inversion est un appareil qui met en œuvre la coopération.
Il ne s'agit pas d'un choix facile, mais d'un parcours du combattant, d'autant plus qu'aucun des mécanismes libéraux de régulation ou de réforme ne le favorisera. Néanmoins, notre ambition doit aller au-delà de la timide idée d'une gouvernance de l'IA, qui accepte a priori ce à quoi nous sommes déjà soumis, pour chercher à créer une pratique technique transformatrice qui soutienne le bien commun.
Pour ça, nous pouvons nous appuyer sur notre propre histoire. Alors que la pensée en réseaux revendique une généralisation à travers les domaines problématiques, nous héritons d'un refus généralisé de la domination à travers les lignes de classe, de race et de genre. La question est de savoir comment assembler cela en relation avec l'IA, comment s'auto-constituer en conseils de travailleurs et en assemblées populaires de manière à interrompre l'itération de l'oppression par la recomposition de sujets collectifs. Notre survie même dépend de notre capacité à reconfigurer la technologie pour qu'elle s'adapte à la crise en déléguant le pouvoir à ceux qui, sur le terrain, sont les plus proches du problème. Nous disposons déjà de toute l'informatique dont nous avons besoin. Reste à savoir comment la transformer en une machine des communs.
Pour consulter la version originale de ce texte, c’est ici.