L’armée israélienne fabrique un modèle de langage IA qui se sert de millions de conversations interceptées entre Palestiniens, ce qui pourrait accélérer le processus d’incrimination et d’arrestation, révèle une enquête conjointe.
L’armée israélienne développe un nouvel outil d’intelligence artificielle semblable à ChatGPT et l’entraîne sur des millions de conversations en arabe obtenues grâce à la surveillance des Palestiniens dans les territoires occupés. C’est ce que révèle une enquête de +972 Magazine, Local Call et le Guardian.
L’outil IA – qui est construit sous les auspices de l’Unité 8200, équipe d’élite de cyberguerre à la Direction du Renseignement Militaire d’Israël – c’est ce que l’on connaît en tant que Grand Modèle de Langage (GML) : programme d’apprentissage automatique capable d’analyser l’information et de générer, traduire, prévoir et résumer un texte. Alors que les GML disponibles pour le public, comme la machine derrière ChatGPT, s’entraînent sur des informations tirées d’internet, le nouveau modèle en développement par l’armée israélienne est nourri des immenses quantités de renseignements récoltés dans la vie quotidienne des Palestiniens qui vivent sous occupation.
L’existence du GML de l’Unité 8200 a été confirmée à +972, Local Call et le Guardian par trois sources de la sécurité israélienne avec connaissance de son développement. Le modèle était encore en cours d’essais dans la seconde moitié de l’année dernière et on ne sait pas très bien s’il a déjà servi ou comment exactement l’armée l’utilisera. Cependant, des sources ont expliqué que ce qui sera un bénéfice essentiel pour l’armée sera la capacité de cet outil à développer de grandes quantités de matériel de surveillance afin de « répondre aux questions » sur des individus spécifiques. Si l’on en juge d’après la façon dont l’armée utilise déjà de plus petits modèles de langage, il semble vraisemblable que le GML puisse permettre à Israël d’étendre encore plus l’incrimination et l’arrestation des Palestiniens.
« L’IA amplifie le pouvoir », a expliqué une source de renseignement qui a étroitement suivi ces dernières années le développement des modèles de langage de l’armée israélienne : « Elle rend possibles des opérations [qui utilisent] les données de bien plus de gens, permettant le contrôle de la population. Il ne s’agit pas seulement de prévenir des attaques par balle. Je peux pister les militants des droits de l’homme, je peux contrôler les constructions palestiniennes en Zone C [de Cisjordanie]. J’ai davantage d’outils pour savoir ce que fait chaque personne en Cisjordanie. Quand vous avez autant de données, vous pouvez les affecter au but de votre choix. »
Alors que le développement de cet outil est antérieur à la guerre actuelle, notre enquête révèle que, après le 7 octobre, l’Unité 8200 a recherché l’aide de citoyens israéliens experts en développement des modèles de langage qui travaillaient chez les géants de la tech comme Google, Meta et Microsoft. Avec la mobilisation massive de réservistes au début de l’offensive d’Israël à Gaza, des experts industriels du secteur privé ont commencé à s’engager dans l’unité – apportant une connaissance qui n’était auparavant « accessible qu’à un groupe très exclusif de sociétés dans le monde entier », comme l’a déclaré une source de la sécurité. (En réponse à nos enquêtes, Google a déclaré qu’il avait « des employés qui effectuaient un service de réserve dans différents pays » et a souligné que le travail qu’ils accomplissaient dans ce contexte « n’était pas connecté à Google ». Meta et Microsoft ont refusé tout commentaire.)
D’après une source, l’agent conversationnel de l’Unité 8200 a été formé sur la base de 100 milliards de mots arabes partiellement obtenus grâce à la surveillance israélienne des Palestiniens sous régime militaire – dont les experts avertissent que cela constitue une grave violation des droits des Palestiniens. « Nous parlons d’informations hautement personnelles, tirées de gens qui ne sont soupçonnés d’aucun crime, pour former un outil qui pourrait ultérieurement contribuer à l’établissement d’un soupçon », a dit à +972, à Local Call et au Guardian, Zach Campbell, chercheur senior en technologie à Human Rights Watch.
Nadim Nashif, directeur et fondateur de l’association palestinienne de défense des droits numériques et de plaidoyer Ramleh, a les mêmes inquiétudes. « Les Palestiniens sont devenus des sujets de laboratoire pour Israël afin de développer ces techniques et d’armer l’IA, tout cela dans le but de maintenir un régime d’apartheid et d’occupation dans lequel ces technologies sont utilisées afin de dominer une population, de contrôler la vie de ses membres. Il s’agit d’une violation grave et continue des droits numériques des Palestiniens, qui font partie des droits de l’homme. »
‘Nous remplacerons tous les officiers de renseignement par des agents de l’IA’
Les efforts de l’armée israélienne pour développer son propre GML ont tout d’abord été publiquement reconnus par Chaked Roger Joseph Savedoff, officier de renseignement qui s’est présenté comme le chef du projet, l’année dernière dans une conférence peu remarquée. « Nous avons cherché à créer le plus grand jeu de données possible, rassemblant toutes les données que l’État d’Israël n’a jamais eues en arabe » a-t-il expliqué pendant sa présentation à Tel Aviv à la conférence de Défense armée. Il a ajouté que le programme est formé sur des « quantités psychotiques » d’informations sur les renseignements.
D’après Savedoff, quand le GML de ChatGPT a pour la première fois en novembre 2022 été rendu disponible pour le public, l’armée israélienne a mis en place une équipe dédiée au renseignement pour voir comment l’IA générative pouvait être adaptée aux besoins de l’armée. « Nous avons dit, ‘Ouah, dorénavant nous remplacerons tous les officiers de renseignement par des agents [IA]. Toutes les cinq minutes, ils liront tous les renseignements israéliens et pourront dire quel sera le prochain terroriste », a dit Sayedoff.
Mais au départ, l’équipe a été incapable de faire de vrais progrès. OpenIA, la société derrière ChatGPT, a rejeté la demande de l’Unité 8200 d’avoir un accès direct à son GML et a refusé d’autoriser son intégration dans le système interne, hors ligne, de l’unité. (L’armée israélienne a depuis utilisé le modèle de langage d’OpenAI, acheté via Microsoft Azure, comme l’ont révélé +972 et Local Call dans une autre enquête récente. OpenAI a refusé de commenter cette histoire.)
Et il y a eu un autre problème, a expliqué Savedoff : les modèles de langage existants ne pouvaient travailler que sur l’Arabe standard – utilisé dans les communications officielles, en littérature et dans les médias – pas les dialectes parlés. L’Unité 8200 a réalisé qu’elle aurait besoin de développer son propre programme, fondé, comme l’avait dit Savedoff dans sa conférence, « sur les dialectes que nous haïssons. »
Le virage s’est produit avec le début de la guerre de Gaza en octobre 2023, quand l’Unité 8200 a commencé à recruter des experts en modèles de langage auprès des sociétés technologiques privées en tant que réservistes. Ori Goshen, co-PDG et cofondateur de la société israélienne AI21 Labs qui se spécialise dans les modèles de langage, a confirmé que ses employés avaient participé au projet pendant leur service de réserve. « Une agence de sécurité ne peut travailler avec un service comme ChatGPT, Il faut donc qu’il découvre comment gérer l’IA à l’intérieur d’un système [interne] qui n’est pas connecté aux autres réseaux », a-t-il expliqué.
D’après Goshen, les bénéfices que les GML procurent aux agences de renseignement pourraient comprendre la capacité de traiter rapidement l’information et de générer des listes de suspects pour les arrêter. Mais pour lui, la clé réside dans leur capacité à récupérer les données dispersées parmi les multiples sources. Plutôt que d’utiliser « des outils de recherche primitifs », les officiers pourraient simplement « poser des questions et obtenir des réponses », de la part d’un agent conversationnel – qui pourrait, par exemple, vous dire si deux personnes ne se sont jamais rencontrées, ou déterminer instantanément si une personne n’a jamais commis une action particulière.
Toutefois, Goshen a admis qu’une confiance aveugle dans ces outils pouvait conduire à des erreurs. « Il s’agit de modèles probabilistes – vous leur donnez une commande ou une question et ils génèrent quelque chose qui ressemble à de la magie », a-t-il expliqué. « Mais souvent, la réponse n’a aucun sens. Nous appelons cela une « hallucination ».
Campbell, de Human Rights Watch, a exprimé une préoccupation similaire. Selon lui, les GML fonctionnent comme des « machines à deviner » et leurs erreurs sont inhérentes au système. En outre, les personnes qui utilisent ces outils ne sont souvent pas celles qui les ont mis au point, et les recherches montrent qu’elles ont tendance à leur faire davantage confiance. « En fin de compte, ces suppositions pourraient être utilisées pour incriminer des personnes », a-t-il déclaré.
Les enquêtes précédentes menées par +972 et Local Call sur l’utilisation par l’armée israélienne de systèmes de ciblage basés sur l’IA pour faciliter ses bombardements sur Gaza ont mis en évidence les failles opérationnelles inhérentes à de tels outils. Par exemple, l’armée a utilisé un programme connu sous le nom de Lavender pour générer une « kill list » de dizaines de milliers de Palestiniens, que l’IA incriminait parce qu’ils présentaient des caractéristiques qu’on lui avait appris à associer à l’appartenance à un groupe militant.
L’armée a ensuite bombardé un grand nombre de ces personnes – généralement chez elles avec leur famille – alors que le programme était connu pour avoir un taux d’erreur de 10 %. Selon certaines sources, la surveillance humaine du processus d’assassinat servait simplement de « couverture », et les soldats traitaient les résultats de Lavender « comme s’il s’agissait d’une décision humaine ».
« Parfois, ce n’est qu’un commandant de division qui veut 100 arrestations par mois. »
La mise au point d’un outil de type ChatGPT formé à l’arabe parlé représente une nouvelle expansion de l’appareil de surveillance israélien dans les territoires occupés, qui est depuis longtemps très intrusif. Il y a plus de dix ans, des soldats ayant servi dans l’unité 8200 ont témoigné qu’ils avaient surveillé des civils n’ayant aucun lien avec des groupes militants afin d’obtenir des informations pouvant être utilisées pour les faire chanter – par exemple, au sujet de difficultés financières, de leur orientation sexuelle ou d’une maladie grave affectant eux-mêmes ou un membre de leur famille. Les anciens soldats ont également admis avoir suivi des militants politiques.
En plus de développer son propre GML, l’unité 8200 utilise déjà des modèles de langage plus petits qui permettent la classification des informations, la transcription et la traduction des conversations de l’arabe parlé à l’hébreu, et des recherches efficaces par mots-clés. Ces outils rendent le matériel de renseignement plus immédiatement accessible, en particulier pour la division de Judée et Samarie (Cisjordanie) de l’armée. Selon deux sources, les petits modèles permettent à l’armée de passer au crible le matériel de surveillance et d’identifier les Palestiniens qui expriment leur colère contre l’occupation ou leur désir d’attaquer des soldats ou des colons israéliens.
Une source a décrit un modèle de langage actuellement utilisé qui analyse les données et identifie les Palestiniens qui utilisent des mots indiquant des « troubles à venir ». La source a ajouté que l’armée a utilisé des modèles de langage pour prédire qui pourrait jeter des pierres sur les soldats pendant les opérations de « démonstration de présence » – lorsque les soldats font une descente dans une ville ou un village de Cisjordanie et font du porte-à-porte, prenant d’assaut chaque maison d’une rue particulière pour procéder à des arrestations et intimider les habitants.
Des sources du renseignement ont indiqué que l’utilisation de ces modèles de langage, associée à une surveillance à grande échelle dans les territoires occupés, a renforcé le contrôle d’Israël sur la population palestinienne et augmenté de manière significative la fréquence des arrestations. Les commandants peuvent accéder à des renseignements bruts traduits en hébreu – sans avoir besoin de faire appel aux centres linguistiques de l’Unité 8200 pour fournir les données, ni de connaître eux-mêmes l’arabe – et sélectionner des « suspects » à arrêter à partir d’une liste qui ne cesse de s’allonger dans chaque localité palestinienne. « Parfois, il s’agit simplement d’un commandant de division qui veut 100 arrestations par mois dans son secteur », a déclaré une source.
Contrairement aux petits modèles déjà utilisés, le grand modèle en cours de développement est formé à partir de l’ensemble de données de l’unité 8200, qui comprend des millions de conversations entre Palestiniens. « L’arabe parlé est une donnée qui est [difficilement] disponible sur l’internet », a expliqué la source. « Il n’y a pas de transcriptions de conversations ou de chats WhatsApp en ligne. Ces données n’existent pas en quantité suffisante pour former un tel modèle. »
Pour former le GML, les conversations quotidiennes entre Palestiniens sans valeur immédiate en termes de renseignement ont néanmoins une utilité essentielle. « Si quelqu’un appelle une autre personne [au téléphone] et lui dit de sortir parce qu’il l’attend devant l’école, il s’agit d’une conversation banale, sans intérêt », explique une source de sécurité. « Mais pour un modèle comme celui-ci, c’est de l’or en barre, car il fournit de plus en plus de données sur lesquelles s’entraîner.
L’Unité 8200 n’est pas la seule agence de renseignement nationale à tenter de développer des outils d’IA générative ; la CIA a mis au point un outil similaire à ChatGPT pour analyser les informations à source ouverte, et les agences de renseignement du Royaume-Uni développent également leurs propres GML. Toutefois, d’anciens responsables britanniques et américains de la sécurité ont déclaré à +972, Local Call et au Guardian que la communauté israélienne du renseignement prend plus de risques que ses homologues américains ou britanniques lorsqu’il s’agit d’intégrer des systèmes d’IA dans l’analyse du renseignement.
Brianna Rosen, ancienne responsable de la sécurité à la Maison Blanche et actuellement chercheuse en études militaires et de sécurité à l’Université d’Oxford, a expliqué qu’un analyste du renseignement utilisant un outil tel que ChatGPT serait potentiellement capable de « détecter des menaces que les humains pourraient manquer, avant même qu’elles ne surviennent »
Cependant, elle « risque aussi de créer de fausses connexions et de tirer des conclusions erronées. Des erreurs vont être commises, et certaines d’entre elles peuvent avoir des conséquences très graves ».
Les services de renseignement israéliens ont souligné qu’en Cisjordanie, le problème le plus urgent n’est pas nécessairement la précision de ces modèles, mais plutôt l’ampleur des arrestations qu’ils permettent. Les listes de « suspects » ne cessent de s’allonger, car des quantités massives d’informations sont continuellement collectées et rapidement traitées à l’aide de l’IA.
Plusieurs sources ont déclaré qu’un « soupçon » vague ou général suffit souvent à justifier le placement de Palestiniens en détention administrative – une peine d’emprisonnement renouvelable de six mois sans inculpation ni procès, sur la base de « preuves » non divulguées. Dans un environnement où la surveillance des Palestiniens est si étendue et où le seuil d’arrestation est si bas, l’ajout de nouveaux outils basés sur l’intelligence artificielle renforcera la capacité d’Israël à trouver des informations incriminantes sur un nombre beaucoup plus important de personnes.
Le porte-parole de l’IDF n’a pas répondu aux questions spécifiques posées par +972, Local Call et le Guardian « en raison de la nature sensible de l’information », affirmant seulement que « toute utilisation d’outils technologiques se fait dans le cadre d’un processus rigoureux mené par des professionnels, afin d’assurer une précision maximale des informations de renseignement ».
Harry Davies de The Guardian et Sebastian Ben Daniel (John Brown) ont contribué à cette enquête.