L'intelligence artificielle dans les jeux vidéo

J’ai travaillé pendant 7 ans dans l’industrie  du jeu vidéo. Et il y a une chose qui m’a   surpris au début, c’est l’usage qu’on y  faisait du terme IA. D’habitude quand on   parle d’intelligence artificielle, on pense  réseaux de neurones, deep learning, modèles   de langage… Mais quand on parle de l’IA d’un  jeu, ça désigne généralement bien autre chose. [PNJ Ce qu’on appelle «  intelligence  artificielle » dans le jeu vidéo, c’est l’ensemble   des systèmes qui gèrent les comportements  des ennemis, des alliés, des passants.    Tout ce qu’on regroupe parfois sous le terme de  «  personnage non-joueur » ou PNJ. C’est-à-dire   toutes les entités autonomes qui peuplent  les univers virtuels dans lesquels on joue. ] Et pour donner vie à tous ces PNJs, les  développeurs n’utilisent généralement   pas des réseaux de neurones, mais  ils s’appuient sur des techniques   qui sont en fait assez différentes de  celles de l’intelligence artificielle   moderne. Et c’est de cela dont  je vais vous parler aujourd’hui. Petite autopromo, si je vous parle de ça,  c’est notamment parce que je sors un livre   consacré à la science des jeux vidéo.   Ca s’appelle «  Le labo du jeu vidéo »,   et j’y parle de graphisme, de physique, d’IA, de  probabilités, d’économie ou encore de psychologie.    Et j’y explique comment toutes ces disciplines  scientifiques interviennent à différents   moments de la création d’un jeu vidéo. Je  vous en dit plus à la fin de l’épisode!

Pour comprendre comment fonctionne l’IA des jeux  vidéo, il n’est pas inutile de commencer par un   bref panorama historique de ce qu’on appelle  l’intelligence artificielle. Tout d’abord,   l’IA c’est une discipline presque aussi ancienne  que l’informatique. Et son objectif en général,   c’est de faire réaliser par une machine des tâches  cognitives généralement réalisées par des humains. Dès les années 1950, à partir du moment  où la programmation permettait d’utiliser   des fonctions conditionnelles du genre if  < ceci> then < fait cela>, on a pu concevoir   des programmes informatiques capables de simuler  de façon sommaire des comportements de décision,   tels que les humains pourraient les  prendre. Il suffisait de cartographier   comment les humains s’y prenaient et  de répliquer ça dans le programme. [SCHEMA Ca a été la naissance de  ce qu’on appelé l’IA symbolique.    «  Symbolique » ça veut dire en gros que  tout ce qu’on veut que la machine effectue,   on l’a explicitement programmé. Ou du moins on  arrive à le relier à des consignes précises qu’on   aura volontairement implémenté, généralement  avec l’aide d’un expert du domaine concerné. ] [ELIZA Un exemple fameux d’IA symbolique,  c’est le chatbot Eliza, conçu en 1966,   plus de 50 ans avant ChatGPT, donc,  et qui pouvait faire illusion pendant   quelques tours de conversation. Il  analysait les entrées de l’humain,   reformulait des questions bateau, et  tout ça en suivant des règles précises. ] En parallèle des approches symboliques, des  chercheurs ont commencé à developper ce qu’on   a appelé le machine learning, l’apprentissage  automatique. L’idée ici c’est de faire en sorte   qu’un programme informatique arrive à effectuer  une tâche cognitive non pas parce qu’on lui   aura dit explicitement comment s’y prendre, mais  parce qu’on lui aura montré beaucoup d’exemples.   C’est comme ça que fonctionnent  par exemple les réseaux de neurones,   qui sont si populaires aujourd’hui.   Notons tout de même qu’ils ont connu   une histoire mouvementée puisqu’après  leur invention dans les années 60 et 70,   ils ont été peu à peu quasiment abandonnés.   Et puis ils ont fait un come-back fracassant   à partir de 2012 via ce qu’on appelle le deep  learning, les réseaux de neurones profonds. Si se sont soudainement  mis à fonctionner, c’est pour plusieurs raisons.    Les progrès algorithmiques bien sûr.   La disponibilité de grandes quantités   de données pour les entrainer, merci Internet.    Mais il y a eu aussi un facteur déterminant:  l’utilisation des cartes graphiques. Des processeurs qui avaient été initialement  conçus pour optimiser les graphismes des jeux   vidéo, et qui se sont révélés très  adaptés aux opérations mathématiques   demandées par l’entrainement des réseaux  de neurones profond. D’une certaine façon,   sans les jeux vidéo, l’IA qu’on connait  aujourd’hui n’aurait jamais pu exister. Pour résumer, il faut bien avoir en tête  cette distinction entre le machine learning,   qui représente l’essentiel de l’IA moderne, et les  approches symboliques qui ont initialement dominé,   mais qu’aujourd’hui beaucoup moins de  gens utilisent. Parfois dans le milieu,   l’IA symbolique on appelle ça «  Good Old Fashioned  AI », la bonne vieille IA traditionnelle. Mais pour les PNJs des jeux vidéo, et c’est  ce qui m’a surpris donc, quand j’ai commencé   à travailler dans le domaine il y a 8 ans,  c’est quasiment toujours de la bonne vieille   IA traditionnelle qu’on utilise. Le jeu  vidéo est un des domaines qui repose encore   majoritairement sur de l’IA symbolique, et on va  voir qu’il y a de très bonnes raisons pour ça.

La forme la plus classique d’IA dans le jeu vidéo,   c’est pour gérer les adversaires. Si c’est un  jeu solo on a généralement besoin d’opposition,   et il faut donc faire se comporter le  ou les ennemis de façon au moins un peu   intelligente. La méthode la plus simple sur le  papier, c’est d’utiliser un arbre de décision. [ARBRE Vous écrivez une série de conditions pour  distinguer dans quelle situation le PNJ se trouve,   et ces conditions vont être vérifiées  de façon successives, pour déterminer   quel comportement l’ennemi va adopter.   En fonction de sa position, de son état,   de ce qu’il sait de vous, des circonstances  etc. C’est super simple à implémenter,   c’est juste des séries de if/then. Et on a une  maitrise totale de ce qu’il va se produire. ] Cette technique elle peut marcher par exemple pour  un jeu au tour par tour. L’ennemi doit décider   quel déplacement ou quelle attaque effectuer.   On peut calculer plein de choses, prendre en   compte des tas de conditions, ça fonctionne. Mais  pour un jeu en temps réel, c’est pas terrible. Les jeux vidéo modernes tournent à 30 ou  60 images par secondes. Les fameux FPS.    60 images par secondes, ça veut dire que toute la  logique du jeu est réappliquée en boucle, environ   toutes les 16ms. Toutes les 16 ms, le code du jeu  calcule les graphismes, les animations, les sons,   gère les contrôles et l’interface, et doit donc  décider du comportement des ennemis. Si on utilise   un arbre de décision pour ça, ça veut dire qu’on  doit le reparcourir entièrement toutes les 16ms. Alors déjà ça peut être coûteux en temps de  calcul si les arbres sont grands et qu’il y   a beaucoup d’entités à gérer. Mais surtout ça  fait qu’il n’y a aucune logique de continuité   dans les comportements. Toutes les 16ms, notre  PNJ va potentiellement faire un truc différent,   sans cohérence, sans mémoire de ce qui a  été fait avant. Comme s’il rebootait son   raisonnement 60 fois par seconde. Et pour  un jeu en temps réel, c’est assez moyen.

Une façon plus efficace dans ce cas, c’est  d’utiliser ce qu’on appelle des machines à   états finis. Il s’agit d’un modèle de calcul qui  a été étudié en informatique théorique, et qui   est très utilisé en automatique industrielle, par  exemple pour gérer le comportement d’un ascenseur. [FSM Pour gérer un PNJ avec une machine à  états finis, on définit un certain nombre   d’états dans lesquels notre personnage peut  se trouver. Par exemple pour un ennemi,   il peut être passif, en alerte, en train  de nous poursuivre ou bien en train de   nous attaquer. L’état dans lequel se trouve  notre personnage va dicter son comportement. Et puis on définit des règles de transition  entre les états: quels sont les événements   ou les situations qui peuvent amener le  PNJ à passer d’un état à un autre. Par   exemple si l’ennemi vous entend, il peut  passer de passif à alerté. S’il vous voit,   il passe de alerté à poursuite. S’il est  à portée de vous il vous met en joue, etc. L’intérêt de ce système, c’est qu’il fournit une  continuité: le PNJ reste a priori dans l’état où   il se trouvait avant, sauf s’il se passe quelque  chose de significatif qui le pousse à changer   d’état. Et le code du jeu a juste à déclencher  les transitions quand c’est nécessaire. ] [PAC MAN Un jeu vidéo célèbre qui a popularisé ce  modèle de comportement, c’est le bon vieux PacMan.    Les ennemis sont les 4 fantômes, et ils ont  3 états possibles: en chasse, effrayé, donc   en fuite, ou bien neutralisé, donc en déroute.   De base il sont en chasse, il essayent de vous   choper. Si vous mangez une super Pac-gomme, il  passent dans l’état «  effrayé » et se mettent à   fuir. Et si vous les croquez, ils deviennent «  en  déroute » et retournent dans leur coin d’origine. ] Chaque fantôme du jeu a des règles de chasse  différentes des autres, mais la machine à états   finis est essentiellement la même. Dans le cas de  PacMan, c’est vraiment une implémentation simple,   mais des tas de jeux ont poussé assez  loin l’utilisation de cette technique. On   peut ajouter par exemple des transitions  probabilistes pour avoir de la variété,   surveiller tout un tas de  conditions différentes, etc. [DOOM Le shooter DOOM sorti en 1993 a aussi  utilisé une version plus sophistiquée des   machines à états finis, avec 8 états  de base et un certains nombres de   sous-conditions permettant de gérer  tout un tas de variétés d’ennemis. Mais c’est certainement le mythique Half-Life  2, sorti en 1998, qui aura poussé le plus loin   la méthode des machines à états finis, en donnant  notamment à cette technique des sous-structures   à chaque état pour favoriser le réalisme et  la finesse des comportements des ennemis. ] Il faut dire qu’un des défauts de cette méthode,  c’est qu’elle supporte assez mal la croissance   du nombre d’états. Imaginez que vous vouliez  prendre en compte la barre de vie du personnage,   les armes dont il dispose, sa situation  par rapport au joueur, la visibilité, etc. [SPAGHETTI Ca fait toute une combinatoire de  conditions qui conduisent à l’explosion du   nombre d’états et donc des transitions  entre ces états. Si vous avez N états,   vous avez a priori N^2 transitions possibles.   Pour les designers et les développeurs,   ça devient très difficile à lire,  à débuguer et à faire évoluer. ] Plusieurs méthodes ont été imaginées, comme les  machines à états hiérarchique, où chaque état   principal est lui-même une machine à états. Mais  sans complètement résoudre tous les problèmes.    La solution que presque tout le monde utilise  aujourd’hui est venue d’un changement de méthode,   inspiré là aussi d’algorithmes d’informatique  industrielle: les arbres de comportement. [jingle]

Dans une publication de 2003 un chercheur  en ingénierie logicielle, Geoff Dromey,   a proposé une nouvelle méthode pour formaliser  la façon dont on articulait le lien entre   les spécifications d’un produit et  les comportements qu’il adoptait.    Dans sa publication, le cas typique qu’il  illustrait c’était: un four à micro-ondes. Mais la technique a très rapidement  été repérée et adaptée d’un côté par   les roboticiens, et de l’autre par  les programmeurs IA des jeux vidéo,   et notamment les développeurs  du jeu Halo 2, sorti en 2005. [TREE Un arbre de comportement, c’est donc un  arbre, dont les feuilles sont des comportements   élémentaires que votre personnage  pourra adopter. Courir vers l’ennemi,   tirer, ouvrir une porte etc. Et les  noeuds intermédiaires sont ce qu’on   appelle des noeuds de contrôle.   On va prendre un exemple concret. Imaginons qu’un personnage veuille rentrer dans un  bâtiment et ait une porte devant lui. Que fait-il  ? Voici un arbre qui permet de traiter cette  situation. En bas vous avez tous les comportements   élémentaires. Et chaque comportement élémentaire  peut se solder par un succès ou un échec. Les noeuds de contrôle eux sont de deux  types: les sélecteur et les séquenceurs.    Un sélecteur va executer toutes ses branches  jusqu’à en trouver une qui renvoie un succès.    Ca permet donc de lister différentes options  pour réaliser la même chose. Un séquenceur   va executer toutes ses branches dans l’ordre,  tant qu’elles renvoient des succès. Ca permet   de décomposer un comportement en une liste de  sous-comportements à enchainer pour y parvenir. Voyons cet exemple, le séquenceur  commence par executer l’action,   aller à la porte. Puis il passe dans la seconde  branche qui est un sélecteur. Ce sélecteur va   essayer successivement 3 techniques: ouvrir  la porte. Si c’est un succès, il renvoie ce   succès au noeud précédent qui continue dans  la séquence et passe à travers la porte. Si ouvrir la porte est un échec, le  sélecteur essaye l’option suivante,   qui est elle-même une séquence: déverrouiller la  porte, puis ouvrir la porte. Si ça ne marche pas,   dernière option: la défoncer. Si jamais  aucune de ces 3 options ne fonctionne,   le sélecteur renverra un échec et l’arbre  s’arrêtera, puisque le séquenceur à la   racine a besoin que toutes les actions  fonctionnent les unes après les autres. ] Un des grands intérêts des arbres de comportement,  c’est qu’il s’accommodent très bien du fait que   chaque comportement élémentaire peut prendre un  certain temps. Donc en réalité chaque feuille   de l’arbre, outre «  succès » et « échec »,  peut renvoyer «  en cours ». Et tant qu’une   branche est «  en cours », on y reste. Ca évite  d’avoir à retraverser tout l’arbre 60 fois   par seconde, et on économise pas mal de temps de  calcul. Et ça évite les comportements erratiques. L’autre intérêt majeur des arbres de comportement,   c’est leur modularité. Tout à l’heure je  vous ai parlé des machines à états finis,   et de l’explosion combinatoire des états et  des transitions qui rendait leur maintenance   difficile. Avec les arbres de comportement,  c’est différent. On peut facilement isoler   et réutiliser des sous-arbres en les  greffant sur des arbres plus grands. Ici vous doutez bien que mon exemple  du franchissement de la porte n’est pas   le seul comportement du personnage.   Mais on peut avoir dans un arbre de   plus haut niveau une feuille «  Franchir la  porte » qui cachera en fait ce sous-arbre   sur lequel on pourra travailler  indépendamment de l’arbre principal. C’est plus facile à maintenir et à débuguer, et ça  permet aussi de recycler des comportements qu’on   aura déjà programmés pour une autre situation,  un autre personnage, voire un autre jeu. Les arbres de comportement, c’est rapidement  devenu LA technique utilisée aujourd’hui par   la majorité des jeux 3D temps réel: les jeux de  tir, d’aventure, d’action, tous les grands jeux   dits «  AAA » utilisent cette technique, qui fait  maintenant partie de la panoplie des moteurs de   jeu pour gérer les PNJs, aussi bien les ennemis,  les alliés, les passants que même les animaux. Malgré tout, certains jeux se sont  essayés à des techniques différentes,   et c’est le cas notamment des Sims.   Dans les Sims, votre personnage,

ainsi que tous les personnages  non-joueurs qui vous entourent,   ont des besoins. Le système est grossièrement  inspiré de la fameuse pyramide des besoins   de Maslow. Besoins physiologiques, besoin de  sécurité, d’appartenance, d’accomplissement, etc. Une des choses qu’on sait sur cette pyramide,  c’est que contrairement à ce que pensait Maslow,   ça n’est justement pas une pyramide  hiérachisée. Très souvent les humains   n’attendent pas d’avoir complètement satisfait  un besoin d’un niveau inférieur pour se soucier   d’un autre besoin situé plus haut.   Le besoin social peut être fort,   même en absence de sécurité, ou  même si vous avez faim ou soif. Pour intégrer tous ces besoins aux comportements  des Sims, les créateurs du jeu se sont inspirés   d’un concept issu de la micro-économie et  des théories de la décision: l’utilité.    Ce que les économistes appellent  l’utilité d’une personne, c’est   en gros son niveau de bonheur général. Alors attention, le terme  en français porte un peu à   confusion. On parle pas de à quel point  quelque chose ou quelqu’un est utile,   mais bien de son niveau de satisfaction, de  son bonheur général. Pour les anglophones,   c’est une traduction un peu littérale de utility,  qui n’est pas la même chose que usefulness. En économie, on modélise parfois les comportements  en disant que les agents humains sont rationnels,   et prennent des décisions qui cherchent  à maximiser leur utilité. Et c’est comme   ça que fonctionne une partie des  modélisations en microéconomie. [UTILITÉ Dans un jeu vidéo, l’utilité d’un  personnage, c’est donc un nombre qui quantifie   à quel point il est content à un instant t.   Et c’est une combinaison de à quel point ses   différents besoins sont satisfaits. On peut  leur affecter des coefficients et fabriquer   une sorte de somme pondérée, et vous voyez  que contrairement à l’idée de la pyramide,   tous les besoins peuvent compter simultanément  dans le calcul, à des divers degrés. ] Et donc un jeu comme les Sims calcule en  permanence l’utilité de chaque personnage,   et celui-ci, en bon agent rationnel, va  à tout instant sélectionner l’action qui   lui permet de maximiser son utilité. S’il a  un peu soif et un fort besoin de socialiser,   il va aller parler à quelqu’un. Mais s’il  a très faim il va d’abord aller manger.    Parmi toutes les actions et objets  disponibles dans son environnement,   il choisit ce qui augmente au maximum  sa satisfaction. Simple et efficace.

Un des inconvénients de ce système, qu’on  retrouve aussi avec les arbres de comportement,   c’est qu’ils sont essentiellement toujours dans  la réaction. C’est très reptilien finalement,   il n’y a aucune notion de mémoire, de  planification, d’objectifs de plus long terme. Un jeu qui a essayé de dépasser cela, c’est  le shooter FEAR, sorti en 2005. Dans ce jeu,   les ennemis sont capables de planifier et  d’executer des tâches complexes notamment   de façon coordonnée. Le système d’IA qui  gère l’ensemble a été baptisé GOAP pour Goal   Oriented Action Planning, la planification  des actions orientée vers un objectif. Dans ce système, chaque entité possède un  objectif, par exemple éliminer le joueur,   et chaque objectif a des préconditions: avoir  repéré le joueur, avoir une arme, être à portée,   etc. Et quand une précondition est satisfaite,  elle contribue à débloquer la réalisation de   l’action. Sauf que chaque précondition  devient alors un sous-objectif en soi. [CARTE Et quand il y a beaucoup de conditions  et d’objectifs, l’ensemble forme une sorte de   graphe qui ressemble un peu à un réseau  de routes et de villes. Des villes par   lesquelles il faudrait passer pour arriver à  l’objectif final. Une fois mis sous cette forme,   on peut alors utiliser les algorithmes classiques  de parcours dans des graphes, les mêmes que ceux   de Google Maps ou Waze, pour mettre au point  un plan qui va nous amener à l’objectif. ] Je schématise pas mal, mais l’intérêt  de cette méthode c’est qu’elle favorise   l’émergence d’enchainements d’actions par  les personnages, sans que les designers   n’aient eu à explicitement imaginer ces types  de plan. Le personnage peut ramasser une arme,   grimper une échelle, se mettre en position, et  faire ces choix de façon coordonnée parce qu’il   aura déterminé que l’ensemble formait le meilleur  plan possible pour arriver à son objectif final. Une chose qui vous choque peut-être  dans tout ce que je viens de raconter,   c’est que les techniques que j’ai mentionnée  sont toutes assez anciennes, plus de 20 ans.    Et ce sont toujours plus ou moins les mêmes qui  sont utilisées aujourd’hui. Comment ça se fait?

Je vous ai expliqué au début la différence  entre l’IA symbolique et le machine learning.    Tout ce que je viens de vous décrire  relève de l’IA symbolique: on programme   explicitement des règles qui régissent  le comportement des personnages. Mais   pourquoi ne pas utiliser du machine learning? Le machine learning a deux différences  avec l’IA symbolique: la première c’est   qu’il marche souvent beaucoup mieux,  la seconde c’est que quand il marche,   on n’est pas vraiment capable d’expliquer  pourquoi. C’est une boite noire, comme on dit. Et ces deux caractéristiques, elles ne sont  pas très adaptées au jeu vidéo. Commençons   par l’efficacité. Le but d’un PNJ de jeu  vidéo, c’est de rendre le jeu amusant,   plaisant, agréable à jouer, avec le bon niveau  de difficulté. Avoir des ennemis qui soient des   tueurs ultra-optimisés, en fait on s’en fout, ce  serait frustrant et ça n’aurait aucun intérêt.    Dans l’IA du jeu vidéo, on cherche le fun,  pas des PNJs super performants à tout prix. Et puis le côté boite noire, c’est vraiment  un problème. Les designers et les programmeurs   ont besoin de comprendre et maitriser  la façon dont vont se comporter leurs   personnages. De pouvoir débuguer, ajuster,  itérer. Avec des méthodes d’IA symbolique,   c’est plutôt facile, encore que. Mais avec du  machine learning, c’est presque impossible. Alors malgré tout les techniques évoluent, et on  trouve de plus de machine learning dans les jeux   vidéo. Déjà pour d’autres objectifs que la gestion  de l’IA des PNJs: pour du rendu graphique, des   animations ou dans les jeux compétitifs en ligne  pour du matchmaking ou de la détection de triche. Et puis il y a eu plusieurs publications  récentes sur le fait d’utiliser du machine   learning pour gérer des véhicules ou des  ennemis, qui auront été entrainés soit à   partir de comportements de vrais  joueurs, soit par renforcement,   c’est-à-dire en jouant contre eux-même  des milliers de parties virtuelles. Plus récemment, beaucoup de studios ont commencé à  étudier comment les modèles de langage, les LLMs,   pouvaient modifier notamment la façon d’intéragir  avec les PNJ. Pas seulement papoter avec eux comme   avec un chatbot, mais par exemple pour des  personnages alliés: leur donner des ordres,   discuter des stratégies, et se comporter  avec eux comme avec une vraie équipe. J’ai moi-même travaillé pendant 3 ans sur  ces questions, je peux pas forcément dévoiler   les détails mais je vous mettrai des liens en  description pour celles et ceux que ça intéresse.

Et donc je vous l’ai annoncé en début de vidéo,  je sors un livre consacré à la science des jeux   vidéo. L’idée c’est de montrer à travers  30 chapitres illustrés comment la physique,   la mécanique, l’optique, les mathématiques  ou les sciences sociales sont utilisés dans   la conception et le développement des jeux vidéo. Pour le rendu graphique bien sûr, mais aussi pour  la physique des objets et des personnages, pour la   génération procédurale, la gestion des animaux,  l’animation, le jeu en réseau etc. C’est un   beau bébé, 432 pages, 30 chapitres, avec  plein de chouettes illustrations. Et vous   pouvez le commander ou le précommander chez votre  libraire ou sur les plateformes de vente en ligne. Si vous regardez cette vidéo à sa sortie, le  livre est pour l’instant en précommande et   sortira dans un peu plus de 2 semaines, mais  n’hésitez pas à le précommander justement,   ça aide les libraires et les sites en lignes à  prévoir du stock, et ça permet de mettre le livre   en avant et de le faire connaitre. Dites moi dans  les commentaires si l’idée de ce livre vous tente,   et moi je vous dit à très vite pour  une prochaine vidéo! A bientôt!