C’était déjà il y a 7 ans : en 2016, AlphaGo, développé par Google DeepMind, se mesurait à Lee Sedol 9éme Dan professionnel, l’un des meilleurs joueurs de go au monde et remportait la victoire par 4 jeux à 1, ce qui laissait toutefois penser qu’il n’était pas totalement infaillible. Kellin Pelrine, un joueur américain qui est 6 Dan Aga, l’a prouvé récemment, gagnant 14 des 15 parties jouées contre l’IA Katago.
Durant l’année qui a suivi la victoire d’AlphaGo sur Lee Sedol, DeepMind a continué de l’améliorer et l‘IA remportait en 2017 la victoire par 3 à 0 face au champion mondial de la discipline à l’époque, le prodige chinois Ke Jie.
La société profitait de cette victoire pour annoncer que cette compétition était la dernière d’AlphaGo. Elle a cependant développé l’IA AlphaZéro, capable d’apprendre à partir de simplement les règles en jouant des parties contre elle-même. AlphaZéro était également capable de gagner contre le meilleur programme d’échecs et de gagner contre les meilleurs joueurs du monde au shogi. Il a inspiré d’autres modèles d’IA, parmi eux KataGo, conçu par David Wu, formé en utilisant un processus de type AlphaZero amélioré, capable lui aussi de battre des joueurs de niveau professionnel mais qui vient de se faire battre par un amateur…
Il faut toutefois préciser que Kellin Pelrine, outre être un joueur de go de niveau amateur 6 Dan, est stagiaire en recherche scientifique au centre de recherche FAR AI, une organisation à but non lucratif. La mission du centre de recherche californien FAR AI est de s’assurer que les systèmes d’IA sont dignes de confiance et bénéfiques pour la société. Ils incubent et accélèrent des programmes de recherche qui nécessitent trop de ressources pour les universités, mais qui ne sont pas encore prêts à être commercialisés par l’industrie. Leurs recherches portent en particulier sur la robustesse aux attaques adverses.
L’une d’elles, a démontré que même les systèmes d’IA “surhumains” peuvent abriter des modes de défaillance surprenants et qu’il était possible de pousser KataGo, Leela Zero ou ELF OpenGo de la société Facebook à faire de graves erreurs.
La tactique utilisée par Kellin Pelrine était simple : il a commencé à encercler l’un des groupes de son adversaire, dessinant une grande boucle de pierres, tout en distrayant l’IA avec des mouvements dans d’autres coins du plateau. Un joueur humain, même amateur, aurait facilement compris ses intentions mais selon lui, l’IA n’a pas remarqué le danger, alors même que l’encerclement était presque terminé.
Au coup 189, Katago commet la bourde finale : son groupe X n’a plus que 3 libertés et ne peut pas s’échapper. S’il avait joué simplement en A, il aurait pu s’échapper et gagner la partie.
C’est en fait un autre logiciel qui a découvert la faille de KataGo. Celui-ci a joué plus de 1 million de parties contre KataGo, pour trouver un angle mort dont un joueur humain a su ensuite profiter.
Il est à noter que si le réseau seul est particulièrement faible pour parer la faille découverte par l’adversaire de Far AI, il ne suffit pas d’augmenter le nombre de recherches dans l’arbre des coups en le passant même à 10.000.000 pour arriver à neutraliser la faille.
La découverte d’une faiblesse dans certaines des machines de jeu de go les plus avancées souligne une faille fondamentale dans les systèmes d’apprentissage en profondeur qui sous-tendent l’IA la plus avancée d’aujourd’hui. On peut considérer que l’on a été trop hâtif d’attribuer un niveau d’intelligence surhumaine aux machines
Références :
1) Adversarial Policies Beat Superhuman Go AIs
4) Le Point : Jeu de go La revanche de l’homme sur la machine
