Catégorie : Uncategorized

Contrairement à d’autres situations ou activités, l’analyse des biais dans le renseignement est assez récente. Pour preuve, le programme européen RECOBIA (REduction of COgnitive BIAses in Intelligence Analysis) date seulement de 2012. L’objectif de ce programme est de travailler à l’amélioration de la qualité de l’analyse du renseignement sur les menaces en réduisant l’impact négatif des biais cognitifs.

En effet, un analyste en renseignement qui doit retravailler l’information, l’analyser, la confronter à une série d’autres informations ou réalités, etc. est au cœur de très nombreux mécanismes cognitifs. Il est donc sujet à un certain nombre de déviances qui pourraient altérer son jugement ou son analyse, et donc fournir une information erronée, tant dans son contenu que dans son importance ou sa validité, par exemple.

C’est en cela que le DGA Lab, laboratoire d’innovation du ministère de la Défense, a identifié dans le milieu du renseignement, 29 biais cognitifs majeurs qui entrent en jeu de manière quasi systématique, lors du travail de qualification d’un renseignement.

Je ne vais pas lister les 29, car cela n’aurait que peu d’intérêt. Mais j’ai essayé de me prêter à l’exercice du rapprochement de ces biais avec les 5 étapes dans le cycle du renseignement afin de déterminer en quoi chacune de ces étapes peut être influencée, perturbée par un biais.

Dans un souci de simplification, j’ai essayé d’illustrer mon propos dans le schéma ci-dessous. Il ne s’agit évidemment que d’un premier travail. Que d’une ébauche de réflexion qui me permet, dans le cadre même de mes activités, de comprendre et d’analyser ma propre méthode de traitement de la donnée.

https://www.lemagit.fr/tribune/Cybersecurite-les-biais-cognitifs-dans-tous-leurs-etats-4-5

Ça y est, nous y sommes, cette fois il ne s’agit plus de surveiller, d’être en veille, mais en action. Nous sommes en pleine cyber crise !

Les grands opérateurs de service en cybersécurité sont généralement habitués à gérer des crises, que ce soit dans leur propre organisation, ou pour l’un de leurs clients. Ils ont donc là encore tout un arsenal d’outils et de méthodes pour piloter et gérer ce type d’évènements.

Pour autant – et on le vérifie quasi systématiquement –, personne n’est à l’abri de mauvaises décisions. Alors si nous sommes tellement préparés, pourquoi une gestion de crise peut-elle déraper ?

Plusieurs biais peuvent expliquer ces erreurs d’appréciation. En voici quelques-uns.

• Il arrive très souvent de voir une équipe ne pas déclencher le protocole de crise alors qu’elle est justement en pleine tempête. Ça peut sembler aberrant, mais analyser la situation et la qualifier de crise n’est pas chose aisée. Sans compter que lorsque tout devient critique pour tout le monde, on ne sait plus distinguer l’urgent de l’important. C’est alors que se met en branle une réaction quasi systématique : l’improvisation générale. Tout le monde se mêle de tout, personne ne respecte plus les protocoles de communication, les niveaux de confidentialité sont bafoués, les communications sont anarchiques, les actions non pilotées, etc. La situation est idéale pour garantir une perte d’information et mener un membre de l’équipe à prendre la mauvaise décision. Les acteurs de cette situation ne la perçoivent pas telle qu’elle est réellement. Et ce pour une raison assez triviale finalement : l’anarchie mène à la production en masse de données chiffrées ou de contenus sémantiques, qui vont venir perturber l’analyse et le bon sens, en créant une distorsion de l’estimation ou de l’interprétation de l’information. La simple formulation d’une question ou d’une situation influe sur la perception d’une situation et conduit notre cerveau à commettre des écarts d’interprétation pouvant être lourds de conséquences. Il s’agit du biais d’ancrage.
• Un autre point qui intervient très souvent dans la mauvaise prise de décision : ne se fier qu’à l’expertise en oubliant le bon sens. Les décideurs dans une entreprise par exemple, qui ne sont généralement pas des techniciens, vont parfois se retrouver à devoir prendre une décision dans un contexte qu’ils ne maîtrisent plus. La cyberattaque est un exemple frappant : elle est très technique, est décrite par un vocabulaire très abstrait, et n’est comprise que des experts du sujet. Dans ce contexte, le patron se retrouve dans une position compliquée et va avoir du mal à prendre la décision. Il va donc s’en remettre aux techniciens, considérant qu’ils sont mieux placés pour le faire. Son jugement sera donc totalement influencé et pourrait ne pas refléter ce qu’il pense vraiment, et surtout ce qu’il doit réellement faire. Il s’agit du biais d’expertise.
• Une autre situation qui génère souvent des déviances est la réunion de crise. Il arrive parfois que certains, par peur d’être exclus, ou par simple besoin de montrer qu’ils sont du même avis que la majorité, prennent une décision qui n’est pas forcément la leur. Ce désir d’harmonie, qui rend irrationnels les processus de décision, provient du biais de conformité. On pourrait également parler du biais du faux consensus qui intervient dans les mêmes moments, mais lorsqu’il faut aller vite : accélérer la prise de décision, sans avoir analysé les alternatives et la qualité des choix faits.
• Un biais assez similaire intervient parfois en situation de crise. Il s’agit du biais de similarité, qui confère à un individu, parce qu’il pense comme les autres, un poids dans la décision finale, alors que ce même individu n’a pas forcément d’expertise sur le sujet. « Il pense pareil, alors c’est qu’il sait ».

Le retour d’expérience et son analyse sont particulièrement importants après toute gestion de crise ou incident majeur.

On pourrait continuer tant la liste des biais est longue. La situation de crise, parce qu’elle est exceptionnelle, parce qu’elle génère du stress, de la pression, de la peur, est sans doute l’une des situations où l’on peut trouver de très nombreux biais qui s’expriment : le biais de l’illusion de validité, des émotions immédiates, de la malédiction de la connaissance, de l’ambiguïté, d’autorité, d’injonction paradoxale ou de renoncement, etc. Toutes ces déviances de la pensée que notre cerveau ordonne sans que nous puissions le contrôler simplement.

C’est en ce sens que le retour d’expérience et son analyse sont particulièrement importants après toute gestion de crise ou incident majeur : reprendre à froid, chaque décision, chaque comportement, et essayer de comprendre ce qui a pu modifier une perception, une décision.

https://www.lemagit.fr/conseil/Cybersecurite-les-biais-cognitifs-dans-tous-leurs-etats-3-5

En général, une équipe cyber, lorsqu’elle est pleinement constituée, se compose d’un certain nombre de groupes clairement identifiés : équipe de gestion du risque, une équipe de détection (SOC), une équipe de réponse à incidents (CERT), et une équipe de renseignement (CTI), etc.

Toutes sont normalement formées aux risques cyber, aux crises, aux incidents. Chaque membre des différentes équipes, en fonction de son niveau d’expertise, est doté d’une méthode d’analyse des risques, d’un arsenal d’outils, de données télémétriques lui permettant d’assurer sa mission. Pourtant, force est de constater qu’ils ne sont pas exempts de failles.

Les analystes du SOC, désignés pour surveiller les systèmes d’information, sont de plus en plus surchargés cognitivement : on estime qu’ils doivent traiter les alertes au rythme d’une toutes les deux minutes ! Trop d’informations en même temps, pas ou peu de lien entre plusieurs informations, une contextualisation qui change toutes les deux minutes également, une multitude de sources d’informations qu’il faut appréhender et rapidement analyser, etc.On estime que les analystes du SOC, désignés pour surveiller les systèmes d’information, doivent traiter les alertes au rythme d’une toutes les deux minutes.

Cette combinaison de facteurs qui inclut des quantités écrasantes de données, les nombreux faux positifs qu’elles génèrent, le temps qui est compté, le stress de la situation, l’organisation du travail, les pressions managériales… entraînent une surcharge cognitive. Laquelle peut, évidemment, conduire parfois (et de plus en plus souvent) à la prise de mauvaises décisions.

Si nous rapprochons ces constats aux biais cognitifs, voici ce que nous pouvons dire :

• Les acteurs qui travaillent dans ce type de contextes peuvent surestimer ou sous-estimer (biais d’optimisme) la criticité d’une situation, et surtout peuvent avoir tendance à rechercher des preuves soutenant une hypothèse qu’ils souhaitent privilégier. L’analyste peut surpondérer des informations allant dans son sens : c’est le biais de confirmation.
  Exemple d’une entreprise qui a l’habitude de mener des campagnes de phishing pour sensibiliser ses personnels : les équipes cyber vont penser en priorité à exclure la possibilité d’une attaque, et penser plutôt à un exercice. Elles vont plutôt rechercher tous les éléments allant dans ce sens, sans forcément se dire qu’il s’agit d’une réelle campagne de phishing. Et pendant ce temps, le chrono tourne.

• Les mêmes acteurs peuvent être amenés à se référer directement à un outil et à ses résultats, sans chercher à analyser le contexte réel : biais d’automatisation. L’omniprésence de l’outillage et le sentiment que la machine a toujours raison les amènent à privilégier les résultats issus d’un système automatisé, au détriment de décisions réfléchies, posées et contextualisées.
• Souvent, lors d’un incident de sécurité, les équipes ont tendance à se focaliser sur les risques majeurs, en oubliant les risques résiduels qui peuvent être tout autant dévastateurs : biais d’information partagée, on passe plus de temps sur les informations générales et moins sur les détails. Mais il peut également faire l’inverse, et ne se concentrer que sur ce qui est minime. C’est ici un comportement qui répond à la loi de la futilité, et qui ordonne de passer plus de temps sur des questions sans intérêt que sur le sujet en cours. C’est assez proche de l’effet de l’autruche, qui va induire un tri trop sélectif de l’analyste, lequel ne va pas avoir la même considération pour toutes les informations qui lui parviennent.
• Parfois, un analyste de SOC, parce qu’il a de l’expérience, oublie de tester d’autres méthodes d’analyses ou de contextualisation. Persuadé que sa méthode est unique et qu’elle est la bonne, il ne cherche pas à la confronter à une autre. C’est l’effet Einstellung : lorsqu’une idée vient immédiatement à l’esprit dans un contexte familier, elle empêche les alternatives d’être considérées. On retrouve ce comportement avec l’expression du biais heuristique, où seules les informations qui viennent à l’esprit en premier sont considérées. Ce phénomène peut être excessivement dangereux, notamment lorsque les équipes sont focalisées sur une attaque phare et en oublient la sécurité d’autres périmètres.
• Un autre biais assez fréquent que l’on rencontre est le biais de disponibilité, qui consiste à interférer dans la prise de décision, en ne mettant en avant que les instances dans lesquelles certaines actions ont réussi dans le passé. L’analyste va alors comparer la situation en cours avec une précédente qui y ressemble, et prendra une décision potentiellement peu efficace, voire inadaptée.
• Enfin, l’expérience peut être un atout, mais également une contrainte en cybersécurité. L’excès de confiance peut biaiser la perception des choses et conduire à prendre une mauvaise décision. Cette déviance est elle aussi liée à un biais, naturellement appelé le biais de l’excès de confiance.

Nous venons de décrire quelques biais qui peuvent être à l’origine de mauvaises décisions dans un SOC… et ce dans une situation dite nominale. Qu’en est-il en cas de crise majeure ? Ce sera l’objet du prochain article de cette série.

https://www.lemagit.fr/tribune/Cybersecurite-les-biais-cognitifs-dans-tous-leurs-etats-2-5

Même si certains diront « tout maîtriser », il faut savoir reconnaître que nous sommes manipulé-e-s la plupart du temps par un fonctionnement très spécial de notre cerveau. L’immense majorité des milliers de décisions que nous prenons au quotidien le sont en mode « pilotage automatique », sous l’impulsion forte, mais incontrôlée, de nombreux biais cognitifs. Un biais cognitif est une distorsion dans le traitement cognitif d’une information. On imagine alors que comprendre ces biais cognitifs est un réel enjeu stratégique, tant pour les déjouer que pour les utiliser dans nos actions.

Les biais cognitifs constituent un sujet qui me passionne depuis de nombreuses années. Dans le domaine de la cybersécurité, on imagine aisément que comprendre ces biais, et être capables de les utiliser, nous donnerait un avantage stratégique très important : déjouer les attaques, et manipuler l’attaquant !

L’objectif n’est pas ici de faire une liste sans fin de tous les biais qui existent, mais plutôt de présenter comment, au quotidien, ils peuvent altérer les plus aguerris d’entre nous. Les analystes, les experts forensics, les spécialistes du renseignement, les meilleurs pilotes de cellules de crises… tous sont susceptibles à un moment ou à un autre de laisser un biais prendre le contrôle de leurs réflexions, de leurs décisions.Tout le monde est concerné par les déviances que les biais cognitifs peuvent engendrer.

On ne sera jamais certain d’éviter d’être la victime d’un biais. Mais on doit essayer de tout faire pour éviter qu’il ne nous piège au mauvais moment. D’ailleurs, il est quasi certain que j’ai dû en être victime moi aussi en rédigeant cette série d’articles. L’influence de mon travail, de mes collègues, de mes mentors… Tout le monde est concerné par les déviances que les biais cognitifs peuvent engendrer. Un des pièges à éviter, c’est de ne pas céder au biais de l’angle mort, et croire que les biais cognitifs sont davantage présents chez les autres que chez soi. 

Des menaces dont il est difficile d’appréhender la réalité

En cybersécurité, la perception du risque est particulière du fait d’un manque d’information à jour sur les menaces. Ces dernières étant très évolutives et mouvantes, nous n’avons général qu’une vue très partielle du son contexte complet du risque.

Nous savons que la menace est réelle, mais il est très compliqué de quantifier le risque qui y est associé. Pire encore, certains ne se sentent pas toujours concernés (effet Dunning Kruger : la plupart des gens pensent qu’ils ne seront pas victimes d’incidents de sécurité), même si cela tend à changer.Nous sommes désormais de plus en plus conscients qu’être attaqués sera une réalité, mais nous n’arrivons toujours pas à pleinement anticiper cette réalité, et à en évaluer le risque.

En effet, nous sommes désormais de plus en plus conscients qu’être attaqués sera une réalité, mais nous n’arrivons toujours pas à pleinement anticiper cette réalité, et à en évaluer le risque.

Nous pouvons aujourd’hui qualifier leurs coûts tangibles : vol de fonds (directs ou via une rançon), dommages causés aux systèmes, amendes pour infractions aux règlements, compensations financières. Et nous savons à peu près définir leurs coûts non palpables qui pourraient inclure la perte d’un avantage concurrentiel liée au vol de propriété intellectuelle, la perte de confiance, l’atteinte à la réputation, la décrédibilisation de la marque, etc.

Mais au-delà de ces dommages que nous savons potentiellement mesurer, les cyberattaques prennent désormais une ampleur capable de causer des pannes d’infrastructure à une échelle beaucoup plus grande, capable d’affecter des interconnexions complexes entre plusieurs industries, entre plusieurs business, et potentiellement déstabiliser des systèmes financiers ou industriels complets.

L’objectif ici n’est pas de décrire les risques, et d’apporter une réponse à leurs qualifications, mais d’avancer sur une des nombreuses questions que l’on pourrait se poser pendant une cyberattaque : comment prendre les bonnes décisions dans un contexte de crise cyber ?

Là encore, je ne vais pas m’aventurer à débattre sur la définition d’une cellule de crise, ou le « comment bien gérer une crise cyber », car ce n’est pas mon métier premier, mais je vais plutôt m’intéresser à l’humain au milieu de cette crise. L’Humain et, avec lui, les organisations qu’il a construites, sont des édifices fragiles et faillibles. Et évidemment, les biais cognitifs sont souvent au cœur de cette fragilité.

Je vais essayer de centrer cette série d’articles sur 4 domaines pour lesquels les biais cognitifs auront une action déterminante sur la prise de décision des équipes en charge de gérer les risques, une crise, du renseignement ou la riposte contre l’adversaire.

https://www.lemagit.fr/tribune/Cybersecurite-les-biais-cognitifs-dans-tous-leurs-etats-1-5

Le titre peut sembler un tantinet racoleur, mais évidemment il n’en est rien.

Je voudrais simplement décrire au travers de ces quelques lignes le parcours d’une Psychologue au sein d’une équipe CERT, et plus particulièrement au sein de l’équipe de Cyber Threat Intelligence (CTI).

https://www.linkedin.com/pulse/une-psy-dans-le-cert-nathalie-granier/