Comme toutes les entreprises qui s’apprêtent à vendre leurs actions au public, elle doit expliquer aux futurs investisseurs ce qui pourrait mal tourner : la concurrence, les coûts, la réglementation, la dépendance à certains clients.
Et puis il y a le reste.
Anthropic écrit que, sans garde-fous appropriés, des systèmes d’IA suffisamment avancés pourraient, surtout s’ils étaient mal utilisés, militarisés ou laissés agir avec une grande autonomie, représenter des risques « catastrophiques ou existentiels pour l’humanité ». Une inquiétude exprimée, précise-t-elle, jusque dans ses propres rangs. Ce n’est pas une déclaration arrachée à Dario Amodei au détour d’une interview, c’est écrit dans le document officiel déposé auprès de la SEC, le gendarme américain des marchés financiers.
Le même document explique qu’Anthropic utilise déjà ses propres modèles pour écrire une part importante et croissante de son code et mener de plus en plus ses recherches, y compris ses recherches sur la sécurité. L’entreprise reconnaît qu’à mesure que ces systèmes progressent, elle pourrait elle-même avoir davantage de difficultés à détecter certains comportements problématiques.
Un risque trop grand pour les assureurs
Mais le passage qui m’a le plus arrêtée concerne l’assurance. Anthropic prévient qu’en cas d’incident catastrophique lié à l’IA, les dommages pourraient être tellement importants qu’aucun assureur à lui seul, et peut-être même pas le secteur de l’assurance dans son ensemble, n’aurait la capacité de les couvrir.Relisons cette phrase autrement : une entreprise s’apprête à demander au marché de lui attribuer une valeur de près de mille milliards de dollars, voire davantage, tout en expliquant que certains risques associés à son produit pourraient être trop importants pour être assurés.
Le paradoxe est saisissant, car nous savons assez bien mettre un prix sur le risque : une usine peut brûler, une banque peut subir une fraude, un médicament peut provoquer des effets indésirables, une compagnie aérienne peut avoir un accident. On estime une probabilité, on évalue le dommage potentiel, on construit des réserves, on souscrit une assurance, on impose des normes. Le risque devient, d’une certaine manière, un chiffre.
Quand le risque fait grimper la valeur
Mais que fait-on lorsqu’une entreprise explique elle-même que le dommage potentiel pourrait dépasser ce que le marché de l’assurance est capable d’absorber ? Normalement, plus un risque est grand, plus il devrait diminuer la valeur d’un actif. Avec l’IA, quelque chose d’étrange se produit : le risque peut aussi augmenter sa valeur.Car lorsqu’Anthropic nous dit que ses modèles pourraient devenir suffisamment puissants pour provoquer des conséquences catastrophiques, elle nous dit en même temps autre chose : ils pourraient devenir extrêmement puissants. La même phrase peut donc être lue de deux façons.
Par un régulateur : cette technologie pourrait devenir dangereuse.
Par un investisseur : cette technologie pourrait devenir incontournable.
Et c’est peut-être l’une des singularités économiques de l’IA. Le scénario qui justifie la prudence est aussi celui qui nourrit la promesse. Plus les modèles sont capables de transformer le travail, la recherche, la médecine, la programmation ou la défense, plus leur marché potentiel paraît immense, mais ce sont précisément ces capacités qui rendent leurs conséquences plus difficiles à anticiper.
La prudence face aux actionnaires
Anthropic pousse d’ailleurs cette contradiction assez loin. L’entreprise prévient ses futurs actionnaires que ses engagements de sécurité pourraient l’amener à retarder un modèle, limiter certaines fonctionnalités ou renoncer à une opportunité commerciale. Autrement dit, être prudente pourrait lui faire perdre de l’argent.C’est presque l’équation parfaite du problème. Une entreprise cotée devra satisfaire des investisseurs qui attendent de la croissance. Elle devra en même temps pouvoir décider qu’une technologie très rentable ne doit pas être commercialisée parce qu’elle la juge trop risquée.
Que se passera-t-il le jour où ces deux intérêts entreront réellement en conflit ? Anthropic a prévu une gouvernance particulière et se présente depuis sa création comme une entreprise qui place la sécurité au cœur de sa mission. Je ne mets pas en doute cette intention, mais l’histoire économique nous apprend aussi que les bonnes intentions deviennent plus difficiles à tenir lorsqu’elles coûtent plusieurs milliards de dollars.
C’est là que ce prospectus devient beaucoup plus intéressant qu’un simple document financier. Il pose une question que nous allons devoir résoudre collectivement : qui doit supporter le risque lorsqu’une technologie peut créer énormément de valeur privée mais provoquer des dommages potentiellement beaucoup plus larges ? Les actionnaires ? L’entreprise ? Les assureurs ? L’État ? Ou, comme souvent, la société une fois que le problème est arrivé ?
Ce que les banques nous ont appris
Nous avons déjà connu ce débat avec les banques. Lorsqu’une banque devient suffisamment importante pour que sa faillite menace tout le système, elle devient « too big to fail ». Ses profits restent privés, mais une partie de son risque finit par devenir collectif.L’IA pourrait nous conduire vers une question encore plus étrange : que se passe-t-il lorsqu’une technologie devient trop importante pour être arrêtée, mais potentiellement trop risquée pour être assurée ?
Le dossier d’Anthropic contient près de 70 000 mots consacrés aux risques pour ses investisseurs. Peut-être que la question la plus importante n’est pourtant pas celle qu’un futur actionnaire devrait se poser, à savoir : combien puis-je gagner si Anthropic a raison sur la puissance future de l’IA ?
Mais plutôt : si Anthropic a également raison sur ses risques, qui paiera la facture le jour où quelque chose tournera vraiment mal ?