Le laboratoire américain Merck élabore, par exemple, avec le cabinet BCG un modèle pour comprendre l'impact de certaines maladies sur les gènes. "Ce sera un modèle très petit, entre quelques centaines de millions et quelques milliards de paramètres", détaille Nicolas de Bellefonds, responsable intelligence artificielle chez BCG.
Pour comparaison, un modèle comme GPT-3, qui a sous-tendu à son lancement le robot conversationnel d'OpenAI ChatGPT, comptait 175 milliards de paramètres et son successeur, GPT-4, près de 2 trilliards.
Comme d'autres expertes et experts, Nicolas de Bellefonds remarque l'émergence de petits modèles très spécialisés qui permettent d'avoir "de meilleures performances ou, en tout cas, équivalentes" à de grands modèles généralistes pour "un coût bien plus faible".
Loin d'une vague européenne, les géants américains de la tech ne s'y sont pas trompés et ont tous sorti des petits modèles cette année. Google propose Gemma, Microsoft a Phi-3 et Meta a présenté ses premiers mini-modèles en septembre, quand OpenAI a livré une version miniature de GPT-4 cet été.
>> Lire : OpenAI lance son propre moteur de recherche, concurrent de Google
Des outils davantage spécialisés
Résumé et indexation de documents, recherche dans une base de données interne, ces petits modèles peuvent effectuer des tâches simples, souvent suffisantes pour les besoins d'une entreprise ou d'une administration: "Pas besoin de savoir les termes du traité de Versailles pour répondre à une question sur tel élément d'ingénierie", résume à l'AFP Laurent Félix, directeur général France du cabinet Ekimetrics.
Ils sont même souvent plus rapides que leurs grands frères et peuvent "répondre à plus de requêtes et plus d'utilisateurs en simultané", selon Laurent Daudet, patron de LightOn, une start-up française spécialisée dans les modèles d'IA de petite taille qui vont de 8 à 40 milliards de paramètres.
L'autre avantage est que ces modèles sont moins gourmands en énergie puisqu'il faut "moins de processeurs (GPU) pour les mettre en œuvre", ce qui explique aussi leur prix plus attractif, ajoute-t-il. Un argument de poids quand les géants de la tech sont confrontés au coût énergétique exponentiel des modèles de plus en plus grands (lire encadré).
Fonctionnement sur téléphones et ordinateurs
Mieux encore, leur petite taille leur permet de fonctionner directement sur des téléphones ou des ordinateurs: "Ça permet d'éviter de faire des déploiements sur le cloud. C'est une des manières de réduire l'empreinte carbone de nos modèles", avait indiqué Arthur Mensch, patron de la start-up Mistral AI, à Libération en octobre. La pépite française du secteur a lancé à l'automne son plus petit modèle à date, Ministral.
L'utilisation directe sur un appareil promet aussi plus de "sécurité et de confidentialité des données", rappelle Laurent Félix, puisque celles-ci restent stockées en local ou à l'échelle de l'entreprise.
Dans le futur, il y aura potentiellement plusieurs modèles qui se parlent entre eux
A terme, tous nos objets du quotidien, même notre frigo, pourraient se retrouver avec un petit modèle embarqué, a expliqué en novembre, sur la scène du Web Summit à Lisbonne, Thomas Wolf, cofondateur de Hugging Face. Cette plateforme franco-américaine d'IA en accès libre a sorti cet été sa série de petits modèles SmolLM.
Pour les spécialistes, les grands modèles de langage, qui restent les plus à même de résoudre des problèmes complexes, ne risquent toutefois pas de disparaître mais de fonctionner de façon complémentaire avec des petits modèles.
Dans le futur, "il y aura potentiellement plusieurs modèles qui se parlent entre eux", avance Nicolas de Bellefonds. "Il y aura un petit modèle qui va comprendre quelle est la nature de la question posée et envoyer cette information à plusieurs modèles de taille différente en fonction de la complexité de la question".
"Sinon, on va avoir à la fin des solutions qui sont soit trop chères, soit trop lentes, soit les deux", conclut-il.
afp/sjaq
L'intelligence artificielle, à double tranchant pour l'énergie
L'intelligence artificielle (IA) promet de venir à la rescousse du monde de l'énergie, mais son essor fulgurant soulève aussi un enjeu climatique majeur pour sa consommation vorace en électricité. Pour la première fois, un congrès international sur l'énergie se penche mercredi et jeudi sur les "deux faces de la médaille" de l'IA.
Les centres de données (data center), ces millions de serveurs qui hébergent nos données informatiques, représentent aujourd'hui seulement 1% de la consommation d'électricité mondiale, selon l'Agence internationale de l'énergie (AIE).
>> Lire : Une certification suisse veut rendre les "data centers" plus verts
Mais à certains endroits, les chiffres s'envolent déjà sous l'effet de la course effrénée à l'intelligence artificielle: en 2023, plus de 20% de la demande d'électricité en Irlande provenait des centres de données, et plus de 25% dans l'État de Virginie aux États-Unis, selon l'agence de l'énergie de l'OCDE.
Le développement de l'informatique à distance (cloud computing) a déjà démultiplié la consommation d'énergie des géants du secteur, tels Google, Microsoft ou Amazon, du fait de l'utilisation de ces centres de données. C'était sans compter l'essor fulgurant de l'intelligence artificielle dite générative qui nécessite des quantités de données et de puissance de calcul encore plus colossales.
>> Lire : Les émissions de CO2 des Gafam ont été largement sous-évaluées
Concrètement, une requête sur ChatGPT demande dix fois plus d'énergie qu'une recherche sur Google.
L'objectif pour l'AIE, vigie de la sécurité énergétique mondiale: mieux comprendre "les deux faces de la médaille" de l'IA, ses vertus, ses défauts pour le monde de l'énergie de demain.
En cinq ans, les émissions de CO₂ de Google ont bondi de 48%. Pour verdir leur consommation d'électricité, le trio du secteur Microsoft, Google et Amazon, s'appuyaient déjà sur l'éolien et le solaire; c'est désormais le nucléaire qu'ils convoitent pour étancher leur soif d'électrons décarbonés.
>> Lire : L'intelligence artificielle, une technologie loin d'être décarbonée