Lexique

1. L'apprentissage profond appliqué aux grands modèles de langage

2. Le modèle Transformer

a. Structure du modèle Transformer
b. Les couches d'attention du modèle Transformer

3. Les modèles de traitement du langage protéique ou pLM

a. Introduction
b. Les pLM basés sur des transformeurs
c. Caractéristiques de quelques pLM

d. Jeux d'entraînement des pLM
e. Exemples d'application des pLM en biologie
f. pLM et Python

4. Plongement ou incorporation ou intégration ("embedding")

5. Génération de protéines artificielles

a. Exemples de programmes de génération de protéines artificielles
b. Génération de protéines artificielles et évolution

6. La prédiction de la structure 3D des protéines

7. Liens Internet et références bibliographiques

Voir un développement de l'intelligence artificielle appliquée à la biologie.

1. L'apprentissage profond et les grands modèles de langage ("Large Language Models" - LLM)

En 2013, des chercheurs de Google ont développé la technique "word2vec" qui utilise des réseaux de neurones superficiels pour associer des mots uniques à des représentations distribuées de mots (voir le lexique ci-dessous).

Exemples de modèles parmi les plus performants (et connus) dans le domaine du traitement du langage naturel :

• ELMo (Allen Institute for AI) : représentation de mots contextualisée qui modélise les caractéristiques complexes de l'utilisation des mots (syntaxe et sémantique) et qui modélise la manière dont ces utilisations varient d'un contexte linguistique à un autre (polysémie).

• BERT ("Bidirectional Encoder Representations from Transformers" - Google 2018) : architecture basée sur le modèle Transformer.
  • Elle permet de créer des représentations contextuelles similaires à ELMo, mais elle est entraînée avec un objectif de modélisation du langage qui est différent.
  • Modèle d'autoencodage : il prédit les jetons masqués en utilisant le contexte bidirectionnel.

• La famille des modèles GPT (GPT-3.5 à GPT5 - "Generative Pretrained Transformer", OpenAI) qui génère des paragraphes cohérents de texte, mot à mot.
  • Modèle autorégressif : il prédit le jeton suivant en fonction de tous les jetons précédents (il conserve l'ordre d'origine). Incapable de capturer le contexte bidirectionnel.

• Le modèle WuDao 2 (2021 - 1,75 10¹² paramètres), outre sa capacité à générer du texte (comme les modèles GPT), est capable de prédire la structure 3D de protéines à partir des séquences en acides aminés comme AlphaFold.

Source : Transformer models: an introduction and catalog

Source : Ran Ding - 1 To (T : Téra) = 10¹² octets

2. Le modèle Transformer

En 2017, le modèle Transformer (Google) a permis d'obtenir des résultats révolutionnaires dans le traitement des séquences protéiques.

• Transformer est un modèle d'apprentissage profond pour le traitement du langage naturel qui traite les séquences d'entrée en parallèle grâce à un mécanisme dit d'auto-attention ("self-attention" - voir le lexique).

• Appliqué aux séquences d'acides aminés, ce mécanisme permet au modèle d'ajuster dynamiquement l'importance des informations provenant de différentes positions des acides aminés lors du traitement de chaque position de la séquence d'entrée, lui permettant ainsi de mieux capturer les dépendances globales.

• Cela confère donc au modèle la capacité à capturer différentes relations sémantiques selon différents poids d'attention ("various attention weights" - voir le lexique).

Transformer se compose :

• D'un encodeur qui extrait les intégrations (plongements) de la séquence d'entrée.
• D'un décodeur qui utilise la sortie de l'encodeur et l'auto-attention pour générer la séquence cible étape par étape, couramment utilisée dans les tâches de séquence à séquence.

Source : Zhang et al. (2024)

3. Les modèles de traitement du langage protéique ("protein Language Models") ou pLM

Les premiers modèles de traitement du langage ont permis de développer l'emploi des réseaux neuronaux pour la représentation des caractéristiques des protéines : ils ont ouvert la voie aux modèles de traitement du langage protéique ou pLM.

a. Introduction

Les séquences d'acides aminés sont considérées comme les phrases d'un langage du vivant.

De manière analogue à l'analyse sémantique et syntaxique du langage naturel, certains pLM interprètent les séquences protéiques comme du texte brut et utilisent des techniques d'inférence autorégressive avec des mécanismes d'auto-attention (voir le lexique).

Ces mécanismes, qui analysent notamment le "contexte à plus ou moins longue portée" de chaque acide aminé dans des millions de séquences protéiques ("amino acid level long-short-range interactions"), révèlent des interdépendances "cachées" entre acides aminés qui sont relatives aux relations [séquence-structure] et [structure-fonction] des protéines.

Source : Wang et al. (2025)

• Les modèles de traitement du langage protéique ou pLM sont construits par pré-apprentissage sur la base d'un très vaste corpus de séquences protéiques (généralement des centaines de millions, voire davantage) non étiquetées (c'est-à-dire, sans indication ("tag") particulière).

• Les pLM sont affinés pour un type d'analyse particulier avec des données (généralement moins nombreuses) étiquetées (par exemple, une liste de séquences d'anticorps indiquant les cibles spécifiques auxquelles ils se lient).

• Les premiers modèles (Word2Vec, GloVe, ...) apprenaient l'intégration (plongement) des mots de manière "statique" : chaque mot était représenté d'une manière indépendendante du contexte de la phrase dans lequel il était employé.

• Les pLM apprennent la sémantique des acides aminés (les "mots") selon leur contexte dans la séquence (la "phrase").

Le modèle BioVec (Asgari & Mofrad, 2015)

• ProtVec et GeneVec ont été les premiers modèles à appliquer des méthodes de représentation de mots à des séquences de protéines et d'acides nucléiques, respectivement, sous forme de vecteurs (représentation sous forme de "n-gram" (voir la figure 1 - Asgari & Mofrad, 2015).

• ProtVec traite les triplets d'acides aminés comme des mots, puis applique le modèle "skip-gram" de word2vec (voir le lexique) à l'ensemble de données Swiss-Prot, générant ainsi des représentations des protéines à 100 dimensions.

b. Les pLM basés sur des transformeurs

Les pLM (modèles de traitement du langage protéique) utilisent donc de plus en plus des modèles de type Transformer, BERT ou GPT fortement paramétrés comme architecture de base.

Voir un tableau récapitulatif.

Source : Wang et al. (2025)

Illustration de ProtGPT2

• L'entraînement de ce pLM a été effectué avec les séquences UniRef50 (regroupement de séquences d'UniProt présentant 50% d'identité).
• Les ensembles de données d'apprentissage finaux contiennent respectivement 44,9 et 4,9 millions de séquences pour l'apprentissage et l'évaluation.
• Le modèle final est une architecture décodeur seul de 36 couches et 738 millions de paramètres.

Dans les modèles autorégressifs, la probabilité d'un acide aminé (wi) dans une séquence dépend uniquement de son contexte, à savoir des acides aminés précédents dans la séquence. La probabilité totale d'une séquence (W) est la combinaison des probabilités individuelles de chaque acide aminé :

Exemple d'entraînement du pLM en minimisant la valeur du log(vraisemblance négative) sur l'ensemble des séquences : le modèle doit apprendre les relations entre un acide aminé et tous les précédents de la séquence pour chaque séquence k de l'ensemble de données D :

Illustration de ProteinBERT (pLM inspiré de l'architecture de BERT)

• Ce pLM est pré-entraîné sur environ 106 millions de protéines issues de UniRef90.
• Il est testé sur 9 ensembles de séquences représentant les principales caractéristiques des protéines (structure, modifications post-traductionnelles et peptide signal, propriétés biophysiques (fluorescence et stabilité)).

Les séquences protéiques ont été codées sous forme de séquences de jetons entiers avec 26 jetons uniques représentant :

• Les 20 acides aminés standards
• La sélénocystéine (U), un acide aminé indéfini (X) et un autre acide aminé ("OTHER")
• 3 jetons supplémentaires ("START", "END" et "PAD").

Source : Wang et al. (2025)

Pour chaque séquence protéique, les jetons START et END ont été ajoutés avant et après le dernier acide aminé, respectivement.

Les annotations GO associées à chaque séquence ont été codées sous forme de vecteur binaire de taille fixe (8943) : toutes les entrées sont des 0, à l'exception de celles correspondant à l'annotation GO associée à la protéine.

d. Jeux d'entraînement des pLM

SwissProtCLAP : jeu de données qui comprend 441.000 paires [texte - séquence protéique] (construit à partir des données de la base de données SwissProt).

ProtDescribe : jeu de données qui comprend 553.052 paires [séquences protéiques alignées - descriptions de leurs propriétés] (construit à partir des données de la base de données SwissProt).

UniProtQA : jeu de données (dérivé d'UniProt) qui comprend des protéines et des requêtes textuelles qui englobent 4 propriétés de ces protéines (caractéristiques fonctionnelles, nomenclature officielle, familles de protéines, localisation subcellulaire).

InstructProtein : jeu de données textuelles sur les protéines dérivées du graphe de connaissances construit par la base de données [UniProt/Swiss-Prot] qui englobe une collection complète de 2,8 millions de données.

ProteinLMBench : 1er jeu de référence pour l'évaluation des capacités de compréhension des pLM (944 questions à choix multiples soigneusement sélectionnées couvrant un large éventail de tâches liées aux protéines).

Il existe de très nombreux autres jeux de données de divers types pour les prédictions concernant les acides nucléiques, les données "single-cell", l'annotation - ontologie, ...

f. pLM et Python

Un très grand nombre de pLM sont écrits en Python, utilisant :

• Des bibliothèques de gestion des données (Pandas, NumPy, ...).
• Des bibliothèques logicielles spécifiques pour l'apprentissage profond (Pytorch, TensorFlow, Keras, ...).

Il existe des outils de développement ("Jupyter notebooks" sur un ordinateur personnel, "Google Colab notebooks" sur le "cloud", ...).

Exemple de script ProtGPT2 pour la génération de protéines de novo. ProtGPT2 génère des séquences les plus probables suivant l'acide aminé "M" selon l'entrée.

from transformers import pipeline
protgpt2 = pipeline('text-generation', model="nferruz/ProtGPT2")
# longueur exprimée en jetons ("token"), où chaque jeton a une longueur moyenne de 4 acides aminés.
sequences = protgpt2("<|endoftext|>", max_length=100, do_sample=True, top_k=950, repetition_penalty=1.2, num_return_sequences=10, eos_token_id=0)
for seq in sequences:
print(seq):
{'texte généré': 'MINDLLDISRIISGKMTLDRAEVNLTAIARQVVEEQRQAIEYIREWKTTKGG'}
{'texte généré': 'MQGDSSISSSNRMFTLCKPLTVANETSTLSTTSPTP'}
{'texte généré': 'MSTHVSLENTLASLQATFFSLEARHTALESTQS'}
{'texte généré': 'MVLLSTGPLPILFLGPSLAELNQKYQVVSDTLLRFTNTV\TFNTLKFLGSDS'}

3. Plongement ou incorporation ou intégration ("embedding")

"sentence or word embedding" : selon les sources, traduit en français par "plongement lexical ou sémantique", "incorporation de phrase ou de mot", "intégration de phrase ou de mot".

En traitement du langage naturel, c'est une méthode d'apprentissage qui encode les informations sémantiques (voir le lexique) significatives d'une phrase ou d'un mot sous la forme d'un vecteur de nombres réels (avec une table de correspondance, "lookup table") dans un espace vectoriel pouvant compter des milliers de dimensions.

La comparaison de ces vecteurs permet de mieux évaluer la proximité des mots encodés.

Le modèle de plongement lexical "skip-gram"

• Un ensemble de mots d'un vocabulaire de taille V est projeté dans un espace vectoriel dont les vecteurs, qui représentent ces mots, ont une taille N petite.
• La méthode emploie des réseaux de neurones pour construire les vecteurs et les modèles sont entraînés avec des corpus lexicaux extrêmement volumineux. Le but est de prédire un mot à partir de son contexte ou inversement.
• Le réseau de neurones a une couche d'entrée X et une couche de sortie Y (vecteurs binaires de dimension V) avec une couche cachée à N dimensions intercalée.
• L'entraînement de ce réseau génère une matrice W de taille (V × N) : à la fin de l'étape d'apprentissage, la matrice W contient les plongements ou incorporations de tous les mots du vocabulaire d'entrée.

Source : "Plongement lexical" (Wikipédia)

Illustration du plongement

• Considérons les intégrations (plongements) à 3 dimensions des mots similaires "apple" = [1,40, 0,02, -0,36] et "orange" = [1,52, 0,16, -0,11]. Les deux intégrations ont une valeur positive en 1ère position.
• Considérons les intégrations des mots similaires "apple" = [2,24, -0,03, -2,18] et "microsoft" = [-0,62, -0,38, -1,53]. Les deux ont une valeur négative en 3è position.

Source : "Word Embedding Demo : Tutorial"

Le plongement (ou représentation) sous forme de vecteurs permet un très grand nombre de calculs et d'opérations.

Par exemple, l'analogie par arithmétique vectorielle (figure ci-dessous) : le mot "man" est à "king" ce que le mot "woman" est à "king – man + woman" = "queen".

Source : "Word Embedding Demo : Tutorial"

Illustration avec les séquences d'acides aminés

• Les vecteurs générés par le transformeur UniRep ("Unified Representation" - Alley et al., 2019) capturent les propriétés biochimiques des acides aminés dans des séquences provenant de différents organismes.
• Voir un développement.

Source : Liam Bai

Exemple de tâche à accomplir

Soit la séquence protéique suivante dont les acides aminés à certaines positions sont masqués : L T [?] A A L Y [?] D C
Demander à l'encodeur de prédire les acides aminés probables à ces positions.

a. L'encodeur traduit une séquence d'acides aminés en un ensemble de vecteurs d'intégration (plongement).

Figure adaptée de : "How to represent a protein sequence" (L. Bai)

b. Pour générer un vecteur décrivant la séquence entière, on moyenne les valeurs des vecteurs des acides aminés de cette séquence.

Figure adaptée de : "How to represent a protein sequence" (L. Bai)

c. Chaque séquence protéique connue constitue un exemple d'apprentissage étiqueté (apprentissage auto-supervisé). Si le modèle prédit efficacement un acide aminé masqué, il apprend des informations significatives sur la séquence de la protéine.

Figure adaptée de : "How to represent a protein sequence" (L. Bai)

5. Génération de protéines artificielles

Les pLM sont des outils trés performants pour générer artificiellement des protéines fonctionnelles aux propriétés inédites : c'est un moyen puissant de trouver des solutions thérapeutiques et environnementales.

a. Exemples de programmes de génération de protéines artificielles

ProGen

pLM entraîné à prédire le prochain acide aminé avec plus de 280 millions de séquences protéiques issues de milliers de familles de protéines PFAM. Des protéines artificielles générées par ce pLM liées à 5 familles distinctes de lysozymes antibactériens ont été ainsi générées et leurs propriétés structurales et enzymatiques analysées :

• Elles ont des activités catalytiques similaires aux lysozymes naturels malgré un taux d'identité de seulement 31%.
• Elles adoptent le même repliement et conservent la même position des résidus d'acides aminés du site actif des protéines naturelles.

ProtGPT2

• ProtGPT2 (Ferruz et al., 2022) est un modèle "Transformer" uniquement décodeur, basé sur l'architecture "GPT2 Transformer".
• Il contient 36 couches avec une dimensionnalité de modèle de 1280, pour un total de 738 millions de paramètres.
• C'est un pLM non supervisé et pré-entraîné sur la base de données de protéines UniRef50 (séquences brutes sans en-têtes FASTA).

Le programme ESM3 a généré une nouvelle protéine fluorescente verte ("Green Fluorescent Protein" - GFP), dénommée esmGFP, qui possède 58 % de similarité avec la plus proche GFP "naturelle" similaire (Hayes et al., 2025).

La génération par apprentissage profond de cette structure en quelques heures revient (selon les auteurs) à simuler 500 millions d'années d'évolution.

Source : EvolutionaryScale

6. La prédiction de la structure 3D des protéines

Les algorithmes d'apprentissage automatique pour la prédiction de la fonction des protéines incluent généralement 4 étapes :

• L'extraction de caractéristiques des séquences d'acides aminés (notamment composition, fréquence, position, ordre et propriétés physico-chimiques, existence de domaines structuraux).

• La sélection de caractéristiques correspond à la réduction du "bruit" et de la redondance des caractéristiques extraites précédemment afin d'augmenter l'efficacité de l'étape suivante d'entraînement du modèle et, en conséquence, la précision de la prédiction de ce modèle.

• L'étape d'entraînement du modèle est basée sur l'ensemble des caractéristiques précédemment sélectionnées. Elle utilise des algorithmes d'apprentissage automatique spécifiques (exemples : algorithme génétique, méthode "K-Nearest Neighbor" (KNN), méthode "Support Vector Machine" (SVM)) pour construire le modèle de classification.

• La prédiction de classification introduit les caractéristiques de la séquence à tester dans le modèle lors de la phase de formation. Elle utilise le modèle pour déterminer si la séquence à tester appartient à la même classe qu'une séquence protéique avec une fonction spécifique.

a. Démarche générale de prédiction de la structure 3D des protéines

Voir un développement sur la comparaison et prédiction des structures par apprentissage profond.

Etapes générales de la démarche de prédiction de la structure des protéines sans "modèle" ("template-free protein structure prediction pipeline") :

• (i) Génération d'alignements de séquences multiples ("Multiple Sequence Alignment" - MSA).
• (ii) Prédiction de cartes de contacts ("contact maps"), de distogrammes ou de distances à valeur réelle.
• (iii) Assemblage de [structures/fragments].
• (iv) Assurance qualité & affinement des structures prédites ("refinement").

Source : Pakhrin et al. (2022)

b. Les programmes Alphafold & Rosetta : prix Nobel de chimie 2024

Conceptuellement, AlphaFold était à l'origine un réseau de neurones pour prédire les distances probables entre les paires d'acides aminés et les angles de chaque liaison peptidique reliant les résidus d'acides aminés.

Ces 2 prédictions ont ensuite été intégrées à un score avec le "score2" du logiciel de modélisation Rosetta.

AlphaFold utilise la distribution entière des distances 2 à 2 entre résidus d'acides aminés comme une fonction potentielle statistique (spécifique de la protéine) qui est directement minimisée par la descente de gradient pour obtenir le repliement de la protéine.

Le programme AlphaFold est au coeur de la base de données (système de prédiction) AlphaFold DB.

• AlphaFold prédit la structure de plus de 98% des protéines du protéome humain avec une très haute précision.
• AlphaFold DB (DeepMind - Uniprot) contient plus de 200 millions de structures de protéines issues de centaines de milliers d'espèces.

Le prix Nobel de Chimie 2024 a été attribué à D. Baker "for computational protein design" (programme Rosetta) et à D. Hassabis & J. Jumper "for protein structure prediction" (programme AlphaFold).