Après le Transformer : Architectures Hybrides Mamba-Attention et l'Infini Contexte

16 September 2026

Pendant près d'une décennie, le mécanisme d'attention introduit par l'article fondateur « Attention Is All You Need » a régné en maître incontesté sur l'apprentissage profond. Mais en 2026, l'ambition de traiter des contextes de plusieurs millions de tokens en temps réel s'est heurtée à une barrière physique fondamentale : la complexité quadratique du mécanisme de self-attention et l'explosion dramatique de l'empreinte mémoire du KV-cache. Pour repousser ces limites, une nouvelle génération d'architectures hybrides conjuguant les modèles d'espace d'états (SSM, comme Mamba) et des couches d'attention parcimonieuses redéfinit l'état de l'art du traitement de séquences longues.

I. L'Impasse Quadratique du Transformer Standard

Pour comprendre l'urgence de cette rupture d'architecture, il convient de réexaminer la mécanique de l'attention multi-têtes (Multi-Head Attention, MHA) standard.

1. La complexité calculatoire $\mathcal{O}(N^2)$

Soit une séquence d'entrée de $N$ tokens représentée par une matrice $X \in \mathbb{R}^{N \times d_{\text{model}}}$. L'opération centrale calcule le produit scalaire entre les matrices de requêtes ($Q$) et de clés ($K$) :

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V$$

La matrice d'interaction $Q K^T$ possède des dimensions $N \times N$. Lorsque la longueur de contexte $N$ passe de 4 096 tokens à 1 000 000 de tokens, le nombre d'opérations en virgule flottante (FLOPs) requises pour cette seule matrice est multiplié par $(10^6 / 4096)^2 \approx 59\,600$.

2. Le gouffre du KV-cache en inférence

Lors de la génération autorégressive token par token, pour ne pas recalculer les représentations passées, les systèmes conservent en mémoire GPU les tenseurs de clés ($K$) et de valeurs ($V$) de tous les tokens antérieurs.

Pour un modèle de 70 milliards de paramètres (ex. LLaMA-classique) avec 80 couches, une dimension de tête de 128 et 8 têtes de clés/valeurs (GQA) en précision FP16 :
- Taille du KV-cache pour un seul flux de 128 000 tokens : ~40 Go de VRAM.
- Taille du KV-cache pour un million de tokens : ~320 Go de VRAM.

À cette échelle, la totalité de la mémoire ultra-rapide HBM3e d'un système multi-GPU HGX n'est plus allouée aux poids du modèle ou au parallélisme de batch, mais simplement à la conservation de l'historique conversationnel.

II. Les Modèles d'Espace d'États : De S4 à Mamba-2

Face à ce mur, les chercheurs Albert Gu et Tri Dao ont revisité la théorie des systèmes dynamiques continus pour créer les architectures de type SSM (State Space Models).

Système dynamique continu :
h'(t) = A h(t) + B x(t)
y(t)  = C h(t) + D x(t)

Discrétisation (Zero-Order Hold) :
h_t = \bar{A}_t h_{t-1} + \bar{B}_t x_t
y_t = C_t h_t

           +-------------------------------------------------------+
           |                ÉTAT CACHÉ COMPACT (h)                 |
           |                Taille fixe O(1) en VRAM               |
           +---------------------------^---------------------------+
                                       |
Tokens : [ x_0 ] ---> [ x_1 ] ---> [ x_2 ] ---> ... ---> [ x_N ]
           |             |            |                     |
           v             v            v                     v
Sorties: [ y_0 ]      [ y_1 ]      [ y_2 ]               [ y_N ]

1. La sélection contextuelle (Selective State Spaces)

Les SSM linéaires classiques (comme S4) appliquaient des matrices de transition $A, B, C$ invariantes dans le temps. Leur limitation majeure résidait dans leur incapacité à « oublier » sélectivement les informations non pertinentes ou à mémoriser des faits isolés précis.

Mamba a résolu cette impasse en rendant les matrices $B, C$ et le paramètre de discrétisation $\Delta$ dépendants de l'entrée $x_t$ à chaque pas temporel :
- Complexité calculatoire linéaire : $\mathcal{O}(N)$ durant l'entraînement grâce à un algorithme de balayage associatif parallèle (Parallel Associative Scan) optimisé pour la hiérarchie mémoire SRAM/HBM des GPU.
- Inférence en temps constant : $\mathcal{O}(1)$ en mémoire et en temps de calcul par token généré, car le modèle ne manipule plus de KV-cache grandissant, mais un état caché compact de dimension fixe.

2. Mamba-2 et la dualité SSM-Attention (SSD)

Formalisée avec Mamba-2, la dualité espace d'état / attention démontre mathématiquement qu'un SSM sélectif peut être formulé comme une forme d'attention linéaire structurée par des masques semi-séparables. Cette passerelle a permis de fusionner les noyaux de calcul de type Tensor Cores et de décupler la vitesse d'entraînement.

III. Le Talon d'Achille des SSM Purs : Le Rappel Associatif

Pourquoi Mamba n'a-t-il pas purement et simplement balayé le Transformer ? La réponse réside dans la tâche du rappel associatif (Associative Recall), souvent testée par les benchmarks de type « Aiguille dans une botte de foin » (Needle In A Haystack).

Propriété	Transformer Standard (Attention)	SSM Pur (Mamba / RWKV)	Hybride (Mamba + Attention)
Complexité d'entraînement	$\mathcal{O}(N^2)$	$\mathcal{O}(N)$ linéaire	Quasi-linéaire
Empreinte mémoire inférence	$\mathcal{O}(N)$ (KV-Cache géant)	$\mathcal{O}(1)$ (État borné)	Réduite de 70 à 85 %
Débit de génération (Tokens/sec)	Décroissance rapide avec $N$	Constant quel que soit $N$	4 à 8x supérieur au Transformer
Rappel associatif précis	Parfait (Accès direct à chaque token)	Dégradation sur les faits lointains	Excellent (Attention sélective ciblée)
Compréhension du code long	Très forte	Moyenne à difficile	Très forte

Dans un Transformer, chaque token dispose d'un canal direct d'interrogation vers tous les tokens passés via le produit $Q K^T$. Dans un SSM pur, l'information doit être compressée séquentiellement dans l'état latent borné $h$. Face à un document de 500 000 tokens contenant une clé de déchiffrement arbitraire de 16 caractères au milieu, la compression inévitable de l'état latent finit par éroder les signaux cryptiques à faible fréquence statistique.

IV. L'Architecture Hybride : Le Meilleur des Deux Mondes

La solution adoptée par les laboratoires de pointe en 2026 (illustrée par des modèles tels que Jamba d'AI21 Labs, Samba de Microsoft Research, Zamba ou Nemotron-H) consiste à concevoir un modèle modulaire entremêlant blocs Mamba et blocs d'attention conventionnelle.

BLOC RÉCURRENT HYBRIDE (Ratio typique 1:7) :
======================================================
[ Entrée x ]
    │
    ├─► [ Couche Mamba-2 Sélective ] ──► (Compression linéaire O(N))
    ├─► [ Couche Mamba-2 Sélective ]
    ├─► [ Couche Mamba-2 Sélective ]
    ├─► [ Couche Mamba-2 Sélective ]
    ├─► [ Couche Mamba-2 Sélective ]
    ├─► [ Couche Mamba-2 Sélective ]
    ├─► [ Couche Mamba-2 Sélective ]
    │
    └─► [ Couche Attention Multi-Têtes (MHA / GQA) ] ──► (Rappel associatif global)
    │
    ▼
[ Feed-Forward Network / MoE ]
======================================================

1. La formule du ratio d'entrelacement

En plaçant une seule couche d'attention toutes les 4, 6 ou 8 couches Mamba : - La taille du KV-cache est divisée par le facteur de substitution (réduction de 75 % à 87,5 % de la VRAM requise pour le cache). - Le modèle conserve 99 % des capacités de raisonnement complexe, de copie en contexte et de résolution de références croisées du Transformer natif. - Le coût d'ingestion (Prefill phase) sur de longs contextes (1 à 4 millions de tokens) est divisé par un facteur de 3 à 5, car 80 % des couches s'exécutent en complexité linéaire.

2. L'intégration de couches MoE (Mixture of Experts)

Dans des architectures hybrides modernes comme Jamba, les couches d'attention et SSM sont combinées à des couches Feed-Forward activées de manière conditionnelle par routage dynamique (MoE). Pour une séquence de 256 000 tokens : - Un modèle Transformer classique de 52B paramètres nécessite un cluster de 8 GPU H100 pour maintenir le KV-cache d'un seul utilisateur. - Le modèle hybride MoE-Mamba de même capacité s'exécute sur une unique machine bi-GPU, rendant les assistants documentaires d'entreprise économiquement viables à grande échelle.

V. Quelles Perspectives pour l'Ingénierie Logicielle ?

L'avènement des architectures hybrides clôt le débat simpliste opposant partisans de l'attention pure et pionniers des modèles récurrents.

La fin de la fragmentation des contextes : Les techniques complexes de Chunking et de vectorisation approximative (RAG naïf) cèdent le pas à l'injection brute de dépôts de code intégraux, de manuels techniques et d'enregistrements audio de plusieurs dizaines d'heures directement dans le prompt actif.
Optimisation des moteurs d'inférence : Des frameworks comme vLLM, TensorRT-LLM et SGLang ont intégré des kernels dédiés (Triton / CUDA) combinant simultanément la gestion d'un PagedAttention allégé et le balayage parallèle SSM en mémoire SRAM.
Vers l'inférence temps réel sur les périphériques Edge : En diminuant drastiquement la bande passante mémoire nécessaire à la lecture du KV-cache, les modèles hybrides ouvrent la voie à une IA générative continue, ultra-réactive et locale sur nos ordinateurs portables et smartphones.