Google Lance EmbeddingGemma 2 : Un Modèle d'IA Multimodal de 740 Millions de Paramètres

Google a officiellement lancé EmbeddingGemma 2, un nouveau modèle d'embedding multimodal doté de 740 millions de paramètres, le 6 octobre 2026. Ce modèle est conçu pour fonctionner sur du matériel existant, permettant aux développeurs de tirer parti de ses capacités sans dépendre de centres de données distants.

Caractéristiques Clés d'EmbeddingGemma 2

• Capacités Multimodales : EmbeddingGemma 2 peut traiter du texte, des images, des vidéos et de l'audio, plaçant tout le contenu dans un espace vectoriel partagé de 768 dimensions. Cela permet des connexions fluides entre différents types de données, comme faire correspondre des requêtes textuelles à des images.
• Fenêtre de Contexte Accrue : Le modèle dispose d'une fenêtre de contexte de 8K tokens, quatre fois plus grande que celle de son prédécesseur, améliorant ainsi sa capacité à gérer des requêtes complexes.
• Architecture Modulaire : Au cœur du modèle se trouve un backbone de 270 millions de paramètres pour le texte et le code, avec des encodeurs optionnels pour la vision et l'audio, portant le total à 740 millions de paramètres.
• Accent sur la Vie Privée : EmbeddingGemma 2 est conçu pour des applications sensibles à la vie privée, permettant de générer des embeddings directement sur les appareils, garantissant ainsi la sécurité des données personnelles.
• Apprentissage de Représentation Matryoshka : Cette fonctionnalité permet un stockage efficace en compressant les informations essentielles dans des vecteurs plus petits, ce qui peut réduire considérablement les dimensions des embeddings.

Les développeurs peuvent accéder aux poids du modèle sous une licence Apache 2.0, facilitant l'utilisation commerciale et l'intégration avec divers frameworks. Le modèle original EmbeddingGemma a atteint plus de 20 millions de téléchargements, indiquant un fort intérêt et une utilité au sein de la communauté des développeurs.