Google dévoile TranslateGemma, des modèles de traduction open source

Ce jeudi 15 janvier, OpenAI s’est attaqué à une institution du web : Google Traduction, qui fête ses 20 ans cette année. Si ChatGPT Translate reste imparfait à ce stade, son lancement envoie un signal clair à Google, en montrant qu’OpenAI entend désormais se positionner sur des usages historiquement dominés par l’entreprise de Mountain View.

Google a répondu dans la journée avec le lancement de TranslateGemma, un nouveau projet dédié à la traduction. Du moins en apparence. La nouveauté de Google ne prend en réalité pas la forme d’un service ou d’un outil, mais d’une suite de modèles ouverts, conçus comme une base technologique pour la recherche et le développement. On fait le point.

Des modèles de traduction ouverts basés sur Gemma 3

TranslateGemma est une nouvelle suite de modèles de traduction ouverts développée à partir de Gemma 3. Elle se décline en trois tailles, 4B, 12B et 27B, afin de répondre à différents niveaux de contraintes techniques et d’usages. L’objectif est de proposer des modèles de traduction performants, accessibles et exploitables sur une large variété d’environnements matériels.

La conception de TranslateGemma se base sur un processus de distillation visant à transférer les capacités de modèles de grande taille vers des architectures plus compactes. Un processus qui lui permet, selon Google, de « surpasser des modèles deux fois plus grands ».

Pour les développeurs, c’est une avancée majeure. Il est possible d’obtenir une traduction de haute fidélité avec moins de la moitié des paramètres du modèle de base. Cette amélioration significative de l’efficacité permet un débit plus élevé et une latence plus faible sans compromettre la précision, souligne Google.

Les connaissances transférées proviennent notamment des modèles Gemini. L’entraînement combine un « fine-tuning supervisé » et « une phase d’apprentissage par renforcement » qui inclut« un ensemble de modèles de récompense visant à guider les modèles vers la production de traductions plus contextuellement précises et plus naturelles ».

Des performances mises en avant sur 55 langues

Les performances de TranslateGemma ont été évaluées sur le jeu de données WMT24++, qui couvre 55 langues. Celles-ci sont issues de familles linguistiques variées, y compris des langues « à faibles ressources ».

Au-delà de ces langues principales, nous avons repoussé les limites en entraînant notre modèle sur près de 500 paires de langues supplémentaires. Nous avons conçu TranslateGemma pour servir de base solide à des adaptations ultérieures, ce qui en fait un point de départ idéal pour les chercheurs souhaitant affiner leurs propres modèles de pointe pour des paires de langues spécifiques ou améliorer la qualité pour les langues disposant de peu de ressources.

Les tests menés par Google indiquent une diminution du taux d’erreur pour TranslateGemma 12B par rapport à Gemma 3 27B dans l’ensemble des familles linguistiques évaluées : romanes, germaniques, balto-slaves, indo-iraniennes et dravidiennes, est et sud-est asiatiques, afro-asiatiques et nigéro-congolaises, ainsi qu’ouraliennes, turciques et helléniques.

Une suite pensée pour des déploiements variés

TranslateGemma n’est donc pas, contrairement à ChatGPT Translate, destiné au grand public. Il est conçu pour servir de fondation technologique à des usages tiers, dans des contextes de recherche, de développement ou d’intégration produit. Il pourrait se révéler particulièrement pertinent pour l’intégration de fonctions de traduction dans des logiciels professionnels, des outils métiers multilingues ou des applications nécessitant un traitement local des données.

Les trois tailles proposées visent à couvrir différents environnements de déploiement et de niveaux de contraintes techniques :

• Modèle 4B : déploiements sur mobile ou en périphérie du réseau, avec des contraintes fortes en matière de ressources et de latence.
• Modèle 12B : usages sur machine locale ou poste de développement, pour des applications nécessitant un équilibre entre qualité et efficacité.
• Modèle 27B : déploiements cloud orientés vers une fidélité maximale, avec des besoins matériels plus importants.

Les modèles TranslateGemma conservent également les capacités multimodales de Gemma 3. Google indique que les améliorations apportées à la traduction de texte « ont un impact positif sur la capacité à traduire du texte dans des images ».

TranslateGemma est mis à disposition en open source et peut être téléchargé via les canaux habituels de distribution des modèles Gemma, notamment sur Hugging Face et Kaggle.