La société de technologies électroniques Nvidia (Santa Clara, Californie), spécialisée dans les unités de traitement graphique (GPU), a annoncé des avancées décisives dans la compréhension du langage permettant une intelligence artificielle conversationnelle en temps réel.
La société Nvidia a annoncé que sa plate-forme d’IA (Intelligence Artificielle) était la première à pouvoir apprendre l’un des modèles des langages d’intelligence artificielle les plus avancés – BERT (Bidirectional Encoder Representations from Transformers) – en moins d’une heure et réaliser une inférence complète d’intelligence artificielle en un peu plus de 2 millisecondes. Un niveau de performance qui permet aux développeurs d’utiliser une compréhension linguistique de pointe pour des applications à grande échelle pouvant être mises à la disposition de centaines de millions de consommateurs à travers le monde.
Bien que les services d’IA conversationnels limités ne soient pas nouveaux, jusqu’à présent, il était extrêmement difficile pour les chatbots, les assistants personnels intelligents et les moteurs de recherche de fonctionner avec un niveau de compréhension humaine, en raison de l’incapacité de déployer des modèles d’IA extrêmement volumineux en temps réel. La société affirme avoir résolu ce problème en ajoutant des optimisations clés à sa plate-forme d’intelligence artificielle : atteindre des records de vitesse dans l’apprentissage et l’inférence en intelligence artificielle et construire le plus grand modèle linguistique du genre à ce jour.
« Les grands modèles linguistiques révolutionnent l’IA pour le langage naturel », déclare Bryan Catanzaro, vice-président de la recherche appliquée sur l’apprentissage approfondi chez Nvidia. « Ils nous aident à résoudre des problèmes linguistiques exceptionnellement difficiles, nous rapprochant ainsi de l’objectif de l’IA véritablement conversationnelle. Le travail novateur de Nvidia, accélérant ces modèles, permet aux organisations de créer de nouveaux services à la pointe de la technologie pouvant assister et émerveiller leurs clients de façon jamais imaginée auparavant. «
La société affirme avoir optimisé sa plate-forme d’IA avec des optimisations clés qui ont abouti à trois nouveaux records dans la compréhension du langage naturel :
- L’apprentissage le plus rapide : avec la version longue de BERT, l’un des modèles de langage d’intelligence artificielle les plus avancés au monde, un SuperPOD Nvidia DGX utilisant 92 systèmes Nvidia DGX-2H avec 1472 GPU Nvidia V100, le temps d’apprentissage typique de BERT-Large a été réduit de plusieurs jours à tout juste 53 minutes. De plus, Nvidia a aussi formé BERT-Large sur un seul système Nvidia DGX-2 en 2,8 jours – démontrant ainsi l’évolutivité des GPU Nvidia pour l’IA conversationnelle.
- Inférence la plus rapide : en utilisant les GPU Nvidia T4 exécutant Nvidia TensorRT, Nvidia a réalisé l’inférence sur le jeu de données BERT-Base SQuAD en seulement 2,2 millisecondes – bien en deçà du seuil de traitement de 10 ms pour de nombreuses applications en temps réel, et une nette amélioration par rapport à 40 millisecondes mesurées
Modèle le plus vaste : en se concentrant sur le besoin sans cesse croissant des développeurs pour des modèles plus volumineux, Nvidia Research a construit et formé le plus grand modèle de langage au monde basé sur Transformers, le module de technologie utilisé pour BERT et un nombre croissant d’autres modèles d’IA en langage naturel. Le modèle personnalisé de Nvidia, avec 8,3 milliards de paramètres, est 24 fois plus grand que BERT-Large.
La société a mis ses optimisations logicielles à la disposition des développeurs. Des optimisations continues pour accélérer la formation de BERT et de Transformer pour les GPU sur plusieurs frameworks sont disponibles gratuitement sur NGC, le hub de la société pour les logiciels accélérés. Le référentiel BERT GitHub de Nvidia offre le code permettant de reproduire les performances d’apprentissage sur nœud unique cité par la société, et il sera prochainement mis à jour avec les scripts nécessaires pour reproduire les chiffres de performances d’apprentissage à grande échelle cité plus haut.
Pour consulter le code de traitement du langage naturel (NLP) de l’équipe de Nvidia Research sur le projet Megatron, lancé par la société afin d’étudier les réseaux de plus d’un milliard basés sur Transformer, visitez le référentiel Megatron Language Model GitHub
28 août 2019 //Par A Delapalisse