Google dévoile SEED RL pour accélérer l’apprentissage

03/04/2020
Google dévoile SEED RL pour accélérer l’apprentissage

Seed est un framework open source, pour l’apprentissage renforcé

La firme de Mountain View dévoile un nouveau framework permettant d’étendre la formation des modèles d’intelligence artificielle à des milliers de machines. SEED RL pour Scalable Efficient Deep Reinforcement Learning devrait permettre de former des algorithmes d’intelligence artificielle à des millions d’images par seconde tout en réduisant les coûts de cette formation de 80 %. Devant le coût très élevé de formation des modèles d’apprentissage machine sophistiqués dans le cloud, l’ouverture du code de SEED est une promesse intéressante pour les start-up.

Fondé sur TensorFlow

SEED RL est construit sur le framework TensorFlow 2.0. Il fonctionne en utilisant une combinaison d’unités de traitement graphique et d’unités de traitement tensoriel pour centraliser l’inférence du modèle. L’inférence est ensuite effectuée de manière centralisée à l’aide d’un composant d’apprentissage qui entraîne le modèle.

Les variables et les informations d’état du modèle cible sont conservées localement, et les observations les concernant sont envoyées à l’apprenant à chaque étape du processus. SEED RL utilise également une bibliothèque de réseau basée sur le frame RPC universel à source ouverte pour minimiser la latence.

Les chercheurs de Google ont déclaré que le composant apprenant de SEED RL peut être mis à l’échelle sur des milliers de cœurs, tandis que le nombre d’acteurs qui répétera entre la prise de mesures dans l’environnement et l’exécution d’une inférence sur le modèle pour prédire la prochaine action, peut être mis à l’échelle sur des milliers de machines.

Des performances prometteuses

Après évaluation en comparaison à des environnements d’apprentissages populaires comme Arcade, Google Research Football et plusieurs environnements DeepMind Lab, Google annonce des performances en test jusqu’à 80 fois plus rapide que les cadres précédents.

Lasse Espeholt, un ingénieur de recherche chez Google Research explique : « Cela se traduit par une accélération significative du temps, parce que les accélérateurs sont des ordres de grandeur moins chers par opération que les CPU, le coût des expériences est réduit de façon drastique. Nous pensons que SEED RL et les résultats présentés démontrent que l’apprentissage par renforcement a une fois de plus rattrapé le reste du domaine de l’apprentissage approfondi en termes d’exploitation des accélérateurs ».

Google a déclaré que le code de SEED RL a été open-source et mis à disposition sur Github, ainsi que des exemples qui montrent comment le faire fonctionner sur Google Cloud avec des unités de traitement graphique.

Source : ai.googleblog.com

Répertoire github de la solution : seed_rl

comments powered by Disqus
top