Facebook annonce PyTorch 1.1

Lors de sa conférence F8 2019 qui s’est terminée le mercredi dernier, Facebook a annoncé la disponibilité d’une nouvelle version de son framework open source PyTorch 1.1. Le framework d’apprentissage machine se met à jour et embarque notamment un compilateur JIT plus performant.

La première amélioration annoncée concerne la compilation juste à temps : le compilateur JIT est beaucoup plus mature d’après Facebook. Vient ensuite le support natif de TensorBoard pour la visualisation Machine Learning, de nouvelles API et des capacités améliorées de formation distribuée. La publication de PyTorch 1.1 s’accompagne de la libération de deux outils dédiés à l’optimisation des modèles pour l’apprentissage machine : Ax et BoTorch.

Le compilateur JIT amélioré

L’évolution du compilateur « juste à temps » a permis d’évacuer de nombreux bogues qui le rendaient très lent. Il est dorénavant possible d’adjoindre des langages de programmation à Python à PyTorch. Côté performance, Facebook indique que son compilateur JIT est capable de déterminer au moment de l’exécution comment générer le code le plus efficace.

La nouvelle version du framework permet aussi de diviser les réseaux neuronaux entre plusieurs GPUs. Le découpage des modèles permet désormais un parallélisme d’instruction avec lequel les réseaux peuvent désormais réaliser des techniques MIMD (Multiple Instruction, Multiple Data).

TensorBoard pour la visualisation Machine Learning

PyTorch assure maintenant la prise en charge native et de premiers ordres de la visualisation et du débogage des modèles avec TensorBoard. Cette suite d’applications Web est très utile pour l’inspection et la compréhension des exécutions et des graphiques de formation. Facebook a publié des API permettant une prise en charge des tenseurs booléens et une meilleure prise en charge des réseaux de neurones récurrents personnalisés.

BoTorch et Ax

Pour simplifier et accélérer l’optimisation de modèles de Machine Learning pour les spécialistes de données, BoTorch utilise la bibliothèque d’optimisation bayésienne PyTorch. L’utilisation de cette bibliothèque se veut plus simple et extensible selon Facebook.

Ax gère, déploie et automatise les expériences d’intelligence artificielle. Il s’appuie sur les fonctionnalités de BoTorch pour optimiser le paramétrage le réglage des modèles. Il est déjà utilisé en interne, notamment pour l’infrastructure d’instagram.

Ces deux outils ont été rendus open source avec la version 1.1 de PyTorch afin de bénéficier des contributions des chercheurs du monde entier.

Source : Pytorch