Natural language processing (NLP) technologies are crucial
for interaction of social systems and artificial intelligence
algorithms. AI models used in NLP are typically trained on
large amounts of text (corpora) in order to make them
learn language in general (language models). Then these
models are fine-tuned to particular down-stream tasks like
question answering, paraphrasing, fake news detection, etc.
High quality models require large amounts of data to train
and thus large computer systems are needed. Additionally,
we employ neural architecture search and automated
hyperparameter optimization techniques to derive better
models. Finally, we built a rigorous evaluation framework to
explore how model architectures and hyperparameters,
including source corpora and pre-processing methods, affect 
performance of the models on each of the down-stream
tasks.

Les technologies de traitement du langage naturel (TAL) sont cruciales pour l'interaction des systèmes sociaux et des algorithmes d'intelligence artificielle. Les modèles d'IA utilisés en PNL sont généralement entraînés sur de grandes quantités de texte (corpus) afin de leur faire apprendre le langage en général (modèles de langage). Ensuite, ces modèles sont affinés à des tâches particulières en aval comme la réponse aux questions, la paraphrase, la détection de fausses nouvelles, etc. Les modèles de haute qualité nécessitent de grandes quantités de données pour s'entraîner et donc de grands systèmes informatiques sont nécessaires. De plus, nous utilisons des techniques de recherche d'architecture neuronale et d'optimisation automatisée d'hyperparamètres pour dériver de meilleurs modèles. Enfin, nous avons construit un cadre d'évaluation rigoureux pour explorer comment les architectures de modèles et les hyperparamètres, y compris les corpus sources et les méthodes de prétraitement, affectent les performances des modèles sur chacune des tâches en aval.

Better language models are crucial for improving the quality
of human-computer interaction; for example, tasks like
question answering and summarization. We use large-scale
compute systems to develop better language models by
exploiting the neural architecture search technique, large
datasets and a holistic evaluation framework.

De meilleurs modèles de langage sont cruciaux pour améliorer la qualité de l'interaction homme-machine ; par exemple, des tâches telles que la réponse aux questions et le résumé. Nous utilisons des systèmes de calcul à grande échelle pour développer de meilleurs modèles de langage en exploitant la technique de recherche d'architecture neuronale, de grands ensembles de données et un cadre d'évaluation holistique.

Better human-computer interaction with advanced language models