By visiting our site, you agree to our privacy policy regarding cookies, tracking statistics, etc.

LLM

Ce module explore les grands modèles de langage (LLM), en se concentrant sur leur développement et leurs applications. Il couvre les concepts fondamentaux du traitement du langage naturel, l’architecture de modèles tels que GPT (Generative Pre-trained Transformer) et leurs applications dans des tâches telles que la génération de texte, la traduction et la création de contenu, ainsi que les considérations éthiques et les biais potentiels.

Portal > Intelligence artificielle > LLM

Bâtisseur de programmes d'études

Voir le programme d'études

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. « Génération de code au niveau de la compétition avec AlphaCode. » Science 378, n° 6624 (9 décembre 2022) : 1092-97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei et Paul Christiano. « Apprendre à résumer à partir de la rétroaction humaine. » arXiv, 15 février 2022.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Dimitris Tsipras, Percy Liang et Gregory Valiant. « Qu’est-ce que les transformateurs peuvent apprendre en contexte ? Une étude de cas de classes de fonctions simples. arXiv, 11 août 2023.

http://arxiv.org/abs/2208.01066

Lui, Junxian, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick et Graham Neubig. « Vers une vue unifiée de l’apprentissage par transfert efficace », arXiv, 2 février 2022.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, et al. « OPT : Modèles de langage de transformateur pré-entraînés ouverts. » arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le et Christopher D. Manning. « ELECTRA : Les encodeurs de texte de pré-entraînement en tant que discriminateurs plutôt que générateurs. » arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer et Veselin Stoyanov. « RoBERTa : Une approche de pré-entraînement BERT solidement optimisée. » arXiv, 26 juillet 2019.

http://arxiv.org/abs/1907.11692

Radford, Alec et Karthik Narasimhan. « Améliorer la compréhension du langage par le pré-entraînement génératif », 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee et Luke Zettlemoyer. « Représentations de mots contextualisées profondes. » arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. « Compréhension et raisonnement du langage humain. » Dédale 151, n° 2 (1er mai 2022) : 127-38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. « Génération de code au niveau de la compétition avec AlphaCode. » Science 378, n° 6624 (9 décembre 2022) : 1092-97.

Thank you for applying! We will be in touch.

Apply for: Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. « Génération de code au niveau de la compétition avec AlphaCode. » Science 378, n° 6624 (9 décembre 2022) : 1092-97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. « Génération de code au niveau de la compétition avec AlphaCode. » Science 378, n° 6624 (9 décembre 2022) : 1092-97.

Chargement...

Chargement…