LLMs

Dieses Modul befasst sich mit Large Language Models (LLMs) und konzentriert sich auf deren Entwicklung und Anwendungen. Es behandelt grundlegende Konzepte der Verarbeitung natürlicher Sprache, die Architektur von Modellen wie GPT (Generative Pre-trained Transformer) und deren Anwendungen bei Aufgaben wie Textgenerierung, Übersetzung und Inhaltserstellung sowie ethische Überlegungen und mögliche Verzerrungen.

Curriculum Builder

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Codegenerierung auf Wettbewerbsebene mit AlphaCode.” Science 378, Nr. 6624 (9. Dezember 2022): 1092–97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei und Paul Christiano. “Lernen Sie, aus menschlichem Feedback zusammenzufassen.” arXiv, 15. Februar 2022.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Dimitris Tsipras, Percy Liang und Gregory Valiant. “Was können Transformatoren im Kontext lernen? Eine Fallstudie zu einfachen Funktionsklassen.” arXiv, 11. August 2023.

http://arxiv.org/abs/2208.01066

Er, Junxian, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick und Graham Neubig. “Auf dem Weg zu einer einheitlichen Sicht auf parametereffizientes Transferlernen.” arXiv, 2. Februar 2022.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan et al. “OPT: Offene vortrainierte Transformer-Sprachmodelle.” arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le und Christopher D. Manning. “ELECTRA: Vortraining von Text-Encodern als Diskriminatoren statt als Generatoren.” arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer und Veselin Stoyanov. “RoBERTa: Ein robust optimierter BERT-Vortrainingsansatz.” arXiv, 26. Juli 2019.

http://arxiv.org/abs/1907.11692

Radford, Alec und Karthik Narasimhan. “Verbesserung des Sprachverständnisses durch generatives Vortraining”, 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee und Luke Zettlemoyer. “Tiefgreifende kontextualisierte Wortdarstellungen.” arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. “Menschliches Sprachverständnis und logisches Denken.” Daedalus 151, Nr. 2 (1. Mai 2022): 127–38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Codegenerierung auf Wettbewerbsebene mit AlphaCode.” Science 378, Nr. 6624 (9. Dezember 2022): 1092–97.

Thank you for applying! We will be in touch.

Apply for: Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Codegenerierung auf Wettbewerbsebene mit AlphaCode.” Science 378, Nr. 6624 (9. Dezember 2022): 1092–97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Codegenerierung auf Wettbewerbsebene mit AlphaCode.” Science 378, Nr. 6624 (9. Dezember 2022): 1092–97.

Laden...

Laden…