LLMs

Αυτή η ενότητα διερευνά τα Μεγάλα Γλωσσικά Μοντέλα (LLMs), εστιάζοντας στην ανάπτυξη και τις εφαρμογές τους. Καλύπτει θεμελιώδεις έννοιες στην επεξεργασία φυσικής γλώσσας, την αρχιτεκτονική μοντέλων όπως το GPT (Generative Pre-trained Transformer) και τις εφαρμογές τους σε εργασίες όπως η παραγωγή κειμένου, η μετάφραση και η δημιουργία περιεχομένου, μαζί με ηθικούς προβληματισμούς και πιθανές προκαταλήψεις.

Δημιουργός προγράμματος σπουδών

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Δημιουργία κώδικα σε επίπεδο ανταγωνισμού με το AlphaCode.” Science 378, αρ. 6624 (9 Δεκεμβρίου 2022): 1092–97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei και Paul Christiano. “Μαθαίνοντας να συνοψίζουμε από την ανθρώπινη ανατροφοδότηση.” arXiv, 15 Φεβρουαρίου 2022.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Δημήτρης Τσίπρας, Percy Liang και Gregory Valiant. “Τι μπορούν να μάθουν οι μετασχηματιστές στο πλαίσιο; A Case Study of Simple Function Classes.” arXiv, 11 Αυγούστου 2023.

http://arxiv.org/abs/2208.01066

Αυτός, ο Junxian, ο Chunting Zhou, ο Xuezhe Ma, ο Taylor Berg-Kirkpatrick και ο Graham Neubig. “Προς μια ενοποιημένη άποψη της μάθησης μεταφοράς με αποτελεσματική παράμετρο.” arXiv, 2 Φεβρουαρίου 2022.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, et al. “OPT: Open Pre-Trained Transformer Language Models.” arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le, και Christopher D. Manning. “ELECTRA: Οι κωδικοποιητές κειμένου πριν από την εκπαίδευση ως διακριτές και όχι γεννήτριες.” arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer και Veselin Stoyanov. “RoBERTa: Μια ισχυρά βελτιστοποιημένη προσέγγιση προεκπαίδευσης BERT.” arXiv, 26 Ιουλίου 2019.

http://arxiv.org/abs/1907.11692

Radford, Alec και Karthik Narasimhan. «Βελτίωση της κατανόησης της γλώσσας μέσω γενετικής προκατάρτισης», 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee και Luke Zettlemoyer. “Deep Contextualized Word Representations.” arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. “Κατανόηση της ανθρώπινης γλώσσας &; συλλογιστική.” Δαίδαλος 151, αρ. 2 (1 Μαΐου 2022): 127–38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Δημιουργία κώδικα σε επίπεδο ανταγωνισμού με το AlphaCode.” Science 378, αρ. 6624 (9 Δεκεμβρίου 2022): 1092–97.

Thank you for applying! We will be in touch.

Apply for: Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Δημιουργία κώδικα σε επίπεδο ανταγωνισμού με το AlphaCode.” Science 378, αρ. 6624 (9 Δεκεμβρίου 2022): 1092–97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, et al. “Δημιουργία κώδικα σε επίπεδο ανταγωνισμού με το AlphaCode.” Science 378, αρ. 6624 (9 Δεκεμβρίου 2022): 1092–97.

Φόρτωση...

Φόρτωση…