LLM-uri

Acest modul explorează modelele lingvistice mari (LLM), concentrându-se pe dezvoltarea și aplicațiile lor. Acesta acoperă concepte fundamentale în procesarea limbajului natural, arhitectura modelelor precum GPT (Generative Pre-trained Transformer) și aplicațiile lor în sarcini precum generarea de text, traducerea și crearea de conținut, împreună cu considerații etice și potențiale prejudecăți.

Constructor de curriculum

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles și colab. “Generarea de cod la nivel de competiție cu AlphaCode”. Știință 378, nr. 6624 (9 decembrie 2022): 1092–97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei și Paul Christiano. “Învățarea de a rezuma din feedback-ul uman.” arXiv, 15 februarie 2022.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Dimitris Tsipras, Percy Liang și Gregory Valiant. “Ce pot învăța transformatorii în context? Un studiu de caz al claselor de funcții simple.” arXiv, 11 august 2023.

http://arxiv.org/abs/2208.01066

El, Junxian, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick și Graham Neubig. “Către o viziune unificată a învățării prin transfer eficientă din punct de vedere al parametrilor.” arXiv, 2 februarie 2022.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, et al. “OPT: Modele deschise de limbaj de transformare pre-antrenate.” arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le și Christopher D. Manning. “ELECTRA: Codificatoare de text pre-antrenare ca discriminatori mai degrabă decât generatoare.” arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer și Veselin Stoyanov. “RoBERTa: O abordare de pre-antrenament BERT optimizată robust.” arXiv, 26 iulie 2019.

http://arxiv.org/abs/1907.11692

Radford, Alec și Karthik Narasimhan. “Îmbunătățirea înțelegerii limbajului prin pre-antrenament generativ”, 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee și Luke Zettlemoyer. “Reprezentări profunde contextualizate ale cuvintelor.” arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. “Înțelegerea și raționamentul limbajului uman”. Daedalus 151, nr. 2 (1 mai 2022): 127–38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles și colab. “Generarea de cod la nivel de competiție cu AlphaCode”. Știință 378, nr. 6624 (9 decembrie 2022): 1092–97.

Thank you for applying! We will be in touch.

Apply for: Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles și colab. “Generarea de cod la nivel de competiție cu AlphaCode”. Știință 378, nr. 6624 (9 decembrie 2022): 1092–97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles și colab. “Generarea de cod la nivel de competiție cu AlphaCode”. Știință 378, nr. 6624 (9 decembrie 2022): 1092–97.

Loading...

Loading…