LLMs

Šiame modulyje nagrinėjami didžiųjų kalbų modeliai (LLM), daugiausia dėmesio skiriama jų kūrimui ir taikymui. Jame aptariamos pagrindinės natūralios kalbos apdorojimo sąvokos, tokių modelių kaip GPT (Generative Pre-trained Transformer) architektūra, jų taikymas tokiose užduotyse kaip teksto generavimas, vertimas ir turinio kūrimas, taip pat etiniai aspektai ir galimi šališkumai.

Mokymo programos kūrėjas

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles ir kt. "Competition-Level Code Generation with AlphaCode". Science 378, Nr. 6624 (2022 m. gruodžio 9 d.): 1092-97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei ir Paul Christiano. "Learning to Summarize from Human Feedback." arXiv, 2022 m. vasario 15 d.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Dimitris Tsipras, Percy Liang ir Gregory Valiant. "Ko transformeriai gali išmokti kontekste? A Case Study of Simple Function Classes." arXiv, 2023 m. rugpjūčio 11 d.

http://arxiv.org/abs/2208.01066

He, Junxian, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick ir Graham Neubig. "Towards a Unified View of Parameter-Efficient Transfer Learning." arXiv, 2022 m. vasario 2 d.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan ir kt. "OPT: Open Pre-Trained Transformer Language Models." arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le ir Christopher D. Manning. "ELECTRA: Pre-Training Text Encoders as Discriminators Rather Than Generators". arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer ir Veselin Stoyanov. "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv, 2019 m. liepos 26 d.

http://arxiv.org/abs/1907.11692

Radfordas, Alecas ir Karthikas Narasimhanas. "Kalbos supratimo gerinimas taikant generatyvinį išankstinį mokymą", 2018 m.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee ir Luke Zettlemoyer. "Deep Contextualized Word Representations". arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. "Žmogaus kalbos supratimas ir pagrindimas". Daedalus 151, nr. 2 (2022 m. gegužės 1 d.): 127-38.

https://doi.org/10.1162/daed_a_01905

Dėkojame, kad užsiregistravote mūsų naujienlaiškiui!

Ačiū! Gautas RSVP Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles ir kt. "Competition-Level Code Generation with AlphaCode". Science 378, Nr. 6624 (2022 m. gruodžio 9 d.): 1092-97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles ir kt. "Competition-Level Code Generation with AlphaCode". Science 378, Nr. 6624 (2022 m. gruodžio 9 d.): 1092-97.

Pakraunama...

Pakraunama...