LLM

Tento modul zkoumá velké jazykové modely (LLM) se zaměřením na jejich vývoj a aplikace. Zahrnuje základní koncepty zpracování přirozeného jazyka, architekturu modelů, jako je GPT (Generative Pre-trained Transformer), a jejich aplikace v úlohách, jako je generování textu, překlad a tvorba obsahu, spolu s etickými aspekty a potenciálními předsudky.

Tvůrce učebních osnov

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles a kol. “Generování kódu na úrovni soutěže pomocí AlphaCode.” Science 378, č. 6624 (9. prosince 2022): 1092–97.

https://doi.org/10.1126/science.abq1158

Stiennon, Nisan, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei a Paul Christiano. “Naučit se shrnout z lidské zpětné vazby.” arXiv, 15. února 2022.

http://arxiv.org/abs/2009.01325

Garg, Shivam, Dimitris Tsipras, Percy Liang a Gregory Valiant. “Co se mohou transformeři naučit v kontextu? Případová studie tříd jednoduchých funkcí.” arXiv, 11. srpna 2023.

http://arxiv.org/abs/2208.01066

On, Junxian, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick a Graham Neubig. “Směrem k jednotnému pohledu na parametricky efektivní přenosové učení.” arXiv, 2. února 2022.

http://arxiv.org/abs/2110.04366

Zhang, Susan, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan a kol. “OPT: Otevřené předem naučené jazykové modely transformátorů.” arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Clark, Kevin, Minh-Thang Luong, Quoc V. Le a Christopher D. Manning. “ELECTRA: Předškolicí kodéry textu jako diskriminátory spíše než generátory.” arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Liu, Yinhan, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer a Veselin Stoyanov. “RoBERTa: Robustně optimalizovaný přístup k předtrénování BERT.” arXiv, 26. července 2019.

http://arxiv.org/abs/1907.11692

Radford, Alec a Karthik Narasimhan. “Zlepšení porozumění jazyku pomocí generativního předškolení”, 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Peters, Matthew E., Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee a Luke Zettlemoyer. “Hluboké kontextualizované reprezentace slov.” arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Manning, Christopher D. “Porozumění lidské řeči a uvažování.” Daedalus 151, č. 2 (1. května 2022): 127–38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles a kol. “Generování kódu na úrovni soutěže pomocí AlphaCode.” Science 378, č. 6624 (9. prosince 2022): 1092–97.

Thank you for applying! We will be in touch.

Apply for: Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles a kol. “Generování kódu na úrovni soutěže pomocí AlphaCode.” Science 378, č. 6624 (9. prosince 2022): 1092–97.

Li, Yujia, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles a kol. “Generování kódu na úrovni soutěže pomocí AlphaCode.” Science 378, č. 6624 (9. prosince 2022): 1092–97.

Načítání...

Načítání…