LLM

Цей модуль досліджує великі мовні моделі (LLM), зосереджуючись на їх розробці та застосуванні. Він охоплює фундаментальні концепції в обробці природної мови, архітектуру моделей, таких як GPT (Generative Pre-trained Transformer), та їх застосування в таких завданнях, як генерація тексту, переклад і створення контенту, а також етичні міркування та потенційні упередження.

Конструктор навчальних програм

Лі, Юйцзя, Девід Чой, Джунянг Чанг, Нейт Кушман, Джуліан Шрітвізер, Ремі Леблонд, Том Екклз та ін. «Генерація коду на рівні змагань за допомогою AlphaCode». Наука 378, No 6624 (9 грудня 2022 р.): 1092–97.

https://doi.org/10.1126/science.abq1158

Стієннон, Нісан, Лонг Уян, Джефф Ву, Деніел М. Зіглер, Райан Лоу, Челсі Восс, Алек Редфорд, Даріо Амодей і Пол Крістіано. «Вчимося узагальнювати за відгуками людей». arXiv, 15 лютого 2022 р.

http://arxiv.org/abs/2009.01325

Гарг, Шивам, Дімітріс Ципрас, Персі Лян і Грегорі Валіант. «Чому Трансформери можуть навчитися в контексті? Приклад класів простих функцій.” arXiv, 11 серпня 2023 р.

http://arxiv.org/abs/2208.01066

Він, Цзюньсянь, Чунтін Чжоу, Сюечже Ма, Тейлор Берг-Кіркпатрік і Грем Нойбіг. «На шляху до єдиного погляду на параметроефективне трансферне навчання». arXiv, 2 лютого 2022 р.

http://arxiv.org/abs/2110.04366

Чжан, Сьюзен, Стівен Роллер, Наман Гоял, Мікель Артетче, Мойя Чен, Шуохуей Чен, Крістофер Деван та ін. «OPT: відкриті попередньо навчені мовні моделі трансформаторів». arXiv, 2022.

https://doi.org/10.48550/ARXIV.2205.01068

Кларк, Кевін, Мін-Тханг Луонг, Куок В. Ле та Крістофер Д. Меннінг. «ELECTRA: попереднє навчання текстових кодерів як дискримінаторів, а не генераторів». arXiv, 2020.

https://doi.org/10.48550/ARXIV.2003.10555

Лю, Іньхань, Майл Отт, Наман Гоял, Цзінфей Ду, Мандар Джоші, Данці Чен, Омер Леві, Майк Льюїс, Люк Зеттлемоєр і Веселін Стоянов. “RoBERTa: надійно оптимізований підхід до попереднього навчання BERT.” arXiv, 26 липня 2019 р.

http://arxiv.org/abs/1907.11692

Редфорд, Алек і Картік Нарасімхан. «Покращення розуміння мови за допомогою генеративного попереднього навчання», 2018.

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

Пітерс, Метью Е., Марк Нойман, Мохіт Айєр, Метт Гарднер, Крістофер Кларк, Кентон Лі та Люк Зеттлмойєр. «Глибокі контекстуалізовані репрезентації слів». arXiv, 2018.

https://doi.org/10.48550/ARXIV.1802.05365

Меннінг, Крістофер Д. «Розуміння людської мови та міркування». Дедал 151, No 2 (1 травня 2022 року): 127–38.

https://doi.org/10.1162/daed_a_01905

Thank you for signing up to our newsletter!

Thank you! RSVP received for Лі, Юйцзя, Девід Чой, Джунянг Чанг, Нейт Кушман, Джуліан Шрітвізер, Ремі Леблонд, Том Екклз та ін. «Генерація коду на рівні змагань за допомогою AlphaCode». Наука 378, No 6624 (9 грудня 2022 р.): 1092–97.

Thank you for applying! We will be in touch.

Apply for: Лі, Юйцзя, Девід Чой, Джунянг Чанг, Нейт Кушман, Джуліан Шрітвізер, Ремі Леблонд, Том Екклз та ін. «Генерація коду на рівні змагань за допомогою AlphaCode». Наука 378, No 6624 (9 грудня 2022 р.): 1092–97.

Лі, Юйцзя, Девід Чой, Джунянг Чанг, Нейт Кушман, Джуліан Шрітвізер, Ремі Леблонд, Том Екклз та ін. «Генерація коду на рівні змагань за допомогою AlphaCode». Наука 378, No 6624 (9 грудня 2022 р.): 1092–97.

Loading...

Loading…