N3: LLMs: Zero to (almost) Hero!

El curso dará una introducción a las técnicas de aprendizaje profundo, dando fundamentos sólidos. Se describirá la evolución histórica que ha llevado al desarrollo de los modelos más avanzados de hoy en día, incluidas las arquitecturas basadas en Transformers. Junto con los conocimientos técnicos y teóricos, el curso abordará aplicaciones del mundo real y mantendrá un enfoque práctico. Al final de este curso, los participantes tendrán una comprensión clara y completa de los grandes modelos de lenguaje (LLMs), su evolución, capacidades y su papel e influencia en el panorama general de la inteligencia artificial.

– Fundamentos del aprendizaje profundo.
– Mecanismos de atención.
– Arquitecturas basadas en Transformers (BERT, GPT).
– Transfer Learning, Fine-tuning, «Prompting».
– Generación con Recuperación Aumentada.
– Herramientas: Pytorch y el lenguaje de programación Python (+Huggingface).

Nociones básicas de álgebra lineal y análisis (nivel CBC).
Nociones básicas de programación (preferiblemente en Python).

– Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
– Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning. MIT press, 2016.
– Trevor Hastie, Robert Tibshirani, Jerome H Friedman, and Jerome H Friedman. The elements of statistical learning: data mining, inference, and prediction, volume 2. Springer,
2009.
– Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, 33:9459–9474, 2020.
– Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.
– Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural
information processing systems, 30, 2017.
– Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35:24824–24837, 2022.