Description
Partie 1
- Tokenization & Word embeddings
- Aperçu du principe de tokenization + intuition de l’utilisation de subwords
- Tokens spéciaux
- TP: tokenizer un dataset
- Word2Vec
- Rappel sur le traitement de séquences
- Méthodes Deep Learning classiques: RNNs, LSTMs
- Problème Seq2Seq
- TP: Implementation d’un Encoder-Decoder avec RNNs
- Méchanisme d'Attention
- TP: Implémentation de l’Additive Attention (Bahdanau et al., 2015)
- Transformer
- Self-attention
- Multi-hoop, multi-head
- Blocks: Self-Attention + Layer Norm + Feedforward + residual
- Architecture complète Transformer: Encoder-Decoder
- TP: Implémentation d’un Transformer
Partie 2
- Causal Language Modeling
- Rappels transfer learning
- Encoder-only transformers
- Masked Language Modeling
- BERT
- TP: Utilisation BERT + finetuning head
- Decoder-Only:
- De GPT à GPT-X:
- Scaling du dataset et du modèle
- Natural Language Generation
- Alignement (RLHF)
- Aperçu du RAG et d’utilisation d’outils
- Discussions ouvertes (à adapter suivant les intérêts des étudiants):
- Optimisation pour inférence locale (e.g. quantization)
- Entraînement distribué
- Finetuning léger (e.g. LoRA)
- Discussions LLMs récents
- Visual/Multimodal LLMs
- Evaluation
Prérequis
Cours sur le traitement des séquences