Mathématiques pour l’IA – Mise à niveau

Les données en apprentissage automatique ne peuvent être gérées et manipulées qu’avec des opérations matricielles.

Pour pouvoir implémenter, créer, étudier et évaluer un modèle, le recours à l’algèbre linéaire et aux méthodes d’optimisation est donc obligatoire.

Par conséquent, l’objectif de ce cours sera :

• Comprendre et maîtriser les outils et les méthodes mathématiques utiles pour implémenter des modèles et des algorithmes d'apprentissage automatique.
• Savoir réduire les dimensions de données pour les visualiser facilement d’une part et pour optimiser l’analyse de données de grandes dimensions d’autre part.
• De la théorie des méthodes d’analyse de données (ACP, SVD, …) à l’implémentation et la programmation python.

• Algèbre linéaire :

L’objectif de cette partie est de rappeler les outils mathématiques nécessaires pour manipuler, visualiser des données, ou déterminer leurs parties significatives. Cela inclut la résolution de problèmes linéaires, ainsi que des techniques de factorisation de matrices.

Programme :

Rappel sur les opérations matricielles nécessaires pour résoudre un problème inverse (normes, inversion, diagonalisation, etc.),

Les méthodes de factorisation et de réduction de dimensions utiles dans l’apprentissage automatique (décomposition LU, SVD, QR, etc.)

Exercices

• Probabilités - Statistiques :

L’objectif de cette partie est de rappeler les notions élémentaires de la théorie de la mesure, probabilistes et statistiques, pour comprendre les enjeux mathématiques majeurs autours de l’apprentissage statistique.

Programme :

Rappel sur la théorie de la mesure

Calcul de probabilité, probabilité conditionnelle, variance, écart-type, covariance, corrélation

Séries temporelles, modèles ARMA

Fléau de la dimension et problèmes de concentration

Analyse en composantes principales (ACP)

Estimateur de maximum de vraisemblance

Exercices

• Optimisation  :

L’objectif de cette section est de rappeler les outils mathématiques de bases de l’optimisation pour l’apprentissage statistique paramétrique. Cela tourne autour de la descente de gradient.

Programme :

Étude de fonction : dérivabilité, convexité, concavité

Algorithme de descente de gradient

Implémentation de la descente de gradient en python

Exercices

• Exemples et applications  :

Quelques exemples d’application des parties précédentes.

Programme :

Problème inverse mal-posé

Régression linéaire

Estimateurs des moindres carrés

Régression linéaire multi-variée

Estimateur de Yule-Walker pour les modèles ARMA

Application de l’algorithme de descente de gradient

Exercices

Avec le cours mathématiques pour l’IA, les étudiants seront capables de :

- étudier les statistiques descriptives des données (moyenne, écart type, variance, corrélation, covariance)

- décomposer les données de grande dimension et les projeter sur un espace plus petit (réduire les dimensions en utilisant les méthodes SVD, ACP, …).

- minimiser une fonction objective afin d’estimer une solution à un problème inverse mal-posé (régression linéaire, régression linéaire multivariée)

- programmer des algorithmes d’optimisation (algorithme de descente de gradient)

- Exercices et implémentation des algorithmes en python à la fin de chaque séance.

Algèbre Linéaire – Mansuy, Mneimné
Algèbre Linéaire – Grifone
Algèbre - Gourdon
Modélisation stochastique et simulation – Bercu, Chafaï
Probabilités 1,2 – Ouvrard (difficile)
Probabilités – Barbé, Ledoux

Learning Theory from First Principles, slides de cours – Bach
Optimisation et analyse convexe – Hiriart Urruty