Certains jeudis à 11h ou 14h, durée 1h

Upcoming talk(s)

Some resources

Katia Meziani’s slides: Deep Learning démystifié : Petit guide (Intranet CEREMADE), with many references.

Bruno Bellucci Texeira’s talk and jupyter-notebook autoencoder implementation.

The web site of the lectures of Gabriel Turinici is found here, and a python implementation of a deep network here.

Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory by Arnulf Jentzen, Benno Kuckuck, Philippe von Wurstemberger; (thanks to Guillaume for pointing this reference)

Previous talks

  • 25 avril 2024, 11h-12h salle B507: Domènec Ruiz-Balet (Imperial College, Londres)
    Matching measures with deep learning architectures
    RésuméIn this talk, we will present continuum limits of residual neural networks, Neural ODEs. We will show some of their properties and later address some of their applications such as normalising flows. The motivational problem will be to match one probability density to another using a time dependent vector field given by a simple neural network. We will make analogies with classical rearrangements in transportation theory. Furthermore, we will briefly discuss how to do this task with an ensamble of measures but now using a vector field that depends on the measure given by a transformer.
  • 4 avril 2024, 14h-15h!: Salle C110: Miguel Atencia (Universidad de Málaga, en visite au CEREMADE) (Slides)
    Challenges in Reservoir Computing
    RésuméIn this expository talk, we will review the Echo State Network (ESN), a recurrent neural network that has achieved good results in time series tasks, such as forecasting, classification, and encoding-decoding. However, the lack of a rigorous mathematical foundation makes difficult their application in a general context. On the one hand, strong theoretical results, such as the Echo State Property and Universal Approximation, are non-constructive and require critical simplifying assumptions. On the other hand, usual heuristics for optimal hyper-parameter selection have turned out to be neither necessary nor sufficient. Some connections of ESN models with ideas from dynamical systems and ergodicity will be exposed, together with recent design proposals, as well as a novel application to time series clustering.
  • 21 mars 2024, 11h-12h: Salle D208: Borjan Geshkovski (MIT/LJLL)
    Une perspective mathématiques sur les Transformers
    RésuméLe Transformer est une architecture de réseaux de neurones profonds introduite en 2017 qui s’est avérée très populaire en traitement automatique des langues. Nous allons voir que cette architecture se modélise tout à fait naturellement en tant qu’un système de particules en interaction sur la sphère unité avec une non-linéarité très particulière, et, pour certains choix de paramètres, est même un flot de gradient pour une énergie d’interaction peu étudiée. Nous allons étudier la convergence en temps long de cette dynamique (qui correspond à étudier les représentations apprises par un Transformer au cours de ses différentes couches) étant donné une configuration initiale arbitraire. Des liens avec des sujets mathématiques bien établis tels que les flots de gradient de Wasserstein, la géométrie combinatoire, et le contrôle, seront faits.
  • 29 février 2024, 11h-12h: Salle P303: Bruno Belucci Teixeira
    Quelques architectures courantes (autoencoders, transformers?)
  • 25 Janvier 2024, 14h-15h, Salle B207: Katia Meziani
    Overview: IA, machine learning, deep learning I
  • 8 février 2024, 11h-12h; Salle P513: Katia Meziani
    Overview: IA, machine learning, deep learning II