|
Résumé |
Dans cette thèse je présente des résultats sur la factorisation de matrice et de tenseur. Les matrices étant un objet omniprésent en mathématique un grand nombre de problème d'apprentissage machine peuvent être transcrit en un problème de factorisation de matrice de petit rang. C'est une des méthode les plus basiques utilisé dans les méthodes d'apprentissage non supervisé et les problèmes de réductions dimensionnelle. Les résultats présentés dans cette thèse ont pour la plupart déjà été inclus dans des publications antérieures [LKZ 2015]. Le problème de la factorisation de matrice de petit rang devient de plus en plus en difficile quand on rajoute des contraintes additionnelles, comme par exemple la positivité d'un des facteurs. Nous présentons içi un cadre dans lequel analyser ce problème sous un angle Bayésien où le priors sur les facteurs peuvent être générique et où l'output channel à travers duquel la matrice est observé peut être générique aussi. Nous tracerons un parallèle entre le problème de factorisation matriciel et les problème de verre de spin vectoriel. Ce cadre permet d'aborder d'une façon unifié des problèmes qui étaient abordé de façon séparés dans des publications précédentes. Nous dérivons en détail la forme générale des équations de Low-rank Approximate Message Passing (Low-RAMP) ce qui donnera un algorithme de factorisation. Ces équations sont connues dans en physique statistique sous le nom des équations TAP. Nous dérivons ces équations dans différents cas, pour le modèle de Sherrington-Kirkpatrick, les restricted Boltzmann machine, le modèle de Hopfield ou encore le modèle xy. La dynamique des équations Low-RAMP peuvent être analysé en utilisant les équation de State Evolution ces équations sont équivalentes à un calcul des répliques symétrique. Dans la section dévolue aux résultats nous étudierons de nombreux diagramme de phase et transition de phase dans le cas Bayes-optimale. Nous présentons différent différents typologies de diagramme de phase et leurs interprétations en terme de performances algorithmiques. |
