L'apprentissage de dictionnaire pour la représentation parcimonieuse est bien connu dans le cadre de la résolution de problèmes inverses. Les méthodes d'optimisation et les approches paramétriques ont été particulièrement explorées. Ces méthodes rencontrent certaines limitations, notamment liées au choix de paramètres. En général, la taille de dictionnaire doit être fixée à l'avance et une connaissance des niveaux de bruit et éventuellement de parcimonie sont aussi nécessaires.

Les modèles non paramétriques permettent d'éviter les choix souvent restrictifs des modèles paramétriques en définissant une distribution a priori sur des espaces fonctionnels (de dimension infinie). Les modèles non paramétriques peuvent ainsi être simplement définis comme des modèles paramétriques avec un nombre infini de paramètres. Pour résumer, non paramétriques ne veut pas dire qu'on ignore l'existence des paramètres des distributions. Cela indique surtout que la dimension des paramètres inconnus est aussi une variable aléatoire.

Les modèles non paramétriques possèdent de très bonnes propriétés d'adaptativité qui permettent de s'affranchir d'une étape de sélection de modèle, la complexité du modèle augmentant dynamiquement avec la richesse des données d'apprentissage. En utilisant les approches bayésiennes non paramétriques dans l'apprentissage de dictionnaire, nous pouvons considérer que le dictionnaire est potentiellement de taille infinie mais une loi a priori est introduite pour favoriser la parcimonie de la représentation. On apprend conjointement le dictionnaire et ses paramètres

Liens