Participant : Didier Girard
Mots clefs : problème inverse, régularisation, validation croisée
Les diverses approches (du type régression non paramétrique, régularisation, pénalisation, approche markovienne, méthodes "du tamis", etc.) pour la résolution numérique de problèmes inverses fournissent généralement une famille de solutions indexées par un (ou quelques) paramètre(s) (appelés paramètres de régularisation ou hyperparamètres dans la terminologie bayésienne). Les techniques de validation croisée commencent à devenir une approche courante pour le choix de ces hyperparamètres quand les méthodes plus standard (telle que le maximum de vraisemblance) échouent. Malheureusement, excepté pour quelques cas bien structurés, les algorithmes exacts les plus performants développés par G. Golub, G. Wahba et leurs collaborateurs pour la validation croisée généralisée (GCV) nécessitent des décompositions en valeurs singulières de matrices dont l'ordre est la taille des données, et sont donc limités en pratique à des problèmes de petite taille (quelques centaines de données).
Dans le cadre linéaire, un résultat récent de D. Girard, basé sur une approximation de type Monte-Carlo, a permis de réduire considérablement le coût de mise en oeuvre de ces techniques.
D. Girard a poursuivi l'étude de ces procédures randomisées de validation croisée dans plusieurs directions :
Les résultats de Härdle, Hall et Marron sur la performance asymptotique (vitesse de convergence) de la validation croisée ou de la GCV, et ses propres résultats sur la GCV randomisée, ont été étendus à un cadre plus général ; d'autre part, la légère détérioration inévitable due à la randomisation est précisément interprétée [40].
Il a aussi été montré dans un cadre simplifié qu'une certaine modification de la GCV randomisée produit en fait de meilleurs résultats (asymptotiques) que la GCV exacte ; cette variante atteint même la meilleure précision possible (borne inférieure du type Cramer-Rao sur l'erreur d'estimation). Il reste à voir si cette amélioration n'est pas seulement d'un intérêt théorique et à la généraliser à un cadre plus réaliste.
Même sans l'hypothèse d'un cadre asymptotique, il était clair dès le début qu'un petit nombre de simulations, disons 10, est toujours suffisant pour la version Monte Carlo du critère CL (alternative moins "puissante" que la validation croisée). Il a été établi récemment qu'en fait cette bonne propriété peut être "à peu près" étendue à la version Monte Carlo du critère GCV [14]. Ces résultats théoriques, fondamentaux pour la pratique, ont pu être en fait étendus en un certain sens (voir [13]) au cadre non-linéaire pour lequel une généralisation de ces techniques de Monte-Carlo avait été introduite en 89 et validée expérimentalement dans la thèse de L. Deshpande et par d'autres chercheurs depuis (citons, par exemple, G. Wahba et ses collaborateurs de la NASA concernés par l'assimilation des données en météorologie).
D. Girard et L. Desbat ont étudié le nouvel estimateur d'erreur proposé récemment par J. Rice comme amélioration de la validation croisée pour les problèmes de déconvolution. Ils ont mis en évidence son instabilité numérique et proposé une modification pour le rendre plus stable [13]. Cette modification a permis aussi d'étendre son domaine d'application (problèmes inverses non limités à la déconvolution). Plus récemment, D. Girard a montré que l'on peut obtenir un estimateur ``consistant" pour la distribution du paramètre de validation croisée (et donc des intervalles de confiance pour le paramètre optimal) et ceci uniquement par simulation d'une certaine variante de la validation croisée randomisée.