Sous-sections
Mots clés : identification, fonction
d'estimation, système adaptatif, approximation stochastique,
poursuite .
Résumé :
On se donne une suite d'observations
(Z0, ... ,
Zn, ... ) de loi
paramétrée par
. Le problème de l'identification
paramétrique consiste à retrouver la vraie valeur
du paramètre, à partir de
la donnée d'une suite d'observations
(Z0, ... ,
Zn, ... ) gouvernée par
ce paramètre.
L'identification peut être «hors-ligne», ou «non
récursive». Dans ce cas, on se donne un échantillon
(Z0, ... ,
ZN) de longueur finie N, et on cherche à construire un
estimateur
, c'est-à-dire une
fonction de l'échantillon
(Z0, ... ,
ZN) à valeurs dans
. Les questions
qui se posent sont alors : lorsque N tend vers l'infini, 1)
converge-t-il vers
la «vraie» valeur
du paramètre ? 2) si
oui, à quelle vitesse ? existe-t-il une borne optimale
pour cette vitesse, borne qui dépend de la vraie valeur
(inconnue)
, et qui permet de parler de
l'optimalité d'un estimateur ? sait-on construire des
estimateurs optimaux ?
L'identification peut être «en-ligne», ou «récursive».
Dans ce cas, on lit à la volée l'échantillon
(Z0, ... ,
Zn, ... ), et on
construit récursivement une suite d'estimateurs
. Cette suite est en
général calculée incrémentalement, ce qui signifie que
est calculé en
fonction de
et des nouvelles
données reçues. On parle alors souvent d'approximation
stochastique, ou de système adaptatif. Outre les questions
précédentes, on se pose alors le problème de la
«poursuite» : supposons que la «vraie» valeur
, au lieu d'être fixe, soit
«lentement» variable, est-il possible que la suite
d'estimateurs
poursuive les
variations de
?
Nous avons, au cours des dix dernières années, apporté
diverses contributions sur l'ensemble de ces questions, et
tout récemment sur le problème de la poursuite.
On suppose donnés un modèle paramétrique
{P
,
} décrivant le système à identifier, où
la loi des observations
(Z0, ... ,
ZN) est caractérisée par le
paramètre
, et une
«fonction d'estimation» de la forme
telle que
E
[UN(
)] = 0 pour tout
. Dans un
grand nombre de situations, H est le gradient d'une fonction à
minimiser (erreur quadratique de prédiction,
log-vraisemblance (au signe près), etc.). Pour identifier le
modèle au vu des observations
(Z0, ... ,
ZN), un estimateur du paramètre
inconnu sera alors [MS88,Hey97,DJB97]
Si
est la «vraie» valeur du paramètre, et si
E
[UN(
)] = 0 si et seulement si
=
(avec
fixé), alors
converge vers
. Par le théorème-limite
central, le vecteur
UN(
) est asymptotiquement
gaussien centré, de matrice de covariance
que l'on sait
calculer ou estimer. Si de plus la matrice
MN = -
E
[U'N(
)] est inversible, alors en
utilisant un développement de Taylor et la contrainte
UN(
) = 0, on obtient la
normalité asymptotique de l'estimateur, i.e.
(
-
)
MN-1
UN(
).
Dans de nombreuses applications, une approche de ce type
est insuffisante, et doit être améliorée dans les directions
suivantes :
- récursivité : possibilité de calculer
simplement à
partir de
-- ceci se fait au
prix de certaines approximations dont le coût doit être
d'un ordre de grandeur inférieur à l'erreur d'estimation
1/
,
- adaptativité : il arrive que le vrai paramètre
varie au cours du temps (par exemple
le transfert d'un canal radio-mobile) -- un bon algorithme
doit être capable de «poursuivre» cette valeur.
La théorie de l'approximation stochastique permet
d'aborder de manière adéquate les problèmes de récursivité et
d'adaptativité en identification, dans un cadre statistique.
L'usage des algorithmes stochastiques est très répandu, et
recouvre des domaines tels que la commande adaptative, les
systèmes de transmission, le filtrage adaptatif, certains
algorithmes d'apprentissage en reconnaissance des formes,
etc. De nombreux exemples se trouvent dans [Sar74,BMP90,LS83].
Le but de ces algorithmes est l'estimation récursive d'un
paramètre inconnu et invariant dans le temps (ou lentement
variable) traditionnellement noté
. Dans le cadre
présenté ci-dessus, où H est
le gradient d'une fonction à minimiser, la structure générale
de l'algorithme sera
où
est une suite décroissante,
typiquement 1/n ou une
constante, et
est l'estimée de
au temps n. L'étude
théorique de ces algorithmes est généralement faite dans un
cadre markovien assez large [BMP90] donnant une forme explicite à la
dépendance en
de la loi du processus Zn.
Si l'on s'intéresse aux gains en 1/n, il est acquis [HH80,NK76,BMP90,KC78,Del96b] que sous certaines hypothèses, peu
restrictives mais pas toujours faciles à vérifier,
converge presque sûrement vers
, et les variables
(
-
) convergent en loi vers une
variable normale de variance V satisfaisant une certaine équation de
Lyapunov [Del96a]. On vérifie que V peut être améliorée par l'introduction
d'une matrice de gain
dans l'algorithme :
et que le choix optimal du gain permet d'atteindre la
borne de Cramér-Rao. Malheureusement, cette matrice optimale
est généralement inconnue. Cette difficulté peut être évitée
par l'usage de l'algorithme de Polyak-Ruppert [Pol90,DJ95b] :
avec un gain
typiquement d'ordre n-2/3. On peut prouver
l'optimalité de cet algorithme (convergence de
vers
à même vitesse que
dans le cas où
est choisi au
mieux) dans des circonstances assez générales.
Les algorithmes à gain constant (
=
) sont utilisés en
revanche lorsque le vrai paramètre varie lentement dans le
temps (situation de poursuite). Les études se concentrent
dans ce cas sur une approche asymptotique où
et la vitesse de
variation de
sont petits. Un premier
aspect est la convergence dans la période transitoire
(1
n
1/
), période pendant laquelle
passe de la
valeur initiale
à un voisinage de
. Cette approche dite de
l'équation différentielle moyenne est étudiée de façon
approfondie dans [BMP90] et conduit à la conclusion
suivante : si
varie régulièrement à
vitesse v, le gain doit être
choisi d'ordre v2/3, mais si
suit une marche aléatoire,
le gain doit être proportionnel à l'amplitude moyenne de

- 
.
Un deuxième angle d'attaque correspond à l'étude de la
distribution limite de
lorsque
a une distribution donnée et
est
fixé [DJ95a], et conduit au même type de
conclusion.
Pour l'estimation directe d'un bon gain sans connaissance
a priori sur les variations de
, i.e. la véritable
adaptativité, on peut utiliser une méthode statistique
inspirée de la solution d'un problème d'estimation
non-paramétrique dans un cadre min-max [Lep91]. Cette méthode a été mise en oeuvre
dans un cadre applicatif, pour un problème d'analyse d'images
météorologiques, voir le rapport d'activité 1997 du
projet VISTA.