Un critère topologique de diagonalisation

1) a)

Commençons par remarquer que deux quantités sont invariantes par similitude : le polynôme caractéristique (car $XI_n-PAP^{-1}=P(XI_n-A)P^{-1}$) et le polynôme minimal (car $Q(PAP^{-1})=P\,Q(A)\,P^{-1}$ pour tout polynôme $Q$). Toute matrice de $S(A)$ vérifie donc $\chi_M=\chi_A$ et $\pi_A(M)=0$. La question est de savoir si ces deux conditions suffisent — et c’est ici que l’hypothèse de diagonalisabilité va servir.

Supposons donc $A$ diagonalisable, de valeurs propres distinctes $\lambda_1,\dots,\lambda_r$ de multiplicités $m_1,\dots,m_r$, de sorte que $\pi_A=\prod_i (X-\lambda_i)$.

Soit $M$ vérifiant les deux conditions. Comme $\pi_A$ annule $M$ et qu’il est scindé à racines simples, $M$ est diagonalisable et ses valeurs propres sont parmi les $\lambda_i$. Et comme $\chi_M=\chi_A$, la multiplicité de $\lambda_i$ vaut $m_i$ ; la diagonalisabilité de $M$ donne alors $\dim\ker(M-\lambda_i I_n)=m_i$. Autrement dit $M$ est semblable à $\mathrm{diag}(\lambda_1,\dots,\lambda_1,\dots,\lambda_r,\dots,\lambda_r)$ ($\lambda_i$ répété $m_i$ fois) — et $A$ aussi. Donc $M\in S(A)$. En résumé :

$$S(A)=\{M\ :\ \chi_M=\chi_A\ \text{ et }\ \pi_A(M)=0\}.$$

Aucune des deux conditions ne se laisse retirer : $\mathrm{diag}(1,1,2)$ et $\mathrm{diag}(1,2,2)$ ont même polynôme minimal sans être semblables, et $\mathrm{diag}(1,1)$ et $\begin{pmatrix}1&1\\0&1\end{pmatrix}$ ont même polynôme caractéristique sans l’être non plus.

1) b)

L’intérêt de la caractérisation précédente est qu’elle décrit $S(A)$ par des équations polynomiales en les coefficients de $M$.

En effet, les coefficients de $\pi_A(M)$ s’obtiennent par sommes et produits de ceux de $M$ ; et les coefficients de $\chi_M$ aussi, comme on le voit en développant $\det(XI_n-M)$ par la formule de Leibniz. Les deux applications
$$M\mapsto \pi_A(M)\qquad\text{et}\qquad M\mapsto \text{(coefficients de }\chi_M)$$sont donc continues, et $S(A)$ est l’intersection des images réciproques de deux singletons — donc de deux fermés. C’est un fermé.

2)

Supposons maintenant $A$ non diagonalisable, et cherchons une diagonalisable dans $\overline{S(A)}$.

Une idée qui vient vite : trigonaliser $A=PTP^{-1}$ et perturber légèrement les coefficients diagonaux de $T$ pour créer $n$ valeurs propres distinctes. Mais attention, cela ne répond pas à la question : ces matrices perturbées ont un polynôme caractéristique différent de $\chi_A$, donc elles sortent de $S(A)$. C’est la preuve classique de la densité des diagonalisables, ce n’est pas ce qu’on veut ici.

Il faut donc rester dans $S(A)$, c’est-à-dire ne s’autoriser que des conjugaisons. Repartons de $A=PTP^{-1}$ avec $T=(t_{ij})$ triangulaire supérieure de diagonale $\lambda_1,\dots,\lambda_n$ : si l’on parvient à faire tendre vers $0$ la partie strictement triangulaire de $T$ par conjugaison, on obtiendra à la limite la matrice diagonale $\mathrm{diag}(\lambda_1,\dots,\lambda_n)$.

Les conjugaisons les plus simples sont celles par une matrice diagonale $\Delta=\mathrm{diag}(d_1,\dots,d_n)$, et le calcul est immédiat :
$$(\Delta^{-1}T\Delta)_{ij}=\frac{d_j}{d_i}\,t_{ij}.$$La diagonale ne bouge pas, et le coefficient $(i,j)$ est multiplié par $d_j/d_i$. Il nous suffit donc de choisir les $d_i$ pour que ce rapport soit petit quand $j>i$ : une suite géométrique convient, et on pose $d_i=t^{\,i}$, ce qui donne $d_j/d_i=t^{\,j-i}\to 0$ pour $j>i$.

Précisément, pour $t\in\ ]0,1]$, posons $\Delta_t=\mathrm{diag}(t,t^2,\dots,t^n)$ et
$$M_t=(P\Delta_t)^{-1}A\,(P\Delta_t)=\Delta_t^{-1}T\Delta_t\ \in S(A),$$dont les coefficients sont $t^{\,j-i}t_{ij}$ pour $j\ge i$ et $0$ sinon. Quand $t\to 0$, chaque coefficient converge (vers $\lambda_i$ sur la diagonale, vers $0$ ailleurs), donc, la dimension étant finie,
$$M_t\xrightarrow[t\to 0]{}\mathrm{diag}(\lambda_1,\dots,\lambda_n)=:D.$$

La matrice $D$ est diagonale, donc diagonalisable, et elle appartient à $\overline{S(A)}$.

3)

On en tire : $A$ est diagonalisable si et seulement si $S(A)$ est fermé.

Le sens direct est la question 1) b). Pour la réciproque, procédons par contraposée : si $A$ n’est pas diagonalisable, la question 2 fournit une matrice diagonalisable $D\in\overline{S(A)}$. Or la diagonalisabilité est invariante par similitude, donc aucune matrice de $S(A)$ n’est diagonalisable et $D\notin S(A)$. Ainsi $\overline{S(A)}\ne S(A)$, et $S(A)$ n’est pas fermé.

Géométriquement : l’orbite de $A$ sous conjugaison est fermée exactement lorsque $A$ est semi-simple ; sinon, on trouve « au bord » de l’orbite sa partie diagonalisable au sens de Dunford.