Matrices semblables à leurs inverses

Supposons $A=BC$ avec $B^{2}=C^{2}=I_3$ et posons $D=BA$. Alors $B^{-1}=B$, et
$$BC=A \iff C=BA=D,\qquad C^{2}=I_3\iff (BA)^{2}=I_3 .$$Comme $(BA)^{2}=I_3$ équivaut à $BAB=A^{-1}$, c’est-à-dire à $BAB^{-1}=A^{-1}$, on obtient l’équivalence
$$\exists\,B,C,\ A=BC,\ B^{2}=C^{2}=I_3\quad\Longleftrightarrow\quad \exists\,B,\ B^{2}=I_3 \text{ et } BAB^{-1}=A^{-1}.$$Autrement dit : $A$ est produit de deux involutions si et seulement si $A$ est conjuguée à $A^{-1}$ par une involution. Le sens facile de l’exercice est immédiat ; toute la difficulté est de passer d’une conjugaison quelconque à une conjugaison involutive.

Sens facile

Si $A=BC$ avec $B^{2}=C^{2}=I_3$, alors $B$ et $C$ sont inversibles, égales à leur inverse, et
$$BAB^{-1}=B(BC)B=(B^{2})CB=CB=C^{-1}B^{-1}=(BC)^{-1}=A^{-1}.$$Donc $A$ et $A^{-1}$ sont semblables. Cet argument ne fait intervenir ni la dimension ni le corps de base. $\square$

Pour la récirpoque procédons en 3 étapes.

Étape 1 : Le polynôme caractéristique est réciproque

Supposons désormais $A\sim A^{-1}$. On a $\chi_A=\chi_{A^{-1}}$. Or, pour toute $M\in\mathrm{GL}_3(\mathbb{R})$,
$$\chi_{M^{-1}}(X)=\det(XI_3-M^{-1})=\det(M^{-1})\det(XM-I_3)=-\frac{X^{3}}{\det M}\,\chi_M\!\left(\frac1X\right).$$En écrivant $\chi_A=X^{3}-aX^{2}+bX-c$ avec $c=\det A$, il vient $X^{3}\chi_A(1/X)=1-aX+bX^{2}-cX^{3}$, donc
$$\chi_{A^{-1}}(X)=X^{3}-\frac{b}{c}X^{2}+\frac{a}{c}X-\frac1c .$$L’égalité $\chi_A=\chi_{A^{-1}}$ donne $c^{2}=1$ et $b=\varepsilon a$, où l’on pose $\varepsilon=c=\det A\in\{-1,1\}$. Ainsi
$$\boxed{\ \chi_A=X^{3}-aX^{2}+\varepsilon a X-\varepsilon\ }\qquad\text{pour un } a\in\mathbb{R}.$$On dit que ce polynôme est réciproque au sens suivant : en notant $P^{\sharp}(X)=\dfrac{X^{3}P(1/X)}{P(0)}$ le réciproque normalisé, un calcul direct donne $\chi_A^{\sharp}=\chi_A$.

Retenons aussi la conséquence sur les racines : $\lambda$ est racine de $\chi_A$ de multiplicité $m$ si et seulement si $1/\lambda$ l’est aussi, avec la même multiplicité.

Étape 2 : Cas où $A$ est cyclique

Supposons $\mu_A=\chi_A$. Il existe alors un vecteur $v$ tel que $\mathcal{B}=\bigl(v,\ Av,\ A^{2}v\bigr)$ soit une base de $\mathbb{R}^{3}$. Les vecteurs $v$, $A^{-1}v$, $A^{-2}v$ en forment une autre, puisque ce sont les images de $\mathcal{B}$ par l’application inversible $A^{-2}$, à l’ordre près.
Soit $B$ l’unique endomorphisme de $\mathbb{R}^{3}$ défini sur la base $\mathcal{B}$ par
$$B(A^{k}v)=A^{-k}v\qquad (k=0,1,2).$$Il suffit de tester l’égalité sur $\mathcal{B}$. Pour $k=0$ et $k=1$, les deux membres valent respectivement $A^{-1}v$ et $A^{-2}v$, par définition de $B$. Pour $k=2$, le théorème de Cayley–Hamilton et l’étape 1 donnent $A^{3}=aA^{2}-\varepsilon aA+\varepsilon I_3$, d’où
$$BA(A^{2}v)=B(A^{3}v)=a\,A^{-2}v-\varepsilon a\,A^{-1}v+\varepsilon\,v,$$tandis que $A^{-1}B(A^{2}v)=A^{-3}v$. Ces deux vecteurs coïncident : en multipliant l’égalité voulue par $A^{3}$, elle devient $v=aAv-\varepsilon a A^{2}v+\varepsilon A^{3}v$, et en y reportant $\varepsilon A^{3}=\varepsilon aA^{2}-aA+I_3$ (obtenu en multipliant Cayley–Hamilton par $\varepsilon$, avec $\varepsilon^{2}=1$), tous les termes se simplifient pour laisser $v=v$.
De $BA=A^{-1}B$ on tire $AB=BA^{-1}$, puis par récurrence $BA^{-k}=A^{k}B$. Donc, pour $k=0,1,2$,
$$B^{2}(A^{k}v)=B(A^{-k}v)=A^{k}Bv=A^{k}v,$$et $B^{2}$ coïncide avec l’identité sur une base. $\square$

Étape 3 : Cas où $A$ n’est pas cyclique

Il reste $\deg\mu_A\leqslant 2$.
Si $\deg\mu_A=1$. Alors $A=\lambda I_3$, donc $A^{-1}=\lambda^{-1}I_3$ ; deux matrices scalaires semblables sont égales, d’où $\lambda^{2}=1$ et $A^{2}=I_3$. On prend $B=A$ et $C=I_3$.

Si $\deg\mu_A=2$. Le polynôme $\mu_A$ a les mêmes racines que $\chi_A$, qui est réel de degré $3$ donc possède une racine réelle ; si $\mu_A$ était irréductible sur $\mathbb{R}$, toutes les racines de $\chi_A$ seraient complexes non réelles, ce qui est exclu. Donc $\mu_A=(X-\lambda)(X-\nu)$ avec $\lambda,\nu\in\mathbb{R}$.

• Si $\lambda\neq\nu$ : $A$ est diagonalisable et $\chi_A=(X-\lambda)^{2}(X-\nu)$ quitte à échanger les noms. Par l’étape 1, $1/\lambda$ est racine de multiplicité $2$, donc $1/\lambda=\lambda$ ; puis $1/\nu$ est racine simple, donc $1/\nu=\nu$. Ainsi $\lambda,\nu\in\{-1,1\}$ et $A^{2}=I_3$ : on prend $B=A$, $C=I_3$.

• Si $\lambda=\nu$ : alors $\chi_A=(X-\lambda)^{3}$ et $\lambda=1/\lambda$, donc $\lambda=\varepsilon\in\{-1,1\}$. Posons $N=\varepsilon A-I_3$, de sorte que
  $$A=\varepsilon(I_3+N),\qquad N\neq 0,\qquad N^{2}=0,\qquad A^{-1}=\varepsilon(I_3-N).$$Choisissons $u$ avec $Nu\neq 0$ et posons $e_1=Nu$, $e_2=u$, puis $e_3\in\ker N$ non colinéaire à $e_1$ (possible, $\ker N$ étant un plan contenant $e_1$). La famille $(e_1,e_2,e_3)$ est une base, dans laquelle $N=E_{12}$. La matrice $B=\mathrm{diag}(1,-1,1)$ dans cette base vérifie $B^{2}=I_3$ et $BNB=-N$, donc
  $$BAB=\varepsilon(I_3-N)=A^{-1}. \qquad\square$$En posant $C=BA$, on obtient $BC=A$ et $C^{2}=(BAB)A=A^{-1}A=I_3$. Combiné au sens facile, cela établit l’équivalence annoncée. $\blacksquare$

Généralisation. Le résultat vaut en toute dimension et sur tout corps de caractéristique $\neq 2$.