Une élégante valse circulaire entre deux matrices

Solution en vidéo : https://youtu.be/687TZofuUPA

1. On raisonne par analyse-synthèse.
   Analyse. Soient $A,B\in\mathrm{GL}_n(\mathbb{C})$ et $\lambda\in\mathbb{C}$ tels que $AB=\lambda BA.$ En passant au déterminant dans la relation on obtient $\det(A)\det(B)=\lambda^n\det(A)\det(B)$ donc $\lambda^n=1$ puisque $A$ et $B$ sont inversibles. On en déduit que $\lambda$ est une racine $n$-ème de l’unité.
   Synthèse. Soit $\lambda\in\mathbb{U}_n.$ On pose $A=\operatorname{diag}(1,\lambda,\dots,\lambda^{n-1}),$ la matrice de l’endomorphisme $f\colon \mathbb{C}^n\to\mathbb{C}^n$ défini sur la base canonique de $\mathbb{C}^n$ par $f(e_j)=\lambda^{j-1} e_j$ et $B$ la matrice du cycle $(1~2~\cdots~n)$, c’est à dire la matrice de l’endomorphisme $g$ défini par $g(e_j)=e_{j+1}$ pour $j\leqslant n-1$ et $g(e_n)=e_1.$ Le calcul du produit d’endomorphisme est ici plus commode à mener que le produit matriciel. On a $\forall 1\leqslant j\leqslant n-1, f(g(e_j))=f(e_{j+1})=\lambda^{j}e_{j+1}$ et $g(f(e_j))=\lambda^{j-1} e_{j+1}$ et $f(g(e_n))=f(e_1)=e_1$ et $g(f(e_n))=\lambda^{n-1}e_1.$ On remarque qu’on a bien $\forall j, f(g(e_j))=\lambda g(f(e_j))$ ce qui revient à l’écriture matricielle
   $$AB=\lambda BA.$$L’ensemble des $\lambda\in\mathbb{C}$ tels qu’il existe $A,B$ inversibles telles que $AB=\lambda BA$ est donc $\mathbb{U}_n.$
2. On va montrer le résultat suivant : "Soit $\lambda\in\mathbb{U}_n$. Alors tout couple de matrice $(A,B)\in\mathrm{GL}_n(\mathbb{C})^2$ tel que $AB=\lambda BA$ est formé de matrices diagonalisables si et seulement si $\lambda$ est d’ordre $n$". Soient $\lambda\in\mathbb{U}_n,A,B\in\mathrm{GL}_n(\mathbb{C})$ tels que $AB=\lambda BA.$ On pose $r$ l’ordre de $\lambda$ dans $\mathbb{U}_n.$ On rappelle que $\forall k\in\mathbb{N}, AB^k=\lambda^k B^kA$ et plus généralement, par linéarité du produit matriciel,
   $$\forall P\in\mathbb{C}[X], AP(B)=P(\lambda B)A.$$En particulier, pour $P=\chi_B$ on a, d’après le théorème de Cayley-Hamilton, $0=\chi_B(\lambda B)A$ donc, par inversibilité de $A,\chi_B(\lambda B)=0$. Le polynôme $\chi_B(\lambda X)$ est annulateur de $B$ donc le spectre de $B$ est inclus dans les racines $\chi_B(\lambda X)$ qui est l’ensemble $\dfrac{1}{\lambda}\mathrm{Sp}(B).$ Par injectivité de $z\mapsto \dfrac{z}{\lambda}$ on a $\mathrm{Sp}(B)=\lambda \mathrm{Sp}(B).$ L’application $\sigma\colon \mu\in\mathrm{Sp}(B)\mapsto \lambda \mu\in\mathrm{Sp}(B)$ étant une bijection, c’est un élément de $\mathfrak{S}(\mathrm{Sp}(B)).$ Elle se décompose de façon unique en produit de cycles à supports disjoints. Soit $\mu\in\mathrm{Sp}(B),$ on a $\sigma^r(\mu)=\lambda^r\mu=\mu$ et $\forall 0\leqslant j< r,\sigma^{j}(\mu)=\lambda^j\mu\neq \mu$ si bien que $\mu$ est dans un cycle de longueur $r$ de $\sigma$. Autrement dit, $\sigma$ est un produit de $d=\dfrac{m}{r}$ $r$-cycles à supports disjoints avec $m=\#\mathrm{Sp}(B)$. On peut déjà conclure que si $r=n$, i.e. si $\lambda$ est une racine primitive $n$-ème, alors $\sigma$ contient un cycle de longueur $n$ donc $\#\mathrm{Sp}(B)\geqslant n$. La matrice $B$ a donc $n$ valeurs propres distinctes donc est diagonalisable. Par symétrie il en va de même pour $A.$ On a donc montré le sens indirect de la proposition souhaitée.
   On va faire le sens direct par la contraposée. Supposons que $\lambda$ soit d’ordre $r<n$ et montrons qu’il existe un couple $(A,B)\in\mathrm{GL}_n(\mathbb{C})^2$ avec $A$ ou $B$ diagonalisables. Pour cela on va réutiliser les matrices de la première question et faire \og gonfler\fg~ses coefficients en les transformant en blocs. On considère la matrice $A'=\operatorname{diag}(1,\lambda,\dots,\lambda^{r-1})$ et $B'$ la matrice du $r$-cycle $c=(1~2~\cdots~r).$ Les matrices $A'$ et $B'$ sont des matrices de tailles $r\times r.$ On pose $m=\dfrac{n}{r}$ et $J\in\mathrm{GL}_{m}(\mathbb{C})$ avec des $1$ sur la diagonale et sur la surdiagonale. La matrice $J$ n’est pas diagonalisable car $\mathrm{Sp}(J)=\left\{1\right\}$ et $\dim(\ker(J-I_n))=1<m.$ On pose alors $A$ et $B$ les matrices définie par blocs par $A=\operatorname{diag}(J,\lambda J,\dots,\lambda^{r-1}J)$ et $B=(B_{i,j})_{1\leqslant i,j\leqslant r}$ avec $B_{i,j}=\delta_{i,c(i)}I_m$, c’est à dire la matrice de permutation par blocs de $c$. Ce sont bien des matrices inversibles car calcul par bloc du déterminant, elles sont dans $M_{rm}(\mathbb{C})=M_n(\mathbb{C})$ et, par calculs par blocs on a $AB=\lambda BA$. Par ailleurs, $A$ n’est pas diagonalisable car $1$ valeur propre de multiplicité $m>1$ et $\dim(\ker(A-I_n))=1.$