Quand $\text{Aut}^{n}(G)$ est trivial

Commençons par le
Lemme. Soit $H$ un groupe fini tel que $\operatorname{Aut}(H)$ soit cyclique. Alors $H$ est cyclique.

Étape (a) : $H$ est abélien. Le groupe des automorphismes intérieurs vérifie $\operatorname{Inn}(H)\simeq H/Z(H)$, et c’est un sous-groupe de $\operatorname{Aut}(H)$, donc cyclique. Or si $H/Z(H)=\langle \overline{x}\rangle$, tout élément de $H$ s’écrit $x^{k}z$ avec $z\in Z(H)$, et deux tels éléments commutent : $H$ est abélien.

Étape (b) : un groupe abélien fini non cyclique a un groupe d’automorphismes non cyclique. Écrivons $H\simeq\prod_p H_p$ et supposons un facteur $H_p$ non cyclique. Alors $H$ admet un facteur direct
$$K=\mathbb{Z}/p^{a}\mathbb{Z}\times\mathbb{Z}/p^{b}\mathbb{Z},\qquad 1\leqslant a\leqslant b,$$de générateurs $u,v$, et tout automorphisme de $K$ prolongé par l’identité sur un supplémentaire donne un plongement $\operatorname{Aut}(K)\hookrightarrow\operatorname{Aut}(H)$. Il suffit donc de voir que $\operatorname{Aut}(K)$ n’est pas cyclique. Posons
$$\tau:\ u\mapsto uv^{p^{\,b-a}},\ v\mapsto v,\qquad\qquad \sigma:\ u\mapsto u,\ v\mapsto v^{-1}.$$L’élément $v^{p^{\,b-a}}$ est d’ordre $p^{a}$, donc $\tau$ est bien un endomorphisme, d’inverse $u\mapsto uv^{-p^{\,b-a}}$ ; comme $\tau^{k}(u)=uv^{kp^{\,b-a}}$, son ordre est exactement $p^{a}$.
Vérifions que $\sigma\tau\sigma^{-1}=\tau^{-1}$.

• Si $p^{a}>2$ : alors $p^{b}>2$, donc $\sigma$ est d’ordre $2$, et $\tau^{-1}\neq\tau$. Le groupe $\langle\sigma,\tau\rangle$ est non abélien, donc $\operatorname{Aut}(K)$ n’est pas cyclique.
• Si $p^{a}=2$ et $b\geqslant 2$ : la relation ci-dessus devient $\sigma\tau=\tau\sigma$, et $\sigma,\tau$ sont deux involutions distinctes (elles diffèrent en $u$), donc $\langle\sigma,\tau\rangle\simeq(\mathbb{Z}/2\mathbb{Z})^{2}$.
• Si $p^{a}=p^{b}=2$ : alors $K\simeq(\mathbb{Z}/2\mathbb{Z})^{2}$ et $\operatorname{Aut}(K)\simeq\mathfrak{S}_3$.
  Dans les trois cas $\operatorname{Aut}(K)$, donc $\operatorname{Aut}(H)$, n’est pas cyclique. $\square$

Revenons à la démonstration de l’exercice.
Tous les groupes $\operatorname{Aut}^{k}(G)$ sont finis, par récurrence immédiate. Supposons $\operatorname{Aut}^{n}(G)$ trivial ; il est en particulier cyclique. Montrons par récurrence descendante sur $k$ que $\operatorname{Aut}^{k}(G)$ est cyclique pour $0\leqslant k\leqslant n$.

C’est acquis pour $k=n$. Si $\operatorname{Aut}^{k+1}(G)=\operatorname{Aut}\bigl(\operatorname{Aut}^{k}(G)\bigr)$ est cyclique, le lemme appliqué à $H=\operatorname{Aut}^{k}(G)$ donne que $\operatorname{Aut}^{k}(G)$ est cyclique.

Pour $k=0$ on obtient que $G=\operatorname{Aut}^{0}(G)$ est cyclique. $\blacksquare$