Groupes finis avec 3 classes de conjugaison

Soit $G$ agissant sur $X:=G$ par conjugaison, c’est-à-dire via l’action $(g,x)\in G\times X\longmapsto g\cdot x=gxg^{-1}\in G$.

Ainsi, l’orbite de $x$ sous cette action est $O_x:=\{gxg^{-1}, g\in G\}$, c’est-à-dire la classe de conjugaison de $x$, et son stabilisateur est $Stab(x):=\{g\in G\mid gxg^{-1}=x\}$, c’est-à-dire l’ensemble des éléments qui commutent avec $x$.

Nous savons que l’ensemble des orbites forme une partition de $X$, c’est-à-dire qu’il existe $x_1,\dots,x_r\in X$ tels que $X=\bigsqcup_{i=1}^r O_{x_i}$. Mais il n’y a ici que trois classes de conjugaison, donc $r=3$. De plus, l’une de ces classes contient l’élément neutre $e$, dont l’orbite est réduite à lui-même puisqu’il commute avec tout le monde. On a donc l’égalité $X=\{e\}\sqcup O_x\sqcup O_y$ pour certains $x,y\in X$.

Considérons maintenant les cardinalités : on obtient $\#G=1+\#O_x+\#O_y$. Mais les cardinalités $\#O_x$ et $\#O_y$ peuvent aussi s’écrire comme $\frac{\#G}{\#Stab(x)}$ (et de même pour $y$), donc on obtient finalement
$$\#G=1+\#G\left(\frac{1}{\#Stab(x)}+\frac{1}{\#Stab(y)}\right).$$

Ce qui peut se réécrire comme
$$\#Stab(x)\cdot\#Stab(y)\cdot(\#G-1)=\#G\cdot(\#Stab(x)+\#Stab(y)).$$

Mais puisque $\#G$ et $\#G-1$ sont premiers entre eux, alors $\#G-1$ divise $\#Stab(x)+\#Stab(y)$. Cependant, $Stab(x)$ et $Stab(y)$ sont des sous-groupes de $G$. Supposons que l’un d’eux soit égal à $G$, alors $\#G-1$ divise le cardinal de l’autre moins un, et celui-ci doit donc également être égal à $G$. Mais $Stab(x)=G$ si et seulement si $x$ commute avec tout élément de $G$, et de même pour $y$. Ainsi $G=\mathbb{Z}/3\mathbb{Z}$.

Supposons maintenant que $Stab(x)$ et $Stab(y)$ ne soient tous les deux pas égaux à $G$. Alors, d’après le théorème de Lagrange, leurs cardinalités doivent être inférieures ou égales à $\frac{\#G}{2}$, donc leur somme doit être inférieure à $\#G$ et être un multiple de $\#G-1$. Elle doit donc être égale à $\#G-1$.

Finalement, on obtient les deux équations :
$$\#G-1=\#Stab(x)+\#Stab(y)\,\,\text{et}\,\,\#G=\#Stab(x)\cdot\#Stab(y).$$

Puisque nous savons que $e\in Stab(x)\cap Stab(y)$, posons $a:=\#Stab(x)-1$ et $b:=\#Stab(y)-1$, ce qui donne $a+b=\#G-3$ et $2=ab$. Ainsi, sans perte de généralité, on déduit que $a=2$ et $b=1$, donc $\#Stab(x)=3,\#Stab(y)=2$ et $\#G=6$.

Enfin, il n’existe qu’un seul groupe non abélien d’ordre $6$ à isomorphisme près (il doit être non abélien pour n’avoir que $3$ classes de conjugaison), qui est $S_3$. Cela conclut la preuve.

Solution par les sous-groupes distingués

Observation initiale. Un sous-groupe distingué de $G$ est une réunion de classes de conjugaison contenant $e$. Comme $G$ n’a que trois classes, $G=\{e\}\sqcup A\sqcup B$, il n’y a que quatre sous-groupes distingués possibles :
$$\{e\},\qquad \{e\}\cup A,\qquad \{e\}\cup B,\qquad G.$$

Cas abélien. Si $G$ est abélien, chaque classe est un singleton, donc $|G|=3$ et $G\simeq\mathbb{Z}/3\mathbb{Z}$.

Cas non abélien. Supposons $G$ non abélien : son groupe dérivé $G'$ est distingué et non trivial. Montrons d’abord que $G'\neq G$. Si $G'=G$, le groupe $G$ n’a aucun quotient abélien non trivial ; on écarte ce cas à la fin.

Supposons donc $\{e\}\neq G'\neq G$. Quitte à échanger les noms, $G'=\{e\}\cup A$. Le quotient $G/G'$ est abélien, et l’image de $B$ y forme une seule classe : $G/G'$ a exactement deux éléments, donc
$$|G/G'|=2,\qquad |G'|=\frac{|G|}{2}=1+|A|.$$Or $|A|$ divise $|G|=2|A|+2$, donc $|A|$ divise $2$.

• Si $|A|=1$, alors $|G|=4$ : tout groupe d’ordre $4$ est abélien, contradiction.
• Si $|A|=2$, alors $|G|=6$ et $|G'|=3$, donc $G'\simeq\mathbb{Z}/3\mathbb{Z}$.

Identification. On a $G'\trianglelefteq G$ d’indice $2$, engendré par un élément $a$ d’ordre $3$. Soit $b\in G\setminus G'$ ; son image dans $G/G'$ est d’ordre $2$, donc $b^{2}\in G'$. Si $b^{2}\neq e$, alors $b$ serait d’ordre $6$ et $G$ cyclique donc abélien : ainsi $b^{2}=e$. Enfin $bab^{-1}\in G'$ est d’ordre $3$, donc vaut $a$ ou $a^{2}$ ; le premier cas rendrait $G$ abélien. D’où
$$G=\langle a,b\rangle,\qquad a^{3}=b^{2}=e,\qquad bab^{-1}=a^{2},$$c’est une présentation de $\mathfrak{S}_3$, donc $G\simeq\mathfrak{S}_3$.

Le cas parfait. Reste à écarter $G'=G$. L’équation aux classes donne $|G|=1+|A|+|B|$ avec $|A|,|B|$ divisant $|G|$, donc
$$1=\frac{1}{|G|}+\frac{1}{c_1}+\frac{1}{c_2},\qquad c_i=\frac{|G|}{|A|},\ \frac{|G|}{|B|}\ \geqslant 2 .$$Le plus grand des trois termes vaut au moins $\frac13$, donc $\min(c_1,c_2)\leqslant 3$. Si ce minimum vaut $2$, on obtient $\frac{1}{|G|}+\frac{1}{c}=\frac12$ avec $c\mid|G|$, d’où $|G|=6$ ; si le minimum vaut $3$, alors $\frac{1}{|G|}+\frac{1}{c}=\frac23$ avec $c\geqslant 3$, d’où $|G|=3$. Dans les deux cas $G$ admet un quotient abélien non trivial, donc $G'\neq G$. $\blacksquare$