Groupes finis avec 3 classes de conjugaison

Solution par les sous-groupes distingués

Observation initiale. Un sous-groupe distingué de $G$ est une réunion de classes de conjugaison contenant $e$. Comme $G$ n’a que trois classes, $G=\{e\}\sqcup A\sqcup B$, il n’y a que quatre sous-groupes distingués possibles :
$$\{e\},\qquad \{e\}\cup A,\qquad \{e\}\cup B,\qquad G.$$

Cas abélien. Si $G$ est abélien, chaque classe est un singleton, donc $|G|=3$ et $G\simeq\mathbb{Z}/3\mathbb{Z}$.

Cas non abélien. Supposons $G$ non abélien : son groupe dérivé $G'$ est distingué et non trivial. Montrons d’abord que $G'\neq G$. Si $G'=G$, le groupe $G$ n’a aucun quotient abélien non trivial ; on écarte ce cas à la fin.

Supposons donc $\{e\}\neq G'\neq G$. Quitte à échanger les noms, $G'=\{e\}\cup A$. Le quotient $G/G'$ est abélien, et l’image de $B$ y forme une seule classe : $G/G'$ a exactement deux éléments, donc
$$|G/G'|=2,\qquad |G'|=\frac{|G|}{2}=1+|A|.$$Or $|A|$ divise $|G|=2|A|+2$, donc $|A|$ divise $2$.

• Si $|A|=1$, alors $|G|=4$ : tout groupe d’ordre $4$ est abélien, contradiction.
• Si $|A|=2$, alors $|G|=6$ et $|G'|=3$, donc $G'\simeq\mathbb{Z}/3\mathbb{Z}$.

Identification. On a $G'\trianglelefteq G$ d’indice $2$, engendré par un élément $a$ d’ordre $3$. Soit $b\in G\setminus G'$ ; son image dans $G/G'$ est d’ordre $2$, donc $b^{2}\in G'$. Si $b^{2}\neq e$, alors $b$ serait d’ordre $6$ et $G$ cyclique donc abélien : ainsi $b^{2}=e$. Enfin $bab^{-1}\in G'$ est d’ordre $3$, donc vaut $a$ ou $a^{2}$ ; le premier cas rendrait $G$ abélien. D’où
$$G=\langle a,b\rangle,\qquad a^{3}=b^{2}=e,\qquad bab^{-1}=a^{2},$$c’est une présentation de $\mathfrak{S}_3$, donc $G\simeq\mathfrak{S}_3$.

Le cas parfait. Reste à écarter $G'=G$. L’équation aux classes donne $|G|=1+|A|+|B|$ avec $|A|,|B|$ divisant $|G|$, donc
$$1=\frac{1}{|G|}+\frac{1}{c_1}+\frac{1}{c_2},\qquad c_i=\frac{|G|}{|A|},\ \frac{|G|}{|B|}\ \geqslant 2 .$$Le plus grand des trois termes vaut au moins $\frac13$, donc $\min(c_1,c_2)\leqslant 3$. Si ce minimum vaut $2$, on obtient $\frac{1}{|G|}+\frac{1}{c}=\frac12$ avec $c\mid|G|$, d’où $|G|=6$ ; si le minimum vaut $3$, alors $\frac{1}{|G|}+\frac{1}{c}=\frac23$ avec $c\geqslant 3$, d’où $|G|=3$. Dans les deux cas $G$ admet un quotient abélien non trivial, donc $G'\neq G$. $\blacksquare$