Finite groups with 3 conjugacy classes

Let $G$ act on $X:=G$ by conjugation, that is via the action $(g,x)\in G\times X\longmapsto g\cdot x=gxg^{-1}\in G$.

Thus the orbit of $x$ under this action is $O_x:=\{gxg^{-1}, g\in G\}$, i.e., the conjugacy class of $x$, and its stabilizer is $Stab(x):=\{g\in G/ gxg^{-1}=x\}$, i.e., the set of elements that commute with $x$.

We know that the set of orbits forms a partition of $X$, that is, there exist $x_1,\dots,x_r\in X$ such that $X=\bigsqcup_{i=1}^r O_{x_i}$. But there are only three conjugacy classes here, so $r=3$. Also, one of these classes contains the identity element $e$, whose orbit is reduced to itself since it commutes with everyone. We thus have the equality $X=\{e\}\sqcup O_x\sqcup O_y$ for some $x,y\in X$.

Let us now consider cardinalities: we find $\#G=1+\#O_x+\#O_y$. But the cardinalities $\#O_x$ and $\#O_y$ can also be written as $\frac{\#G}{\#Stab(x)}$ (samely for $y$), so we finally obtain
$$\#G=1+\#G\left(\frac{1}{\#Stab(x)}+\frac{1}{\#Stab(y)}\right).$$

Which can be rewritten as
$$\#Stab(x)\cdot\#Stab(y)\cdot(\#G-1)=\#G\cdot(\#Stab(x)+\#Stab(y))$$But since $\#G$ and $\#G-1$ have gcd $1$, then $\#G-1$ divides $\#Stab(x)+\#Stab(y)$. However $Stab(x)$ and $Stab(y)$ are subgroups of $G$. Say that one of them equal $G$, then $\#G-1$ divides the cardinality of the other one minus one, and so it also has to equal $G$. But $Stab(x)=G$ iff $x$ commutes with any element of $G$ and samely for $y$. Hence $G=\Z/3\Z$.

Now assume that both $Stab(x)$ and $Stab(x)$ do not equal $G$. Then, by Lagrange formula, their cardinal has to be less than or equal to $\frac{\#G}{2}$, so their sum has to be less than $\#G$ and is a multiple of $\#G-1$. Hence it has to equal $\#G-1$.
Finally one gets the two equations:
$$\#G-1=\#Stab(x)+\#Stab(y)\,\,\text{and}\,\,\#G=\#Stab(x)\cdot\#Stab(y).$$

Since we know that $e\in Stab(x)\cap Stab(y)$, let us write $a:=\#Stab(x)-1$ and $b:=\#Stab(y)-1$, which gives $a+b=\#G-3$ and $2=ab$. Hence, without loss of generality, one deduces that $a=2$ and $b=1$ hence $\#Stab(x)=3,\#Stab(y)=2$ and $\#G=6$.

Finally, there exists only one non-abelian group of order $6$ (it has to be non-abelian to have only $3$ conjugacy classes), which is $S_3$. This concludes the proof.

Solution par les sous-groupes distingués

Observation initiale. Un sous-groupe distingué de $G$ est une réunion de classes de conjugaison contenant $e$. Comme $G$ n’a que trois classes, $G=\{e\}\sqcup A\sqcup B$, il n’y a que quatre sous-groupes distingués possibles :
$$\{e\},\qquad \{e\}\cup A,\qquad \{e\}\cup B,\qquad G.$$

Cas abélien. Si $G$ est abélien, chaque classe est un singleton, donc $|G|=3$ et $G\simeq\mathbb{Z}/3\mathbb{Z}$.

Cas non abélien. Supposons $G$ non abélien : son groupe dérivé $G'$ est distingué et non trivial. Montrons d’abord que $G'\neq G$. Si $G'=G$, le groupe $G$ n’a aucun quotient abélien non trivial ; on écarte ce cas à la fin.

Supposons donc $\{e\}\neq G'\neq G$. Quitte à échanger les noms, $G'=\{e\}\cup A$. Le quotient $G/G'$ est abélien, et l’image de $B$ y forme une seule classe : $G/G'$ a exactement deux éléments, donc
$$|G/G'|=2,\qquad |G'|=\frac{|G|}{2}=1+|A|.$$Or $|A|$ divise $|G|=2|A|+2$, donc $|A|$ divise $2$.

• Si $|A|=1$, alors $|G|=4$ : tout groupe d’ordre $4$ est abélien, contradiction.
• Si $|A|=2$, alors $|G|=6$ et $|G'|=3$, donc $G'\simeq\mathbb{Z}/3\mathbb{Z}$.

Identification. On a $G'\trianglelefteq G$ d’indice $2$, engendré par un élément $a$ d’ordre $3$. Soit $b\in G\setminus G'$ ; son image dans $G/G'$ est d’ordre $2$, donc $b^{2}\in G'$. Si $b^{2}\neq e$, alors $b$ serait d’ordre $6$ et $G$ cyclique donc abélien : ainsi $b^{2}=e$. Enfin $bab^{-1}\in G'$ est d’ordre $3$, donc vaut $a$ ou $a^{2}$ ; le premier cas rendrait $G$ abélien. D’où
$$G=\langle a,b\rangle,\qquad a^{3}=b^{2}=e,\qquad bab^{-1}=a^{2},$$c’est une présentation de $\mathfrak{S}_3$, donc $G\simeq\mathfrak{S}_3$.

Le cas parfait. Reste à écarter $G'=G$. L’équation aux classes donne $|G|=1+|A|+|B|$ avec $|A|,|B|$ divisant $|G|$, donc
$$1=\frac{1}{|G|}+\frac{1}{c_1}+\frac{1}{c_2},\qquad c_i=\frac{|G|}{|A|},\ \frac{|G|}{|B|}\ \geqslant 2 .$$Le plus grand des trois termes vaut au moins $\frac13$, donc $\min(c_1,c_2)\leqslant 3$. Si ce minimum vaut $2$, on obtient $\frac{1}{|G|}+\frac{1}{c}=\frac12$ avec $c\mid|G|$, d’où $|G|=6$ ; si le minimum vaut $3$, alors $\frac{1}{|G|}+\frac{1}{c}=\frac23$ avec $c\geqslant 3$, d’où $|G|=3$. Dans les deux cas $G$ admet un quotient abélien non trivial, donc $G'\neq G$. $\blacksquare$