$Sp(A)=Sp(B)=Sp(AB)=\{1\}\Rightarrow A$ et $B$ cotrigonalarisables ?

Non. La condition est insuffisante dès la dimension $3$, alors qu’elle suffit en dimension $2$.

Rappelons d’abord que $\mathrm{Sp}(A)=\{1\}$ équivaut à dire que $A$ est unipotente, c’est-à-dire que $A-I_n$ est nilpotente. La question est donc : si $A$, $B$ et $AB$ sont unipotentes, la paire $(A,B)$ est-elle cotrigonalisable ?

Un contre-exemple en dimension 3

Posons
$$A=\begin{pmatrix}1&1&0\\0&1&1\\0&0&1\end{pmatrix},\qquad B=\begin{pmatrix}1&0&0\\1&1&0\\-1&-1&1\end{pmatrix}.$$

Les trois matrices sont unipotentes. La matrice $A-I_3=E_{12}+E_{23}$ est nilpotente d’indice $3$. Pour $B$, on pose $N=B-I_3$ et l’on calcule
$$N=\begin{pmatrix}0&0&0\\1&0&0\\-1&-1&0\end{pmatrix},\qquad N^{2}=\begin{pmatrix}0&0&0\\0&0&0\\-1&0&0\end{pmatrix},\qquad N^{3}=0 .$$Enfin le produit vaut
$$AB=\begin{pmatrix}2&1&0\\0&0&1\\-1&-1&1\end{pmatrix},\qquad C:=AB-I_3=\begin{pmatrix}1&1&0\\0&-1&1\\-1&-1&0\end{pmatrix},$$et l’on vérifie
$$C^{2}=\begin{pmatrix}1&0&1\\-1&0&-1\\-1&0&-1\end{pmatrix},\qquad C^{3}=0 .$$Donc $\mathrm{Sp}(A)=\mathrm{Sp}(B)=\mathrm{Sp}(AB)=\{1\}$.

Il n’y a pas de vecteur propre commun. Comme $\mathrm{Sp}(A)=\{1\}$, les vecteurs propres de $A$ sont exactement les éléments non nuls de $\ker(A-I_3)$, et
$$\ker(A-I_3)=\{v : v_2=v_3=0\}=\mathbb{C}\,e_1 .$$De même, $\ker(B-I_3)$ est donné par les équations $v_1=0$ et $-v_1-v_2=0$, soit
$$\ker(B-I_3)=\mathbb{C}\,e_3 .$$Ces deux droites sont distinctes : $A$ et $B$ n’ont aucun vecteur propre commun.

Conclusion. Si $A$ et $B$ étaient trigonalisables dans une même base $(f_1,f_2,f_3)$, le vecteur $f_1$ serait propre pour les deux. C’est impossible, donc $A$ et $B$ ne sont pas cotrigonalisables. $\blacksquare$

En dimension 2, la réponse est positive

Soient $A=I_2+N$ et $B=I_2+M$ unipotentes, avec $N,M$ nilpotentes donc de rang $\leqslant 1$ et de carré nul. Comme $\det(AB)=1$, dire que $AB$ est unipotente revient à dire que $\operatorname{tr}(AB)=2$, c’est-à-dire
$$\operatorname{tr}(AB)=\operatorname{tr}(I_2+N+M+NM)=2+\operatorname{tr}(NM)=2\ \Longleftrightarrow\ \operatorname{tr}(NM)=0 .$$Écartons les cas triviaux $N=0$ ou $M=0$, et écrivons $N=uv^{\mathsf T}$ avec $v^{\mathsf T}u=0$, $M=xy^{\mathsf T}$ avec $y^{\mathsf T}x=0$. Alors
$$\operatorname{tr}(NM)=\operatorname{tr}\bigl(uv^{\mathsf T}xy^{\mathsf T}\bigr)=(v^{\mathsf T}x)(y^{\mathsf T}u)=0 .$$Si $v^{\mathsf T}x=0$, alors $x$ appartient à la droite $\ker v^{\mathsf T}$, qui contient déjà $u$ : donc $x\in\mathbb{C}u$, et $Au=u$, $Bu=u+x(y^{\mathsf T}u)\in\mathbb{C}u$. Le vecteur $u$ engendre une droite stable par $A$ et $B$. Si $y^{\mathsf T}u=0$, on échange les rôles. Dans les deux cas la droite obtenue fournit le premier vecteur d’une base de cotrigonalisation, la dimension restante valant $1$. $\square$

Remarques

• Ce qui manque : le théorème de Kolchin. Si tout élément du semi-groupe engendré par $A$ et $B$ est unipotent, alors la famille est cotrigonalisable. L’hypothèse de l’exercice ne porte que sur trois mots, ce qui est trop faible. Dans le contre-exemple, on vérifie que $A^{2}B=\begin{pmatrix}2&1&1\\-1&-1&2\\-1&-1&1\end{pmatrix}$ est de trace $2\neq 3$ : elle n’est pas unipotente, conformément à Kolchin.
• Critère exact. Le théorème de McCoy caractérise la cotrigonalisabilité d’une paire : $A$ et $B$ sont trigonalisables dans une même base si et seulement si $p(A,B)\,(AB-BA)$ est nilpotente pour tout polynôme $p$ en deux indéterminées non commutatives. Un seul mot ne suffit jamais.
• Un cas favorable. Si l’une des deux matrices vérifie $\operatorname{rg}(A-I_n)\leqslant 1$, la conclusion redevient vraie en toute dimension : les hyperplans $\ker(A-I_n)$ et $\ker(B-I_n)$ sont alors de codimension $1$ et $\leqslant n-1$, et un argument de dimension fournit un vecteur propre commun, puis on récurre sur le quotient. C’est ce qui explique que les perturbations de rang $1$ ne produisent pas de contre-exemple.