Montrons que
B=0ouB∈GLn(R).Si B=0, alors BA=0 pour toute A. Si B est inversible, l’égalité AB=0 donne A=ABB−1=0, donc BA=0.
Montrons qu’aucune autre ne convient.
Supposons B non nulle et non inversible, et posons r=rgB, de sorte que 1⩽r⩽n−1. Notons V=ImB et W=kerB.
Comme dimV=r⩽n−1, il existe un hyperplan H⊇V ; soit φ une forme linéaire non nulle de noyau H. Comme B=0, on a W=Rn ; choisissons u∈/W, c’est-à-dire Bu=0. Posons enfin
A=uφ,c’est-aˋ-direAx=φ(x)u.
Alors AB=0 : pour tout x, on a Bx∈V⊆H=kerφ, donc ABx=φ(Bx)u=0.
En revanche BA=0 : en choisissant x0 avec φ(x0)=1, il vient
BAx0=φ(x0)Bu=Bu=0.
La matrice B ne vérifie donc pas la propriété. ■