Notons $[B,X]=BX-XB$ pour toute matrice $X$. Soit $C=A-B$. On a $[B,C]=P(C)$ où $P(C)=(I-C)(C+2I)$. On en déduit par récurrence sur $k$ que $[B,C^k]=kC^{k-1}P(C)$, donc pour tout polynôme $Q$, $[B,Q(C)]=Q'(C)P(C)$.
Soit $\lambda$ une valeur propre de $C$, et $x$ un élément de l'espace caractéristique $F_\lambda(C)=\ker (C-\lambda I)^k$ correspondant. Alors $(C-\lambda I)^{k+1}(Bx)=-(B(C-\lambda I)^{k+1}-(C-\lambda I)^{k+1} B)x=-(k+1)P(C)(C-\lambda I)^{k}x=0$, donc $F_\lambda(C)$ est stable par $B$ (et aussi évidemment par $C$).
On se ramène ainsi à traiter le cas où $C=\lambda I+N$ avec $N$ nilpotente. On a alors $[B,C]=R(N)$ où $R$ est un polynôme. Comme $[B,C]$ a une trace nulle, $R(0)=0$ donc $R(N)=[B,C]=[B,A]$ est nilpotente.
@JLT : Belle démonstration (qui semble tout droit sortie d'un exercice sur les algèbres de Lie...)
Tu penses qu'il y a moyen d'éviter le passage par les espaces caractéristiques ?
@bisam : on peut aussi procéder ainsi. Soit $Q$ le polynôme minimal de $C$ (où $C$ désigne toujours $A-B$).
Comme dans mon message précédent, on montre que $[B,Q(C)]=Q'(C)P(C)$, donc $(Q'P)(C)=0$. Par conséquent, $Q$ divise $Q'P$. On en déduit que toute racine de $Q$ est une racine de $P$ (car si $\lambda$ était une racine de $Q$ qui n'est pas une racine de $P$, alors la multiplicité de $\lambda$ dans $Q'P$ serait strictement inférieure à celle de $\lambda$ dans $Q$). Par conséquent, il existe $k$ tel que $Q$ divise $P^k$, et donc $[B,A]^k=[B,C]^k=P(C)^k=0$.
Réponses
Je ne sais pas si cela peut servir, mais en tenant compte de la relation donnée, je trouve que
$W=AB-BA=(A-B+2I)(A-B-I)$.
Alain
Pour voir si W est nilpotente je voulais montrer que
$tr(w^k)=0$ pour tout k >0 entier .
Mais je bloque pour établir $tr(w^2)=0$
Soit $\lambda$ une valeur propre de $C$, et $x$ un élément de l'espace caractéristique $F_\lambda(C)=\ker (C-\lambda I)^k$ correspondant. Alors $(C-\lambda I)^{k+1}(Bx)=-(B(C-\lambda I)^{k+1}-(C-\lambda I)^{k+1} B)x=-(k+1)P(C)(C-\lambda I)^{k}x=0$, donc $F_\lambda(C)$ est stable par $B$ (et aussi évidemment par $C$).
On se ramène ainsi à traiter le cas où $C=\lambda I+N$ avec $N$ nilpotente. On a alors $[B,C]=R(N)$ où $R$ est un polynôme. Comme $[B,C]$ a une trace nulle, $R(0)=0$ donc $R(N)=[B,C]=[B,A]$ est nilpotente.
Edit : confusion entre $W$ et $C$ corrigée.
Peux-tu détailler.
Initialement on cherche à voir si W est nilpotente.
@Alain je trouve W=(A-B+2I)(A-B-I)+2I
AD
Tu penses qu'il y a moyen d'éviter le passage par les espaces caractéristiques ?
@bisam : on peut aussi procéder ainsi. Soit $Q$ le polynôme minimal de $C$ (où $C$ désigne toujours $A-B$).
Comme dans mon message précédent, on montre que $[B,Q(C)]=Q'(C)P(C)$, donc $(Q'P)(C)=0$. Par conséquent, $Q$ divise $Q'P$. On en déduit que toute racine de $Q$ est une racine de $P$ (car si $\lambda$ était une racine de $Q$ qui n'est pas une racine de $P$, alors la multiplicité de $\lambda$ dans $Q'P$ serait strictement inférieure à celle de $\lambda$ dans $Q$). Par conséquent, il existe $k$ tel que $Q$ divise $P^k$, et donc $[B,A]^k=[B,C]^k=P(C)^k=0$.