Bonjour,
Pour $n=2$ ton exemple est bon.
En général, je vois deux cas. Si toutes les matrices de ce sev sont nilpotentes, alors il faut trouver le plus grand sev contenu dans le cône nilpotent. A conjugaison près, ce sont les matrices triangulaires supérieures à diagonales nulle donc de dimension $\frac{n(n-1)}{2}$.
On remarque que les sev vérifiant la propriété que tu mentionnes forment un ensemble stable par automorphismes de $\mathcal{M}_n(\mathbf{R})$.
Sinon (si il y a une matrice de carré non nul dans ce sev), (on se place sur $\mathbf{C}$ pour fixer les idées, en fait on va juste extraire des racines carrées donc un corps quadratiquement clos de caractéristique $\neq 2$ suffit pour ce qui suit), il y a une matrice $M^2=aI_n$ avec $a$ non nul, donc on peut diagonaliser $M$. Quitte à multiplier par un scalaire, les valeurs propres sont $\pm 1$.
Deux cas (essentiellement) :
1. si 1 est la seule valeur propre, on peut supposer que $I_n$ est dans ce sev, et calculant $(M+I_n)^2$ pour une matrice de ce sev, on voit qu'il est égal à $\mathbf{C}I_n$ donc de dimension $1$.
2. Sinon, on a dans ce sev (en se permettant un automorphisme intérieur éventuellement) une matrice de la forme
$$
A=\begin{pmatrix}
I_p&0\\
0&I_q
\end{pmatrix},
$$
et en calculant à nouveau $(M+A)^2$, on voit que les matrices de ce sev sont de la forme
$$
\begin{pmatrix}
aI_p&B\\
C&-aI_q
\end{pmatrix},
$$
avec $p+q=n$.
Donc la dimension vaut ici $1+2pq$, quantité qu'il suffit maintenant de majorer en ajustant $p$. Au maximum, elle vaut alors $1+\frac{n^2}{2}$ si $n$ est pair, $1+\frac{n^2-1}{2}$ si $n$ est impair. Dans les deux cas, on est meilleur que dans celui avec que des matrices nilpotentes.
Si $char(k)\neq 2$, $k$ désigne le corps de base, on obtient facilement une majoration par les même quantités que ce-dessus par extension des scalaires et en utilisant le fait qu'une matrice vérifiant $M^2=\lambda I_n$ est diagonalisable dans une extension quadratique. Par le même raisonnement, si le sev $V$ contient une matrice avec $M^2=\lambda I_n$ avec $\lambda$ un carré dans $k$, le raisonnement précédent s'applique.
Il reste un truc à voir, je ne sais pas encore, mais soit on redescend au corps de base pour montrer que les mêmes majorations sont valables (nécessaire si le sev ne contient que des matrices vérifiant $M^2$ est soit nul, soit égal à $\lambda I_n$ avec $\lambda$ non carré dépendant de $M$.
