Endomorphisme de l'espace des matrices

Pour la première question, la réponse est non, car les contraintes sont assez fortes (je suppose $t\neq 0$, $t\neq 1$ et je l'omets dans les matrices).

• Sur l'identité $\varphi_{t}(I_{n})=M_{1}M_{2}=tI_{n}$, on voit déjà que $M_{1}$ et $M_{2}$ sont inversibles et $M_{1}^{-1}=\frac{1}{t}M_{2}$.
• Comme $\varphi_{t}(M_{2})=tM_{2}$ (et de même pour $M_{1}$), les deux matrices sont diagonales (les coefficients extra-diagonaux étant inchangés par hypothèse) et $m_{1}(ii)m_{2}(ii)=t$.
• Enfin, $\varphi_{t}(A)_{ij}=m_{1}(ii)a_{ij}m_{2}(jj)$ entraîne la condition $m_{1}(ii)m_{2}(jj)=1$ si $i\neq j$, ce qui impose $m_{1}(ii)=\frac{t}{m_{2}(ii)}=tm_{1}(jj)=...=t^{2k}m_{1}(ii)$. C'est impossible à moins d'avoir tous les coefficients nuls, ce qui est exclu.

Le cas $t=0$ peut se traiter exactement de la même façon: $M_{1}M_{2}=0$ puis $\varphi_{0}(M_{2})=0=\varphi_{0}(M_{1})$ donc les matrices sont diagonales et enfin contradiction avec $m_{1}(ii)=0$.
Le cas $t=1$ n'est pas intéressant et fonctionne pour tous les couples $(\lambda I_{n}, \lambda^{-1} I_{n})$.

Je ne sais pas caractériser ces applications linéaires en général, mais on peut toujours essayer de mieux les connaître sur des matrices simples (diagonales, diagonalisables, trigonalisables) et passer par densité (car le produit est continu).

Y a t-il des raisons de chercher la première fonction sous cette forme ?

Une autre suggestion : en transformant la matrice $X$ en un vecteur colonne d'ordre $n^2$ soit $Y$, l'équation $AX-XB=\lambda X$ devient $CY=\lambda Y$ où $C$ est une matrice d'ordre $n^2$ qui dépend de $M_1$ et $M_2$. L'équation aux valeurs propres devient l'équation aux valeurs propres de $C$. Pour le calcul des coefficients de $C$, et bien, je n'ai pas la patience d'essayer. Même méthode pour obtenir l'image de l'application $A\mapsto M_1 A M_2$