Cardinal de Hom(Dn,Dn)

Si on regarde le dessin ci-dessous, on voit que les cas $n$ pair et $n$ impair se distinguent clairement (classique pour le groupe diédral). Mieux : ce sont deux paraboles qui apparaissent, ce qui conduit à la valeur expérimentale :
\[\bigl|\mathrm{Hom}(D_n,D_n)\bigr|=\begin{cases}n^2+4n+4&\text{si $n$ est pair}\\
n^2+1&\text{si $n$ est impair.}\end{cases}\]

Essayons de justifier le résultat. Partons plutôt de la présentation de $D_n$ comme groupe de Coxeter par deux involutions $a$ et $b$ dont le produit est d'ordre $n$. Choisir un endomorphisme $f$ de $D_n$, c'est choisir deux éléments $f(a)$ et $f(b)$ dont l'ordre du produit divise $n$.

Rappel : si on voit $D_n$ comme groupe des isométrie d'un polygone régulier par exemple), il y a les réflexions, ou éléments « impairs », qui sont les produits d'un nombre impair de $a$ et de $b$ (ce sont des involutions), et les rotations, ou éléments « pairs », produits d'un nombre pair de $a$ et de $b$ (ils forment un groupe cyclique d'ordre $n$, leur ordre divise $n$).

Si $n$ est impair, il n'y a pas d'involutions paires et il y a $n$ involutions impaires (une réflexion par rapport à la médiatrice de chaque côté, si on veut). De plus, toutes les involutions impaires sont conjuguées. C'est géométriquement évident ; pour $a$ et $b$, par exemple, si $n=2k+1$, on a : $(ab)^{2k+1}=1$ donc $(ba)^kb(ba)^{-k}=a$. En particulier, $f(a)$ et $f(b)$ doivent être conjugués.
Pour définir un morphisme, deux cas : soit $f(a)$ et $f(b)$ sont des involutions impaires, ce qui donne $n^2$ choix ; soit $f(a)=f(b)=1$, ce qui fait un choix de plus. Cela justifie le résultat nombre $n^2+1$.

Si $n$ est pair, $a$ et $b$ ne sont pas conjugués, il y a $1$ élément pair d'ordre $2$ (géométriquement, le demi-tour), d'où les façons suivantes de définir un endomorphisme :

• $f(a)$ et $f(b)$ tous deux impairs : $n^2$ choix ;
• $f(a)$ impair et $f(b)$ l'involution paire ou vice-versa : $2n$ choix en tout ;
• $f(a)$ impair et $f(b)=1$ ou vice versa : $2n$ choix en tout ;
• $f(a)=f(b)=$ demi-tour : $1$ choix ;
• $f(a)$ = demi-tour et $f(b)=1$ ou vice versa : $2$ choix ;
• $f(a)=f(b)=1$ : $1$ choix.

D'où $n^2+4n+4$ choix en tout.