Recommandations diverses

Pour les probabilités et la théorie de la mesure il y a l'excellent De l'intégration aux probabilités de Garet-Kurtzmann, et j'aime aussi beaucoup Probabilités pour les non probabilistes d'Appel (qui, contrairement à ce que peut laisser penser son titre, est parfaitement rigoureux et complet).

Pour les stats, je passe mon tour, je n'y connais essentiellement rien.

Pour la question sur les théorèmes d'incomplétude, je ne peux que te recommander le livre Théorie des ensembles de Patrick Dehornoy, qui aborde en grand détail ces théorèmes, et énormément d'autres choses passionnantes.

Pour le lien entre Grothendieck et l'intégration, la légende dit simplement qu'il a "redécouvert" l'intégrale de Lebesgue par lui-même (la fameuse "découpe verticale au lieu d'horizontale"). Je ne sais pas trop pourquoi tu penses qu'un livre serait consacré à cette anecdote.