Ordre moyen

Ne voulais-tu pas plutôt écrire $\displaystyle \sum_{n \leqslant x} f(n)$, et pareil pour les autres ?

Ta première écriture laisse supposer que tu cherches à manipuler des (sommes de) séries de fonctions arithmétiques, lesquelles n'ont pas de raison d'exister (elles n'existent d'ailleurs pas pour bon nombre de fonctions arithmétiques usuelles).

Quant à ta question initiale, suppose que, pour $x \to \infty$
$$\sum_{n \leqslant x} f(n) = x + o(x) \quad \textrm{et} \quad \sum_{n \leqslant x} g(n) = x^2 + o(x^2)$$
alors tout ce qu'on peut dire dans une telle généralité, c'est
$$\sum_{n \leqslant x} h(n) = -x^2 + o(x^2).$$

Tu t'attaques à quelque chose de plutôt compliqué : en général, lorsque $\gamma(n)$ est au dénominateur, les choses risquent de ne pas être simple (voir en bas). Voilà ce que l'on peut en dire toutefois.

1. Je pose $f(n) = \varphi(n/\gamma(n))$, $s_2(n)$ la fonction caractéristique des entiers $2$-pleins et $g(n) = s_2(n) \varphi(n) \gamma(n)^{-1}$.

2. Puisque $f \left( p^\alpha \right) = 1$ si $\alpha = 1$ et $f \left( p^\alpha \right) = \frac{1}{p} \varphi \left( p^\alpha \right)$ si $\alpha \geqslant 2$, on a
$$f(n) = \frac{\varphi(b)}{\gamma(b)}$$
où $n=ab$ avec $(a,b)=1$, $a$ entier $2$-libre et $b$ entier $2$-plein. Ainsi
$$\sum_{n \leqslant x} f(n) \leqslant \sum_{b \leqslant x} \frac{s_2(b) \varphi(b)}{\gamma(b)} \sum_{a \leqslant x/b} \mu(a)^2 \leqslant x \sum_{b \leqslant x} \frac{s_2(b) \varphi(b)}{b \gamma(b)} = x \sum_{b \leqslant x} \frac{g(b)}{b}.$$

3. On a donc ramené le problème à l'étude de $g$. Pour ce faire, on peut commencer par calculer sa série de Dirichlet : pour tout complexe $s = \sigma + it$ tel que $\sigma > 1$, on trouve facilement
$$L(s,g) = \frac{1}{\zeta(s)} \prod_p \left( 1 + \frac{1}{p^s-p} \right).$$
Cette série de Dirichlet incite a introduire la fonction multiplicative $h := g \star \mathbf{1}$. Des calculs usuels montrent que $h(n) = \frac{n}{\gamma(n)}$ et donc, pour tout $x>1$
$$\sum_{n \leqslant x} \frac{g(n)}{n} = \sum_{d \leqslant x} \frac{h(d)}{d} \sum_{k \leqslant x/d} \frac{\mu(k)}{k} = \sum_{d \leqslant x} \frac{1}{\gamma(d)} \sum_{k \leqslant x/d} \frac{\mu(k)}{k}.$$
L'estimation triviale $\left | \sum_{k \leqslant y} \frac{\mu(k)}{k} \right | \leqslant 1$ entraîne que
$$\sum_{n \leqslant x} \frac{g(n)}{n} \leqslant \sum_{d \leqslant x} \frac{1}{\gamma(d)}.$$
Cette somme vient d'être tout récemment obtenue par Tenenbaum et Robert à l'aide de la méthode du col. En utilisant leur résultat, on voit que
$$\sum_{n \leqslant x} \frac{g(n)}{n} \ll \exp \left({\sqrt{\frac{8 \log x}{\log \log x}}} \right) \log \log x$$
et donc, sauf erreur bien entendu
$$\sum_{n \leqslant x}f(n) \ll x \exp\left({\sqrt{\frac{8 \log x}{\log \log x}}} \right) \log \log x.$$

Remarque. En utilisant une estimation plus forte pour la fonction de Möbius, du genre
$$\sum_{n \leqslant x} \frac{\mu(n)}{n} \ll \frac{1}{(\log ex)^2}$$
(ou n'importe quelle autre puissance), on devrait pouvoir gagner quelques facteurs log, mais ce n'est pas trivial et il y a du boulot.

Merci pour le relevé des coquilles et autres habituels copié-coller malheureux.

Heureusement que tu as la patience de tout relire...

Edit : j'ai simplifié le texte pour le rendre plus facile à lire et plus correct, aussi...