Retrouver des données manquantes

Je ne suis pas sûr d'avoir bien compris. Il ne s'agit pas vraiment d'un exercice scolaire, c'est plutôt dans le cadre d'une approche méthodologique.

Je suis d'accord avec toi Gerard, que c'est difficile d'avoir une information qui reflète la réalité.

Mais malheureusement je ne peux pas changer mon échantillon. D'ailleurs ta remarque est pertinente concernant les copies du bac où les notes vont varier en fonction du temps passé dessus.

Disons, que dans mon exemple, il s'agit d'un tirage aléatoire des copies, et que mon échantillon est plutôt représentatif de l'ensemble de la population.

Je connais les notions d'intervalle de confiance de la moyenne, et l'écart type, mais mon but c'est de pouvoir reconstituer les notes manquantes même si cela n'est pas juste statistiquement.

Par exemple utiliser mon écart type pour répartir les notes manquantes. Mon raisonnement est le suivant, à partir de mon échantillon, je sais que les données sont dispersées de tant autour de ma moyenne, du coup je réutilise cette information pour dire que les notes manquantes vont avoir la même dispersion par rapport à la moyenne. C'est possible de faire ça ?

J'ai conscience que je vais attribuer un biais à mon échantillon, mais j'ai besoin que mes données soit complètes.

Après peut-être qu'il existe une autre méthode statistique (machine learning ?), qui utiliserait toutes les informations dont je dispose concernant ces élèves pour pouvoir attribuer une note, mais pour l'instant j’essaie de trouver quelque chose d'assez simpliste, et pas compliqué à mettre en place.

Je ne pensais pas avoir autant de réponses.

Merci beaucoup pour ces échanges, malheureusement nombreux sont sarcastiques. Vous pouviez très bien dire que ce n'est pas possible sans forcément tourner en dérision mon exemple.

Et si pour vous 40 % de valeur manquantes est un nombre trop important, on peut diminuer à 25%.

Ça reste un exemple.

Bonjour

jma : Je ne suis pas sûr de bien avoir compris ton dernier message. Tu veux que je réexplique mon problème ?

J'ai l'impression que tu as un doute sur mes intentions.

et ce que tu vas faire des réponses possibles ?

@lourran

Je suis d'accord avec toi, mon problème est mal posé et ça doit venir du fait que dans ma problématique (Comment attribuer des valeurs manquantes dans une série statistique ?), j'ai plusieurs cas de figure possibles.

Ainsi, mon premier post était peut-être le cas le plus difficile, où je n'ai uniquement la note moyenne et l'écart type de mon échantillon. Et à partir de ces informations, je dois retrouver les notes manquantes.

Ensuite pour les autres cas, je peux avoir des informations supplémentaire, par exemple je connais le min et le max de l'ensemble des notes. Donc la question serait plutôt, quelles vont êtres les notes manquantes en sachant que les notes se situent entre telle et telle valeur.

Tout ça pour dire, qu'en fonction de la situation, j'ai besoin de déterminer la méthode qui conviendrait le mieux pour retrouver ces valeurs manquantes.

Bonsoir jma

J'en profite comme c'est Vendredi pour te répondre, et si c'est un jour où tu es ultra zen alors mieux vaut en profiter.

Quel est mon objectif dans tout cela, c'est de pouvoir constituer une base de données complètes à partir d'information partielle.

Je prends un exemple quelconque, je vais sur internet et je souhaite réserver une chambre d'hôtel. Je regarde les disponibilités des chambres, ce qui donne mon échantillon. Maintenant je me pose la question concernant les chambres qui ne sont pas disponibles et donc qui n'apparaissent pas sur le site, est-ce que je suis en mesure de deviner leurs caractéristiques à partir de mon échantillon.

Du coup, je pourrai donner pleins d'exemples dans tous les domaines possibles, est-ce que je peux deviner le stock des produits d'un magasin, les patients dans un hôpital...

Je sais pas si ça vous aide plus à comprendre ce que j'essaie de faire.

Et encore merci pour ces échanges très enrichissant

@marsup

Je crois avoir compris ton énigme. En lançant le dé la probabilité d'obtenir un nombre entre 1 et 6 reste là même. Elle ne dépend pas des 99 résultats obtenus précédemment.

@ jma

Oui je suis désolé si j'ai mal formulé mon problème je pense que j'étais trop focalisé sur une méthode plutôt que de vouloir exposer de façon explicite ma problématique.

Donc si je reviens à mon exemple sur les chambres d'hôtel. D'abord je cherche à connaître la composition des chambres de l'hôtel. Combien il y a de chambres simple, double,triple...
Ceci me permet déjà de catégoriser les chambres en fonction du nombre de lits.

Ensuite ce que je cherche à déterminer ça va être la superficie des chambres selon la catégorie.
Je pars du principe que la superficie varie selon un certain ordre de grandeur. De manière générale les superficies vont êtres proches, à part peut-être une chambre d'exception qui aura une superficie totalement différente des autres.

L'idée n'est pas d'obtenir une valeur exacte mais qui se rapproche, je m'autorise à me tromper lorsque j'aurai déterminé la valeur à ma chambre d'hôtel.

Un autre exemple m'est venu en tête, je cueille des tomates dans mon jardin et je remplis un bac de ces tomates. Ensuite en rapportant ce bac à ma maison, je trébuche et je fais tomber quelques tomates au sol qui malheureusement s’aplatissent.
Est-ce que je suis en mesure de savoir quels pouvaient être leur taille, leur poids ?

@ lourrran
J'ai apprécié ton approche, et c'est ce que j'avais en tête. Je te remercie au passage.
C'est-à-dire de déterminer un intervalle de confiance de la moyenne calculée, pour avoir les bornes dans lesquelles, à un certain niveau de confiance, je sais que les valeurs manquantes se situent dedans.

Après je voulais appliquer une règle toute bête et qui n'est pas statistique, par exemple utiliser l'écart-type de mon échantillon que je divise par le nombre de valeurs manquantes et j'ajoute cela de chaque côté de l'intervalle.

Est-ce qu'il n'existerait pas une équation pour trouver les valeurs comprises dans l'intervalle, en utilisant l'écart type estimé ? C'était un peu ça mon exemple des notes. Après je rejoins tout à fait le principe que l'échantillon doit être représentatif de la population, et retrouver justement cette symétrie par rapport à la moyenne.
Étant donné qu'on se place sur un intervalle bilatéral. Si j'ai mes notes les plus basses ou les plus hautes, ça ne marchera pas.

@jma
Merci également pour ton implication, je me suis donc intéressé à la modélisation et les différentes méthodes qui existent.
Si je reprends mon exemple des chambres d’hôtels, il y a plusieurs approches possibles.

Si je devais estimer les caractéristiques des chambres qui sont déjà réservées, je partirais sur une classification des hôtels en fonction de leur type de chambres. Et ainsi établir un rapprochement entre les hôtels et appliquer les caractéristiques de l'un par rapport à l'autre, lorsque j'ai une exhaustivité sur un hôtel.

Du coup la première problématique qui me vient à l'esprit c'est de trouver une classification des chambres d'hôtels selon leur superficie ?
Si je reformule, pour chaque type de chambres (simple, double, triple...), qu'est-ce que peut faire varier la taille des chambres (la localisation, le nombre d'étoile, la marque hôtelière...)

Malheureusement j'ai un blocage technique pour réaliser cette classification, est-ce que vous pourriez m'aider à utiliser cette méthode.

Je vous remercie encore pour votre aide, grâce à vous j'apprends des nouvelles choses.
Au plaisir de vous lire.

Re;

@jma Du coup, je me suis intéressé à la méthode de classification hiérarchique ascendante, que je trouve super intéressante. Le souci c'est que je n'arrive pas à l'adapter à mon exemple.
La vidéo que j'ai regardée concernait la classification de villes en fonction des températures observées durant plusieurs mois. Du coup ce qui donne un ensemble de variables quantitatives pour déterminer des classes.

Mais du coup, par rapport à mon exemple (celui des chambres d'hôtels), j'aurai un mélange de variables quantitatives (superficie,loyer,nombre d'étoiles...) et d'autres qualitatives (localisation,marque de l'hôtel...).

Du coup comment je fais pour adapter la classification lorsque j'ai un mélange de variables quali et quanti. J'ai vu dans les explications qu'il fallait transformer les qualis en quantis ou inversement, mais je ne vois pas comment c'est possible dans mon exemple.

Est-ce qu'il faut faire 2 classifications, une avec uniquement des variables qualitatives et l'autre avec des quantis ?

Merci de ton aide.

Bonjour, @jma
Merci pour ces explications.
J'aimerais bien mettre en application les méthodes que tu as décrites.
Du coup, je vais essayer de décrire concrètement la base de données que je vais utiliser.

Mes données sont les suivantes.
Nom de l'hôtel : Hôtel 1
Marque : marque 1
Localisation : Paris
Nombre d'étoiles : 3
Type de chambre : double
Superficie : 30 m²
Prix : 250 € / nuit
Etage : 4
Wifi : oui
Télévision : oui

Donc ça c'est l'exemple pour une chambre de l'Hotel 1, marque 1. Du coup pour chaque chambre j'aurai les même infos sur l'hôtel, il n'y aura que les informations sur les caractéristiques de la chambre qui seront différentes (type, superficie, prix, étage, wifi, télévision).
Ainsi, mon approche est de pouvoir expliquer la variable superficie de la chambre d'hôtel. Qu'est ce qui peut faire varier la superficie ?

Je sais d'avance que le type de chambre est corrélé à la superficie, c'est déjà une classe en soi, puisque qu'une chambre double sera plus grande qu'une chambre simple.
Mais ce qui m'intéresse c'est pour chaque type de chambre, est-ce que la superficie varie d'un hôtel à l'autre, d'une ville à l'autre...
Les données sont exhaustives, c'est-à-dire que je me base sur des informations dont je connais toutes les caractéristiques des chambres d'hôtel, s'il me manque une information, je l'ignore de mon échantillon.

Est-ce que c’est plus clair ?