Calibration et discrimination

Bonjour

Une question fait débat au travail et j'aimerais si possible avoir votre avis.

Dans un cours de stat j'ai noté : "quand on cherche à quantifier des associations le critère de qualitée du modèle est la calibration (test Hosmer and Lemeshow) et qd on cherche à prédire on s'intéresse à la discrimination (aire sous la courbe roc)."

Dans mon cas, j'ai un modèle qui doir prédire un nombre de cas. Pour moi je ne regarde donc QUE la discrimination. Est ce bien ca? ou je dois tout de meme accorder de l'importance au test de H.and L.? Nous nous posons cette question car nous avons ce que nous voulons avc l'air sous la courbe roc mais le test de hosmer et lemeshow rejette la bonne adéquation. Moi cela ne me dérange pas trop (enfin quand meme) mais ce n'est pas l'avis de tout le monde.

Je précise juste que nous avons volontairement ajusté que sur certains facteurs et ignoré d'autres (et nous ne pouvons pas vraiment revenir sur ce choix au risque d'aller à l'encontre de la philospohie du modèle) donc nous pouvons penser que cette mauvaise calibration vient de là.


Voilou jespere avoir été assez clair
Votre aide serait vraiment la bienvenue

Bonjour hita,

Avant d'aller plus loin, je te conseille de remettre d'abord en cause la qualité de la discrimination. L'aire sous la courbe ROC est un bon indicateur, mais comment l'as-tu calculé ? Sur l'échantillon d'apprentissage, sur un échantillon test (de quel taille?) ? en validation croisée? ...

Si tu l'as calculé sur l'échantillon d'apprentissage, c'est une grosse erreur. L'aire sous la courbe sera forcément très optimiste...

Peux-tu éclaircir ce point ?

a bientôt.

bonjour enzo,


en faite je vois tres bien ce que tu me dis (il me semble qu'on en avait parlé dans un précédent post sur l'autre fofo). Le critère a été évalué sur l'echantillon de developpement meme, mais c'est fait expres...

Je ne peux pas m'etaler sur le sujet sur lequel je boss (ca me prendrais trop de temps et c vraiment difficile d'expliquer le pourqoui du comment du choix de cette méthode en qq phrase ) mais je travail sur un indicateur standardisé permetttant de rendre comparable des services entre eux pour des mesures de taux d'infection (en standardisant sur les caractéristiques patients). Le but etant de detecter grace a cet indicateur des services ayant des taux extremes du fait d'un environement de soins en particulier(pratiques de soins, structure hospitaliere etc...) et non d'un recrutement particulier.

tout ca pour dire que j'ai la reponse a ma question:
la discrimination est plus importante(et on sait qu'elle est optimiste) et la calibration a moins d'importance ici (et on ne s'attend pas a quel soit optimum vu que le modele n'est pas ajusté au maximum de ses possibiltées). Le sujet sur lequel je travaille est assez recent et il reste bcp a faire (mais mon stage est fini).
Une publication est en cours si cela t'interesse pour la méthodo on peu s'arranger pour que je te fasse parvenir de la doc (mais c pas pour tout de suite loin de la)

voila

merci a toi enzo pour ton post

bonne journée