| Surajustement et arguments | |
|
|
Auteur | Message |
---|
poupou2
Nombre de messages : 16 Localisation : Paris Date d'inscription : 29/05/2006
| Sujet: Surajustement et arguments Mer 25 Oct - 19:53 | |
| Bonjour,
Je fais beaucoup de modèle de régression (là il s'agit de corrélations partielles) et on me demande d'ajuster les résultats. Comment expliquer et justifier à une personne qui adooore ajuster sur pleins de paramètres que ça n'est pas si bon que ça et que plus on ajuste, plus on "fausse" les résultats ?
Merci par avance | |
|
| |
Invité Invité
| Sujet: Re: Surajustement et arguments Jeu 26 Oct - 10:55 | |
| salut,
tu voudrais pas donner un exemple, ça pourrait nous donner des idées? |
|
| |
poupou2
Nombre de messages : 16 Localisation : Paris Date d'inscription : 29/05/2006
| Sujet: Re: Surajustement et arguments Jeu 26 Oct - 15:39 | |
| Par exemple, je fais des corrélations partielles (PROC CORR sous SAS, avec option partial) Je veux le lien de Y1 avec Y2, ajusté sur des paramètres, disons age, taille et d'autres. Comment expliquer qu'il n'est pas "correct" de mettre pleins de paramètres dans cette option partial?
Je ne sais pas si j'arrive à me faire comprendre.
Idem pour les régressions linéaires. Expliquer Y en fonction de X, en ajustant sur pleins d'autres paramètres : age, sexe, taille et beaucoup d'autres.
J'aimerais un argument qui permette de mettre un frein à cet "overfitting".
Dernière édition par le Mar 16 Jan - 11:57, édité 1 fois | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: Surajustement et arguments Jeu 26 Oct - 18:42 | |
| Bonjour,
Tu ne semblais pas si loin de la "réponse" lorsque tu parlais d'overfitting. C'est en effet ce qu'il faut considérer. Il faut se placer dans une situation où il n'y a pas d'underfitting, ni d'overfitting. Il s'agit du principe de parcimonie, duquel on peut faire l'analogie avec la théorie du rasoir d'Occam signifiant d'enlver tout ce qui est inutile.
Il existe deux tendances dans le monde scientifique. On peut effectuer des tests d'hypothèses pour voir si l'introduction d'une variable est significative (test de Wald standard, test du ratio des vraisemblances, etc.) Par contre, comme l'a déjà démontré Freedman (1983), on peut trouver des variables significatives dans un grand échantillon, même si celles-ci sont indépendantes des données !
L'autre tendance est l'utilisation de critères d'information minimisant la distance Kullback-Liebler, duquel le critère classique d'Akaike (AIC) a été tiré.
En bref, la modélisation statistique peut être considérée comme un art puisqu'il faut savoir quand arrêter d'en faire pour ne pas trop ajuster le modèle (à la limite, un paramètre par observation répliquerait identiquement l'échantillon que tu as...) afin d'avoir un équilibre entre le biais et la variance.
... et, on n'inclut pas de paramètres qui sont stupides (à moins d'une très grande significativité)... | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: Surajustement et arguments Lun 15 Jan - 22:41 | |
| Bonjour,
Auriez-vous la référence de ce résultat de Freedman ? | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: Surajustement et arguments Lun 22 Jan - 18:29 | |
| - stokastik a écrit:
- Bonjour,
Auriez-vous la référence de ce résultat de Freedman ? A note on screening regression equations, The American Statistician, 37 p.152-155 Je ne suis pas certain qu'il s'agit d'une "super référence", mais elle était cité dans l'extrait que j'ai un peu recopié plus haut. En gros, ce que cela veut dire, c'est que dans une grosse base de données, on peut presque trouver toutes les relations qu'on veut... | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: Surajustement et arguments Mar 23 Jan - 8:57 | |
| Merci En cherchant je soupçonnais que ce soit cet article. Malheureusement je ne l'ai pas trouvé à la biblio de la fac Justeùent j'aimerais comprendre avec précision le sens mathématique de ce résultat. | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: Surajustement et arguments Mar 23 Jan - 13:14 | |
| Tu peux probablement avoir accès à ce site internet sécurisé si tu prends un ordinateur de l'université:
http://links.jstor.org/sici?sici=0003-1305(198305)37%3A2%3C152%3AANOSRE%3E2.0.CO%3B2-R
Ce site, JSTOR, renferme plusieurs revues de statistiques, tout comme sciencedirect.com
Toutefois, il faut etre abonné à ces revues (très cher). Souvent, les universités ont accès.
Comme je te disais, ne focalise pas trop sur l'article mais comprends plutôt la logique sous-jacente... | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: Surajustement et arguments Mar 23 Jan - 15:00 | |
| Salut, L'univ n'a pas accès à JSTOR - Citation :
- Comme je te disais, ne focalise pas trop sur l'article mais comprends plutôt la logique sous-jacente..
. Je suis du genre à ne pas comprendre (ou alors à ne pas être satisfait) tant que ce ne sont pas des mathématiques rigoureuses. | |
|
| |
Contenu sponsorisé
| Sujet: Re: Surajustement et arguments | |
| |
|
| |
| Surajustement et arguments | |
|