COSALI 2007-2010 « COSALI : COhorte des SAlariés LIgériens » Calcul d’un score à partir de la modélisation du risque d’incidence d’au moins un des 6 TMS F Le Marec1, Y Roquelaure1, C Ha2, et les médecins du travail3 du réseau TMS 1.LEEST - Unité associée InVS, IFR 132, Université d’Angers; 2. InVS - DST 3. Services de Santé au Travail de la région Réunion SMIEC, 16 Mai 2011

Devenir des 3710 patients de R3 dans COSALI

Incidence d’au moins 1 des 6 TMS Avoir au moins 1 des 6 TMS : 9,7% (9,5 % chez les hommes vs 10,1% chez les femmes)

Prédiction de l’incidence d’au moins 1 des 6 TMS Processus de modélisation à 3 étapes : 1ère étape : modèle logistique univarié entre chacun des facteurs de risque potentiels et la variable dépendante, p-value à 0,20. 2ème étape : modèle logistique multivarié par groupe de variables (facteurs individuels, professionnels, biomécaniques, organisationnels et psychosociaux), procédure pas à pas descendante, p-value à 0,10. 3ème étape : modèle logistique multivarié final à partir des variables conservées à la 2ème étape, procédure pas à pas descendante, seuil à 0,05.

Critères de validité d’un modèle de prédiction 1 – Calibration Accord entre fréquences observées et probabilités prédites 2 – Discrimination Capacité du modèle à distinguer les patients suivant le critère d’intérêt 3 – Utilité clinique Capacité du modèle à améliorer le processus de décision clinique Définitions : Fréquences observées : % de cas incidents observés dans l ’échantillon Probabilités prédites : % de risque prédit par le modèle que le patient soit un cas incident

Modèle de risque : Incidence d’au moins 1 des 6 TMS chez les hommes   n = 679 (dont 65 cas incidents) Score Eff Nb cas OR IC p Age <0.01 <40 399 26 1 40-49 233 34 2.5 1.5-4.4 4 ≥50 62 5 1.5 0.5-4.0 2 Intensité des efforts (Borg) <13 342 21 ≥13 337 44 2.4 1.4-4.2 Rythme imposé par demande extérieure 0.03 Non 379 31 Oui 300 1.8 1.0-3.0 Faible soutien des collègues 562 47 117 18 1.9 1.0-3.5 3 Un OR supérieur à 1 traduit un effet délétère. Méthode : Calcul d’un sous-score à partir des estimations des paramètres de chacun des facteurs Addition de ces sous-scores pour chaque individu pour former le score total Ex : Un patient ayant un score égal à 13 est un patient âgé de 40 à 49 ans, ayant une forte intensité des efforts physiques dans son travail, un rythme de travail imposé par une demande extérieure, et enfin un faible soutien social de ses collègues. + Score total … Distribution de l’échelle de score : N Moyenne Ecart-type Minimum Maximum 679 4.9 3.0 13

Calibration du modèle de risque Critère mathématique : Critère graphique : accord entre observations et prédictions Score 2 3 4 5 6 7 8 9 10 11 13 N 63 112 14 171 15 126 41 56 18 34 20 % de cas observés 12 16 17 24 25 33 % de cas prédits 22 26 36 Test de Hosmer et Lemeshow : Calcul de la distance entre les effectifs observés et les effectifs théoriques Si p < 0.05 : le modèle n’est pas adéquat. Ici : p = 0.98 % de cas prédits / % de cas observés Ex : un patient ayant un score de risque de 10 aura, selon le modèle, 22% de risque d’être atteint d’au moins 1 des 6 TMS, alors que l’on observe dans notre échantillon 24% de cas incidents. Le test fourni par le logiciel nous indique que le modèle est adéquat. Confirmation par le graphique Le % de risque prédit par le modèle augmente en fonction du score Il y a un bon ajustement entre les probabilités observées et les probabilités prédites.

Discrimination du modèle de risque Critère mathématique : AUC Critère graphique : distribution du risque suivant l’incidence   N Moyenne ± écart-type Pvalue Total 679 9.6 ± 6.4 Jamais atteints 614 9.1 ± 6.0 <0.01 Cas incidents 65 13.8 ± 8.2 Courbe ROC : Indicateur de la capacité du modèle à discriminer Si AUC = 0.5, il n’y a pas de discrimination Ici : AUC = 0.689 IC95% [AUC] = [0.62 ; 0.76]  stat fournie par le modèle Différence significative entre les moyennes de risque prédites par le modèle entre les cas « jamais atteints » et les cas « incidents » Mais chevauchement des boîtes à moustache  la discrimination est moyenne.

Utilité du modèle de risque Théorie Application Seuil Nb de patients Sensibilité (%) Spécificité (%) VPN (%) Score ≥ 0 679 100,0 0,0 - Score ≥ 2 616 96,9 9,9 96,8 Score ≥ 3 504 89,2 27,4 96,0 Score ≥ 4 490 29,6 96,3 Score ≥ 5 319 72,3 55,7 95,0 Score ≥ 6 304 69,2 57,8 94,7 Score ≥ 7 178 50,8 76,4 93,6 Score ≥ 8 137 43,1 82,2 93,2 Score ≥ 9 81 29,2 89,9 92,3 Score ≥ 10 63 24,6 92,0 Score ≥ 11 29 12,3 96,6 91,2 Score ≥ 13 9 4,6 99,0 90,7   Observations Prédiction par le modèle « atteint » « non atteint » Total « prédit atteint » VP FP VP+FP « prédit non-atteint » FN VN FN+VN VP+FN C+D N Sensibilité : capacité à prédire un évènement Spécificité : capacité à prédire un non-évènement Valeur Prédictive Positive Valeur Prédictive Négative Se = VP / VP+FN Sp = VN / VN+FP Commentaire : montrer que le choix d’un seuil se fait suivant un objectif prédéfini : intervention ou prévention. Plus on prend un score haut, moins bonne est la sensibilité, mais cela présente l’avantage de prendre en charge moins de patients. Il faut donc faire la balance entre le nombre de cas (Vrais Positifs) que l’on « loupe » et la baisse des coûts engendrés si l’on réduit l’effectif sur lequel on intervient. Si l’objectif est de détecter le plus de cas (VP) possibles, on aura intérêt à baisser le seuil de positivité. - Exemple 1 : Score ≥ 4 VPN = 96,3% ce qui représente 7 FN sur 189 patients prédits N On applique la politique choisie sur 490 des 679 patients (72% de l’échantillon). - Exemple 2 : Score ≥ 5 VPN = 95,0% ce qui représente 18 FN sur 360 patients prédits N On applique la politique choisie sur 319 des 679 patients (47% de l’échantillon).  Choix d’un seuil de positivité VPP = VP / VP+FP Score ≥ 4 Observations   Prédiction atteint non atteint Total 58 432 490 non-atteint  7 182 189 65 614 679 VPN = VN / VN+FN

Conclusion et perspectives Utilité d’un score de risque Choix entre une politique de prévention ou d’intervention Limites Discrimination moyenne Evènement prédit non homogène Perspectives Etablir une liste de métiers à risque ?

ANNEXES

Table de classification (modèle incident hommes) Score N VP VN FP FN SE SP VPN VPP 63 65 614 100,0% 0,0% - 9,6% ≥ 2 112 61 553 2 96,9% 9,9% 96,8% 10,2% ≥ 3 14 58 168 446 7 89,2% 27,4% 96,0% 11,5% ≥ 4 171 182 432 29,6% 96,3% 11,8% ≥ 5 15 47 342 272 18 72,3% 55,7% 95,0% 14,7% ≥ 6 126 45 355 259 20 69,2% 57,8% 94,7% 14,8% ≥ 7 41 33 469 145 32 50,8% 76,4% 93,6% 18,5% ≥ 8 56 28 505 109 37 43,1% 82,2% 93,2% 20,4% ≥ 9 19 552 62 46 29,2% 89,9% 92,3% 23,5% ≥ 10 34 16 567 49 24,6% 92,0% 25,4% ≥ 11 8 593 21 57 12,3% 96,6% 91,2% 27,6% ≥ 13 9 3 608 6 4,6% 99,0% 90,7% 33,3%

Table de classification (modèle incident hommes) Si l’on est dans une politique d’intervention, on veut limiter au maximum le nombre de faux positifs (ie augmenter Spécificité et VPP), on aura donc tendance à prendre un score haut comme seuil de positivité. Si l’on est dans une politique de prévention, on veut limiter le nombre de faux négatifs (ie augmenter Sensibilité et VPN), on aura tendance à baisser le seuil de positivité.

Modèle de risque : Incidence d’au moins 1 des 6 TMS chez les femmes   n = 481 Score Eff Nb cas OR IC p Age 0.02 <40 254 19 1 40-49 178 21 1.8 0.9-3.6 2 ≥50 49 9 3.3 1.3-7.9 5 Bras écartés du corps (plus de 4h/j) 0.04 Non 459 43 Oui 22 6 3.0 1.0-8.5 4 Torsion du poignet (plus de 2h/j) 0.01 344 26 137 23 2.3 1.2-4.2 3 + Score total … Distribution de l’échelle de score : N Moyenne Ecart-type Minimum Maximum 481 2.3 9

Modèle de risque : Incidence d’au moins 1 des 6 TMS chez les ouvriers   n = 456 Score Eff Nb cas OR IC p Age 0.02 <35 200 18 1 35-44 164 16 1.4 0.7-2.9 ≥45 92 17 2.9 1.4-6.1 4 Rythme de travail imposé par demande extérieure 0.03 Non 321 30 Oui 135 21 2.0 1.0-3.6 3 Collègues de travail en CDD 0.01 304 27 152 24 2.3 1.2-4.1 + Score total … Distribution de l’échelle de score : N Moyenne Ecart-type Minimum Maximum 456 3.1 2.3 10

Modèle de risque : Incidence d’au moins 1 des 6 TMS chez les employés   n = 341 Score Eff Nb cas OR IC p Age 0.05 <35 124 7 1 35-44 129 19 3.1 1.2-8.0 5 ≥45 88 11 2.7 1.0-7.4 4 Connaissance des tâches en embauchant 0.01 Oui 321 31 Non 20 6 4.1 1.4-11.7 Flexion/Extension du coude (plus de 2h/j) 0.02 257 23 84 14 2.5 1.2-5.3 + Score total … Distribution de l’échelle de score : N Moyenne Ecart-type Minimum Maximum 341 4.3 3.1 15

Modèle de risque : Incidence d’au moins 1 des 6 TMS chez les professions intermédiaires   n = 281 Score Eff Nb cas OR IC p Age 0.16 <35 89 4 1 35-44 104 8 2.0 0.6-7.1 3 ≥45 88 10 3.3 1.0-11.3 5 Mouvements de flexion du cou (plus de 4h/j) 0.04 Non 231 15 Oui 50 7 2.8 1.0-7.5 Intensité de l’effort physique (Borg) 0.01 <13 211 12 ≥13 70 1.3-8.2 + Score total … Distribution de l’échelle de score : N Moyenne Ecart-type Minimum Maximum 281 4.6 3.1 14