Centre de recherche sur le vieillissement Les profils ISO-SMAF : Nouvelle validation et évolution des participants à l'étude après un an Nicole Dubuc, Inf, PhD Réjean Hébert, MD, MPhil Lise Trottier, Stat, MSc Carole Coulombe, MSc Welcome to this presentation regarding a new validation study of the disability based casemix employed in the Prisma project Centre de recherche sur le vieillissement

CONTEXTE Développement d’un système de classification basé sur le profil d’autonomie fonctionnelle. Utiles à la gestion clinique et administrative. Base de données : échantillon stratifié à plusieurs niveaux de 1977 personnes de 65 ans et plus, en perte d’autonomie (SMAF  4). vivant à domicile, en ressources intermédiaires (RI) et en centres d’hébergement. vivant en zone métropolitaine, urbaine et rurale. In 1998, a disability-based casemix useful for clinical practice and health services management of long term care has been developed. For the development of this casemix we use the data that came from a stratified multistage sampling of 1977 elderly people with disability living in different environments from home to long-term care institutions and from different regions of Quebec (metropolitan, urban and rural) .

CONTEXTE 14 profils d’incapacités: Profils ISO-SMAF construit en soumettant les 29 items du Système de mesure de l’autonomie fonctionnelle (SMAF) à une analyse de classification automatisée traditionnelle (cluster analysis). plusieurs étapes de validation spécifiques et rigoureuses ont confirmé la validité et la fidélité de la classification. As method of classification we chose cluster analysis methods. Thus, the 29 items of the Functional Autonomy Measurement System were submitted to cluster analysis. These analysis permitted to establish 14 ISO-SMAF profiles and a specific procedure of validation was applied to confirm that this classification was valid and reliable.

CONTEXTE L’analyse de classification automatisée est une méthode utile permettant de conserver toutes les informations. Cependant, des mesures, des algorithmes et des échantillons différents peuvent avoir des conséquences sur les résultats. Lors du développement d’une classification, la validation devient un processus itératif nécessaire à l’actualisation du système. In medical domain, Cluster analysis is a useful technique for classify a large number of people into small groups in which members have the same characteristics. So the elderly experiencing disability can be more easily understood and information retrieved more efficiently. However, it is also well recognized that different measures, different algorithms and different samples can affect the results and this is why we need to consider that and replicate the analysis under varying conditions In fact, in classification development, validations are iterative processes

OBJECTIFS Vérifier la stabilité de cette classification en utilisant la même approche dans un échantillon différent. Évaluer la validité de construit en observant les différences entre les profils sur d’autres mesures cliniques reconnues

METHODOLOGIE: ÉCHANTILLON Étude transversale Échantillon stratifié à plusieurs niveaux de 742 personnes de 65 ans et plus (SMAF  4) Territoire de la régie régionale de Laval zone métropolitaine et urbaine Différents milieux de vie domiciles, ressources intermédiaires (RI), centres d’hébergements publics et privés The data used for the validation of this casemix were obtained from a stratified multistage sampling of 742 elderly people over 65 years old, experiencing disabilities. They were selected in a specific region of Quebec and came from different living environments like home, intermediate facilities and institutions.

METHODOLOGIE: Variables pour les analyses de classification SMAF Système de Mesure de l’Autonomie Fonctionnelle) ; Hébert et al. 1988; 2001 5 dimensions : 29 items The variables included into the cluster analysis were the same variables selected in the original study So, the analysis utilize the original score of the 29 items of the SMAF.

de l’autonomie fonctionnelle Système de mesure de l’autonomie fonctionnelle Se nourrir Se laver S’habiller Entretenir sa personne Fonction vésicale Fonction intestinale Toilette Voir Entendre Parler Entretenir la maison Préparer les repas Faire les courses Faire la lessive Utiliser le téléphone Utiliser moyens de transport Prendre les Rx Administrer budget Transferts Marcher à l’intérieur Marcher à l’extérieur Installer prothèse Fauteuil roulant Escaliers Mémoire Orientation Compréhension Jugement Comportement

Échelle et cotation

Méthodologie: Analyses de classification (cluster analysis) Scores originaux pour les 29 items du SMAF Méthode de Ward (Méthode hiérarchique) Classification selon les centroïdes We also use the same methods of cluster analysis. So, Initially, the Ward method was used to specify the centroids necessary as starting values for the next K-means method. The similarity of subjects was measured by a distance measure named the Euclidean distance. Méthode K-means (méthode itérative) Mesure sélectionnée: Distance euclidienne Classification finale

METHODOLOGIE : Validation 1. Comparaisons a. Procédure de validation croisée b. Évaluation de l'homogénéité c. Étude de la forme des profils 2. Validité de construit avec évaluation des différences sur des mesures cliniques reconnues et valides The validation procedure started we the comparison of the original classification with the one obtained with the new sample. Three evaluation steps were done : first, a procedure of cross-validation second, an evaluation of homogeneity and third an investigations of the shape of the profiles The Concurrent validity of the classification was checked with external variables which were not included in the cluster analysis. These variables came from well validated questionnaires.

Items SMAF Échantillon D1 1977 sujets Échantillon D2 742 sujets 1a. Procédure de validation croisée Items SMAF Échantillon D1 Étude provinciale 1977 sujets (recrutés en 1995) Échantillon D2 Étude actuelle 742 sujets (recrutés en 1999) The procedure of cross validation compared the two samples using a solution with constraints and another one without constraints.

Échantillon D1 Échantillon D2 Solution forcée avec les 1a. Validation croisée (suite) Échantillon D1 Échantillon D2 Solution 1 14 profils Solution forcée avec les centroïdes de D1 = Solution 2 More specifically, the solution with constraints classified all the cases of the new sample based on the centroids results of the analysis of the original sample, while no restriction was imposed with the solution without contraint. Then, a Kappa agreement coefficient was calculated between the two solutions obtained for 14 groups.

Échantillon D1 Échantillon D2 KAPPA 1a. Validation croisée (suite) Solution 1 14 profils Solution forcée avec les centroïdes de D1 = Solution 2 Solution sans contrainte (centroïdes de D2) = Solution 3 More specifically, the solution with constraints classified all the cases of the new sample based on the centroids results of the analysis of the original sample, while no restriction was imposed with the solution without contraint. Then, a Kappa agreement coefficient was calculated between the two solutions obtained for 14 groups. KAPPA

RÉSULTATS : 1a. Validation croisée KAPPA = 0.63 Selon Landis et Koch (1977), un coefficient d’agrément (ou d’accord) de 0.61-0.80 peut être considéré comme «très bon» The Kappa agreement coefficient was 0.63 and according to Landis and Koch (1977), this coefficient could be interpreted as very good

1 b. Évaluation de l’homogénéité Exprimé par le Coefficient de variation de chacun des profils Coefficient = Écart-type/ moyenne Représente la précision de la valeur Un coefficient de variation de moins de 0.5 représente une bonne homogénéité (Weissert et Musliner, 1992) At the second step we investigated the homogeneity expressed by the coefficient of variation of each profile According to some experts, a value less than 0.5 is considered acceptably homogeneous (Weissert and Musliner, 1992).

1b. Homogénéité : Coefficient de variation This table shows that coefficients of variation obtained with the total score SMAF of the new sample are similar to the original classification. So we can see that the first profiles are less homegenneous then the last profiles. But they are all under 0.5 . Thus, they can be considered homogeneous in terms of their level of disability.

1 c. Étude de la forme des profils Les caractéristiques de la population source sont différentes Lorsque la classification est stable, les mêmes profils devraient être reconnus The last step was the investigation of the shape of the profiles. Because the characteristics of the source population are different , some authors recommend to examine the shape of the profiles instead of direct comparisons on exact scores. If the classification is stable, the same profiles should be recognized. To evaluate this aspect, the next illustrations will show you the score profile on the five dimension of the SMAF for the 14 profiles compared to those obtained with the original classification.

These profiles can also be grouped into five broad categories. But before to compare the two sample, I will explain the 14 profiles which emerged from the prototype. In this diagram you can discern the 14 profiles according to their results on the 5 dimensions of the SMAF scale: ADL, mobility, communication, mental functions, and IADL. The level of functional autonomy is illustrated by a code of color with green for autonomous, bluegreen for difficulty, blue for supervision, yellow for help and red for dependence. These profiles can also be grouped into five broad categories.

CATÉGORIE 1: ATTEINTE AUX TÂCHES DOMESTIQUES SEUL Légende Autonome (0) Difficultés (0,5) Supervision (1) Aide (2) Dépendant (3) AVD MOB COM FM Activités de la vie quotidienne Mobilité Communication Fonctions mentales Activités de la vie domestique Difficultés AVQ 1 MOB COM FM AVD 9,33 (3,58) Supervision 2 AVQ MOB COM FM AVD 13,23 (4,19) Aide 3 AVQ MOB COM FM AVD 19,76 (3,59) For the next five slides, you will see at the upper section the caracteristics of each category and at the bottom the comparison of the two sample for each profile with the mean scores on the 5 dimensions. The results of the precedent study is in red and those of the new sample in green. This first categorie illustrates subjects who show disabilities mainly in instrumental activities of daily living, in the form of difficulty (profile 1), need for supervision (profile 2) and need for help (profile 3). You can also see that the shape of this three profiles are rather similar.

CATÉGORIE 2: ATTEINTE MOTRICE PRÉDOMINANTE Légende Autonome (0) Difficultés (0,5) Supervision (1) Aide (2) Dépendant (3) AVD MOB COM FM Activités de la vie quotidienne Mobilité Communication Fonctions mentales Activités de la vie domestique CATÉGORIE 2: ATTEINTE MOTRICE Autonome AVQ AVQ Difficultés AVQ Aide AVQ 48,15 (5,74) 9 23,69 (4,91) 4 32,04 (4,77) 6 PRÉDOMINANTE CATÉGORIE 2: ATTEINTE MOTRICE PRÉDOMINANTE the second category (profiles 4, 6, and 9) consist of people with greater disabilities in terms of mobility while their mental functions are retained we can also observe a progression of disabilities in domestic activities and activities of daily living .

CATÉGORIE 3: ATTEINTE MENTALE PRÉDOMINANTE Légende Autonome (0) Difficultés (0,5) Supervision (1) Aide (2) Dépendant (3) AVD MOB COM FM Activités de la vie quotidienne Mobilité Communication Fonctions mentales Activités de la vie domestique CATÉGORIE 3: ATTEINTE MENTALE PRÉDOMINANTE Modérée + difficultés AVQ Grave + difficultés AVQ Grave + surveillance mobilité Grave + aide AVQ (ambulant + troubles de comportement) AVQ 53,02 (4,35) 10 42,24 (4,54) 8 39,19 (4,19) 7 5 28,54 (3,68) The third category includes people with predominant and progressive alterations in cognitive functions (profiles 5, 7, 8 and 10) while locomotive abilities are relatively intact. The subjects with profile 10 need help with ADL and manifest severe problems in cognitive functions linked to major behavioural problems (wandering, aggressiveness towards self or others) while they can walk independently. The shape of profiles still corresponding.

CATÉGORIE 4: AIDE À LA MOBILITÉ Légende Autonome (0) Difficultés (0,5) Supervision (1) Aide (2) Dépendant (3) AVD MOB COM FM Activités de la vie quotidienne Mobilité Communication Fonctions mentales Activités de la vie domestique CATÉGORIE 4: AIDE À LA MOBILITÉ Sans incontinence Avec incontinence (avec troubles de comportement) AVQ 58,71 (5,93) 12 58,47 (5,30) 11 The fourth category (profiles 11 and 12) includes people who exhibit substantial disabilities in mobility functions as well as mental functions. In this situation we observe an equivalent level of autonomy but an interesting fact is although, subjects with profiles 11 and 12 present the same level of disability, they exhibit different needs in specific aspects. Subjects with profile 11 present occasional incontinence and maintain bowel function, contrary to those with profile 12 who are frequently or always incontinent and demonstrate major behavioural problems (wanders, aggressive towards self or others).

CATÉGORIE 5: ALITÉ ET DÉPENDANT AVQ Légende Autonome (0) Difficultés (0,5) Supervision (1) Aide (2) Dépendant (3) AVD MOB COM FM Activités de la vie quotidienne Mobilité Communication Fonctions mentales Activités de la vie domestique CATÉGORIE 5: ALITÉ ET DÉPENDANT AVQ Atteinte mentale grave Atteinte mentale très grave (avec troubles de communication) AVQ 73,77 (3,61) 14 64,98 (4,49) 13 And finaly At the other extreme, in the fifth category are the subjects with profiles 13 and 14 who show the lowest level of autonomy with dependency in ADL activities. The fourteenth profile represents people near the end of their life who are no longer able to communicate and show very severe cognitive impairment with minor behavioral problems like to complain

2. Validité de construit 2. Validité de construit avec des instruments reconnus et valides : évaluation des différences entre les catégories de profils a. Aspects cognitif Fonctions cognitives : 3MS Problèmes comportementaux : Inventaire des comportements perturbateurs de Cohen-Mansfield b. Aspects physiques : Marche et équilibre : Tinetti Fonct. physique: PF-10 sous-dimension du SF-36 And finally, to evaluate the concurrent validity we used two measures representative of cognitive aspects as the Modified Mini Mental State examination and the Modified Cohen Mansfield and two representative of physical aspects like the Tinetti and the physical functioning subscale of the SF-36. To make easier the presentation we will present the results according to the five categories instead of the 14 profiles.

2 a. Fonctions cognitives : 3MS 129 33 121 195 193 N = 120 100 80 60 40 20 p < 0.000 score moyen / 100 This figure show box plots of the mean 3MS scores for each of the five categories. These scores distinguish progressively poorer cognitive functions for the five categories and they are significantly different. AVD Mobilité Mentale Mixte AVQ 100 = score maximal

2 a. Problèmes comportementaux :% avec au moins 1 comportement perturbateur 10 20 30 40 50 60 70 We then examined concordance between the five categories and behavioral problems by determining the proportion of elderly with at least one problem. This figure show progressively bigger proportion for each category There is also a clear distinction between elderly in the clusters with predominant problems in mobility and those with predominant problem in mental functions. Compared to the fourth category, there is a smaller proportion of behavioral problem in the last one because these elderly people are not longer able to communicate and their mental functions are so affected that they are only able to complain. AVD Mobilité Mentale Mixte AVQ p < 0.000

2 a. Problèmes comportementaux : Nombre total de comportements 141 45 143 217 196 N = 30 20 10 -10 This figure compare the total number of behavioral problems and illustrate the the same phenomenon. AVD Mobilité Mental Mixte AVQ Version : 29 items

2 b. Marche et équilibre : Tinetti 50 p < 0.000 p < 0.000 p < 0.000 40 30 20 Score moyen / 40 We now see the physical aspect by investigations of the gait and balance. The people in the category with only ADL problem and those with cognitive problems are less affected on this scale than the elderly in the category with predominant mobility problem and mixed alterations. The people in the last category were not able to accomplish this test and that make sense. 10 N = 192 133 105 11 AVD Mobilité Mental Mixte 40 = score maximal

2 b. Fonctionnement physique : Dimension PF-10 du SF-36 9 6 62 165 188 N = 120 100 80 60 40 20 Score moyen / 100 Finally, we observe the same situation with the physical functioning subscale. AVD Mobilité Mental Mixte AVQ 100= score maximal

ÉVOLUTION DES PARTICIPANTS À L ’ÉTUDE PRISMA APRÈS UN AN Implanter un réseau intégré de services dans 3 sous-régions de l'Estrie Sherbrooke Granit (Lac-Mégantic) Coaticook

Devis de l’étude Devis experimental Sélection d’une zone témoin Échantillon de la RAMQ Identification de sujets à risque de perte d’autonomie Mesure pré-implantation T0 Mesures annuelles (T1)

Zone témoin Zone expérimentale L’Islet Montmagny Lévis Granit Sherbrooke Coaticook

Sélection de la population d’étude Population totale des personnes âgées non-institutionnalisées Dans les six territoires d’étude (3 témoins et 3 expérimentaux) Sélection d’un échantillon à partir de la liste de la RAMQ Échantillon aléatoire de personnes âgées de + de 75 ans Technique du questionnaire postal pour identifier des personnes âgées à risque de perte d ’autonomie Pour identifier des PA qui seraient les clients du RISPA 6 Cohortes de PA qui sont évaluées à domicile chaque année

SMAF T0 et T1 SMAF total/87 Groupe Moyenne TEMPS 20,5 20,0 19,5 19,0 18,5 18,0 Groupe 17,5 Moyenne 17,0 Témoin 16,5 Expérimental 1 TEMPS

GRIS ORANGÉ BLEU ROSE À MAUVE But before to compare the two sample, I will explain the 14 profiles which emerged from the prototype. In this diagram you can discern the 14 profiles according to their results on the 5 dimensions of the SMAF scale: ADL, mobility, communication, mental functions, and IADL. The level of functional autonomy is illustrated by a code of color with green for autonomous, bluegreen for difficulty, blue for supervision, yellow for help and red for dependence. These profiles can also be grouped into five broad categories. ROSE À MAUVE

Distribution des profils ISO-SMAF par groupe au Temps 0 Groupe Témoin Frequency Percent Valid Percent Cumulative Percent profil 1 168 40,1 40,1 40,1 profil 2 86 20,5 20,5 60,6 profil 3 22 5,3 5,3 65,9 profil 4 48 11,5 11,5 77,3 profil 6 29 6,9 6,9 84,2 profil 9 10 2,4 2,4 86,6 profil 5 19 4,5 4,5 91,2 profil 7 16 3,8 3,8 95,0 profil 8 11 2,6 2,6 97,6 profil 10 2 ,5 ,5 98,1 profil 11 4 1,0 1,0 99,0 profil 12 3 ,7 ,7 99,8 profil 14 1 ,2 ,2 100,0 Total 419 100,0 100,0 Groupe Expérimental Valid profil 1 195 38,9 38,9 38,9 profil 2 99 19,8 19,8 58,7 profil 3 46 9,2 9,2 67,9 profil 4 48 9,6 9,6 77,4 profil 6 38 7,6 7,6 85,0 profil 9 11 2,2 2,2 87,2 profil 5 43 8,6 8,6 95,8 profil 7 9 1,8 1,8 97,6 profil 8 5 1,0 1,0 98,6 profil 10 3 ,6 ,6 99,2 profil 11 2 ,4 ,4 99,6 profil 12 1 ,2 ,2 99,8 profil 13 1 ,2 ,2 100,0 Total 501 100,0 100,0

Distribution des profils ISO-SMAF par groupe au Temps 1 Groupe Témoin Frequency Percent Valid Percent Cumulative Percent Valid profil 1 126 38,5 38,5 38,5 profil 2 57 17,4 17,4 56,0 profil 3 29 8,9 8,9 64,8 profil 4 39 11,9 11,9 76,8 profil 6 21 6,4 6,4 83,2 profil 9 8 2,4 2,4 85,6 profil 5 23 7,0 7,0 92,7 profil 7 8 2,4 2,4 95,1 profil 8 8 2,4 2,4 97,6 profil 10 3 ,9 ,9 98,5 profil 11 3 ,9 ,9 99,4 profil 12 1 ,3 ,3 99,7 profil 13 1 ,3 ,3 100,0 Total 327 100,0 100,0 Groupe expérimental Valid profil 1 164 39,1 39,1 39,1 profil 2 63 15,0 15,0 54,2 profil 3 57 13,6 13,6 67,8 profil 4 30 7,2 7,2 74,9 profil 6 51 12,2 12,2 87,1 profil 9 6 1,4 1,4 88,5 profil 5 28 6,7 6,7 95,2 profil 7 7 1,7 1,7 96,9 profil 8 8 1,9 1,9 98,8 profil 10 1 ,2 ,2 99,0 profil 12 2 ,5 ,5 99,5 profil 13 2 ,5 ,5 100,0 Total 419 100,0 100,0

Distribution des profils ISO-SMAF par zone Temps 0

Distribution des profils ISO-SMAF par zone au Temps 1

Distribution des profils ISO-SMAF selon les milieux de vie 0% 20% 40% 60% 80% 100% A1 A2 A3 B C D E F G profil 1 profil 2 profil 3 profil 4 profil 6 profil 9 profil 5 profil 7 profil 8 profil 10 profil 11 profil 12 profil 13 profil 14

Distribution des profils ISO-SMAF au temps T0- groupe exp. AVD MOBIL COGNI MIXTE

Distribution des profils ISO-SMAF au T0 et T1- groupe exp. AVD MOBIL COGNI MIXTE

Changements entre T0 et T1 entre exp et témoin

Changements dans les profils Groupe expérimental 1, 2, 3 4, 6, 9 Détérioration Stable Amélioration 1, 2, 3 Détérioration Stable Amélioration 4, 6, 9 Détérioration Stable Amélioration 5, 7, 9

Conclusion Semble être la population visée Pas de différence entre les groupes à T1 Implantation lente donc résultats non surprenant Autres informations à venir…. In conclusion, following the same procedure it was found that given a similar variable set and dissecting the data into 14 clusters it was possible to produce the same cluster structure than the prototype. Both studies identified through the 14 profiles a progression of disabilities in domestic activities and activities of daily living accompanied, for the most part, by a greater disability either in mobility functions or mental functions. These disabilities also appear gradually across the groups. This study permitted also to examine concordance between this classification and others questionnaires to demonstrate the clinical logic behind these profiles. A next step to this classification shoul be to examine if the ISO-SMAF profiles can also discriminate effect of different treatments or intervention. Further studies to test these predicting properties will be carry out.