1 IS EVALUATION : Research Perspectives « Fourth Generation Evaluation » E. G. Guba & Y. S. Lincoln Sage Publications 1989.

Présentation au sujet: "1 IS EVALUATION : Research Perspectives « Fourth Generation Evaluation » E. G. Guba & Y. S. Lincoln Sage Publications 1989."— Transcription de la présentation:

1 1 IS EVALUATION : Research Perspectives « Fourth Generation Evaluation » E. G. Guba & Y. S. Lincoln Sage Publications 1989

2 2 IS Evaluation I. Evaluation frame II. 4 Generations of Evaluation III. Fourth G. Methodology

3 3 Evaluation Guide a.What does « Evaluate » mean ? b. What is the Evaluators’ role? c. How is evaluation initiated ? d.Examples in IS field

4 4 EVALUATION FIRST GENERATION

5 5 MEANING  "Evaluate means measure"  N aturalistic Paradigm  Scientific Management

6 6EVALUATORS’ROLE A technician who :  knows measurement  Measures  Builds measures

7 7 MEASUREMENT’S STAKES  Relevance  Cost  Standardization & Calibration

8 8 EVALUATION PROCESS Variables identification Measures definition and construction Testing measures Establishing standards Laying down Scores

9 9 First generation: IS examples Software engineering

10 10 SOFTWARE QUALITY Usability Maintainability ErgonomicsDependability Conformity to Evolve to be Portable Corrected Capacity

11 11 Complexity Modularity … Dependability Textual Lexical Data

12 12 DATA COMPLEXITY MEASURES References localization Data structure Data utilization

13 13 DATA UTILIZATION For each module calculate :  1/k (∑ n i f i ) k = number of different data f i = Data category (value 1 to 4) n i = number of data in category i

14 14 9126 ISO Norm 9 factors 24 criteria Measures

15 15 9126 : Factors Process Product

16 16 Process Factors  Estimation capacity  Production capacity  M & T utilization efficacy  …

17 17 Estimation capacity criteria  Deadlines Estimation  Costs Estimation

18 18 Deadlines estimation capacity Measure  % of overpassing 2 if ≤ 20% 1 if ≤ 30% 0 if > 30%

19 19 COCOMO Models Barry Boehm CSE of UCSC http://sunset.usc.edu/research/COCOMOII/

20 20 COCOMO : 2 hypothesis  IT people can evaluate software size not work-load  Same effort to write a line of code whatever the language may be

21 21 KISL = 1000 lines of code (instructions source line)  Small project : < 50 Kisl  Medium project : 50 Kisl  Large project : >300 Kisl

22 22 COCOMO ESTIMATION COCOMO ESTIMATION

23 23 EXAMPLE : small project 40 KISL Man-months = 3,2 (40) 1,05 = 154 Duration = 2,5 (154) 0,38 = 17 months Team full time = 154 / 17 = 9 persons

24 24 Corrective factors  Software requirements  Technical environment  Team characteristics  Project environment

25 25 Software requirements factors  Dependability  Data base size  Complexity  Execution time (real or not)

26 26 EVALUATION SECOND GENERATION

27 27 MEANING of EVALUATION « EVALUATE MEANS DESCRIBE » Quasi naturalistic position Diagnosis orientation

28 28 Generation 2 : evaluator role An analyst who :  Describe  context,  Patterns of strengths and weaknesses  With respect to certain stated objectives  Use measurement as a tool among other

29 29 Génération 2 : Process 1.Objectives identification 2.Congruence analysis  objectives/patterns  Strenghts/weakenesses 3.Refinements and revisions

30 30 Génération 2 : IS example ISO/CEI 12207 norm Quality software life cycle

31 31 ISO-CEI 12207 : processes 6 Basic 8 Support 4 Organizationnal

32 32 Basic processes 1. Acquisition 2. Supplying 3. Developpement 4. Operation 5. Maintenance 6. Disqualification

33 33 Support processes 1. Documentation 2. Configuration 3. Quality 4. Verification 5. Validation 6. Joint review 7. Audit 8. Solving problems

34 34 Organizational processes 1. Management 2. Infrastructure 3. Improvement 4. Training

35 35 EVALUATION THIRD GENERATION

36 36 Generation 3 : meaning "Evaluate means Judge " Objectivist position

37 37 Generation 3 : role A Judge who : Disposes of : standards, models, referentials Expresses himself about objectives, means, processes & outcomes

38 38 Generation 3 : process Models implementation Goals model Decision model Effects model Evaluation model

39 39 Génération 3 : IS example SEI CMMI

40 40 CMMI Four domains :  SE,  SW,  IPPD,  SS 6 levels (judgment)

41 41 INPUTS OUTPUTS PROCESS ACTIVITY

42 42 Software engineering : 4 process categories 1.Management 2.Project 3.Engineering 4.Support

43 43 Process Management : organizational 1.P. Focus 2.P. Definition 3.Training 4.P. Performance 5.Innovation & Deployment

44 44 Process Project 1.PLANNING 2.MONITORING & CONTROL 3.SUPPLIER AGREEMENT 4.RISK MANAGEMENT 5.TEAMING 6.SUPPLIER MANAGEMENT 7.QUANTITATIVE P. M.

45 45 Process Engineering 1.REQUIREMENTS MANAGEMENT 2.REQUIREMENTS DEVELOPEMENT 3.TECHNICAL SOLUTION 4.PRODUCT INTEGRATION 5.VERIFICATION 6.VALIDATION

46 46 Process SUPPORT 1.CONFIGURATION MANAGEMENT 2.PROCESS & PRODUCT QUALITY 3.MEASUREMENT & ANALYSIS 4.ENVIRONMENT FOR INTEGRATION 5.DECISION ANALYSIS & RESOLUTION 6.CAUSAL ANALYSIS & RESOLUTION

47 47 CAPABILITY PROCESS LEVELS 1.INCOMPLETE (level 0) 2.PERFORMED (level 1) 3.MANAGED (level 2) 4.DEFINED (level 3) 5.QUANTITATIVELY MANAGED (level 4) 6.OPTIMIZING (level 5)

48 48 PERVASIVE PROBLEMS in the first three generatons Managerialism Value-pluralism Scientific paradigm of inquiry

49 49 EVALUATION FOURTH GENERATION

50 50 Génération 4 : approche alternative " Evaluer c'est négocier " Position constructiviste Démarche interactive

51 51 Génération 4 : négocier avec les parties prenantes les frontières de l'évaluation les informations à collecter

52 52 G. 4 : position constructiviste Ontologique : la réalité est construite Epistémologique : interaction sujet-objet Méthodologique : rejet de la méthode expérimentale

53 53 Génération 4 : initialisation Identification des parties prenantes Recueil des attentes, des inquiétudes et des questions relatives à l'évaluation

54 54 Génération 4 : démarche interactive Phase 1 : points de vue recueillis Phase 2 : diffusion des points de vue Phase 3 : collecte de l'information Phase 4 : négociation

55 55 Génération 4 : vocabulaire "Vérité" : c'est une affaire de consensus entre les constructeurs de la réalité ce n'est pas une affaire de correspondance à une réalité objective

56 56 Génération 4 : vocabulaire "Faits" : n'ont de sens que dans un cadre axiologique ne peuvent en aucun cas être l'évaluation objective d'une proposition

57 57 Génération 4 : vocabulaire "Causes" & "effets" : ne peuvent qu'être imputés la responsabilité est relative et implique toutes les PP

58 58 Génération 4 : vocabulaire "Phénomènes" : ne peuvent être compris que dans leur contexte problèmes et solutions ne peuvent pas être généralisés

59 59 Génération 4 : vocabulaire "Interventions" : ne sont pas stables elles affectent le contexte et sont affectées par le contexte

60 60 Génération 4 : vocabulaire "Changement" : il ne peut pas y avoir d'ingénierie du changement processus non linéaire qui implique une sophistication accrue dans les constructions mentales des personnes impliquées

61 61 Génération 4 : vocabulaire "Evaluation" : elle produit des données mêlant des faits & des valeurs les valeurs : base essentielle pour donner du sens à l'évaluation

62 62 Génération 4 : vocabulaire "Responsabilité" : caractéristique du conglomérat des développeurs de l'évaluation

63 63 Génération 4 : vocabulaire "Evaluateur" : partenaire subjectif chef d'orchestre du processus de négociation tente d'aboutir au consensus par le partage d'information

64 64 Génération 4 : vocabulaire "données de l'évaluation" : construction mentale à prendre en compte pour se diriger vers le consensus

65 65 Génération 4 : SIC SSM & ETHICS Courants de la théorie sociale critique

66 66 Evaluation des SIC : état de l'art Peu de modèles purs Quelques exemples

67 67 Mesures de la satisfaction des utilisateurs de SIC W.S. Pearson PHD 1977 G1 : mesures G2 : processus pris en compte G4 : point de vue de PP

68 68 Temps de réponse : les délais de réponse, des systèmes informatiques, aux requêtes transmises par l'utilisateur à partir d'un terminal LENTRAPIDE 12 3 45 INSUPORTABLE SUPPORTABLE 12 3 45

69 69 DEGRE de PARTICIPATION : le niveau d'implication et de participation des utilisateurs dans la conception, la mise en place et le fonctionnement des applications FAIBLEELEVE 12 3 45 INSUFFISANT SUFFISANT 12 3 45

70 70 Mesures de la satisfaction des internautes visitant un site J.W. Palmer, Information Systems Research, 2002 G1 : mesures G4 : point de vue internaute

71 71 Palmer : 5 facteurs, 18 items F1 : Interactivité du site F2 : Richesse de contenu F3 : Temps de réponse et accessibilité du site F4 :Evaluation globale du site F5 : Intention de retour

72 72 Evaluation processuelle Faire intervenir le temps et les événements : de l'idée à d'investissement, de l'investissement à l'usage, de l'usage à la performance Marciniak 1991

73 73 Processuelle B.C. Wheeler, Information Systems Research, 2002 Capacité dynamique à exploiter stratégiquement une technologie émergente

74 74 1.Sélection d'une TE 2.Communication sur la TE sélectionnée 3.Jonction TE-Opportunités d'affaires 4.Communication sur O. d'affaires 5.Mise en oeuvre 6.Mise sur le marché de la proposition de valeur 7.Evaluation de la valeur apportée au client 8.Communication sur la valeur apportée