1 IS EVALUATION : Research Perspectives « Fourth Generation Evaluation » E. G. Guba & Y. S. Lincoln Sage Publications 1989

2 IS Evaluation I. Evaluation frame II. 4 Generations of Evaluation III. Fourth G. Methodology

3 Evaluation Guide a.What does « Evaluate » mean ? b. What is the Evaluators’ role? c. How is evaluation initiated ? d.Examples in IS field

4 EVALUATION FIRST GENERATION

5 MEANING  "Evaluate means measure"  N aturalistic Paradigm  Scientific Management

6EVALUATORS’ROLE A technician who :  knows measurement  Measures  Builds measures

7 MEASUREMENT’S STAKES  Relevance  Cost  Standardization & Calibration

8 EVALUATION PROCESS Variables identification Measures definition and construction Testing measures Establishing standards Laying down Scores

9 First generation: IS examples Software engineering

10 SOFTWARE QUALITY Usability Maintainability ErgonomicsDependability Conformity to Evolve to be Portable Corrected Capacity

11 Complexity Modularity … Dependability Textual Lexical Data

12 DATA COMPLEXITY MEASURES References localization Data structure Data utilization

13 DATA UTILIZATION For each module calculate :  1/k (∑ n i f i ) k = number of different data f i = Data category (value 1 to 4) n i = number of data in category i

ISO Norm 9 factors 24 criteria Measures

: Factors Process Product

16 Process Factors  Estimation capacity  Production capacity  M & T utilization efficacy  …

17 Estimation capacity criteria  Deadlines Estimation  Costs Estimation

18 Deadlines estimation capacity Measure  % of overpassing 2 if ≤ 20% 1 if ≤ 30% 0 if > 30%

19 COCOMO Models Barry Boehm CSE of UCSC

20 COCOMO : 2 hypothesis  IT people can evaluate software size not work-load  Same effort to write a line of code whatever the language may be

21 KISL = 1000 lines of code (instructions source line)  Small project : < 50 Kisl  Medium project : 50 Kisl  Large project : >300 Kisl

22 COCOMO ESTIMATION COCOMO ESTIMATION

23 EXAMPLE : small project 40 KISL Man-months = 3,2 (40) 1,05 = 154 Duration = 2,5 (154) 0,38 = 17 months Team full time = 154 / 17 = 9 persons

24 Corrective factors  Software requirements  Technical environment  Team characteristics  Project environment

25 Software requirements factors  Dependability  Data base size  Complexity  Execution time (real or not)

26 EVALUATION SECOND GENERATION

27 MEANING of EVALUATION « EVALUATE MEANS DESCRIBE » Quasi naturalistic position Diagnosis orientation

28 Generation 2 : evaluator role An analyst who :  Describe  context,  Patterns of strengths and weaknesses  With respect to certain stated objectives  Use measurement as a tool among other

29 Génération 2 : Process 1.Objectives identification 2.Congruence analysis  objectives/patterns  Strenghts/weakenesses 3.Refinements and revisions

30 Génération 2 : IS example ISO/CEI norm Quality software life cycle

31 ISO-CEI : processes 6 Basic 8 Support 4 Organizationnal

32 Basic processes 1. Acquisition 2. Supplying 3. Developpement 4. Operation 5. Maintenance 6. Disqualification

33 Support processes 1. Documentation 2. Configuration 3. Quality 4. Verification 5. Validation 6. Joint review 7. Audit 8. Solving problems

34 Organizational processes 1. Management 2. Infrastructure 3. Improvement 4. Training

35 EVALUATION THIRD GENERATION

36 Generation 3 : meaning "Evaluate means Judge " Objectivist position

37 Generation 3 : role A Judge who : Disposes of : standards, models, referentials Expresses himself about objectives, means, processes & outcomes

38 Generation 3 : process Models implementation Goals model Decision model Effects model Evaluation model

39 Génération 3 : IS example SEI CMMI

40 CMMI Four domains :  SE,  SW,  IPPD,  SS 6 levels (judgment)

41 INPUTS OUTPUTS PROCESS ACTIVITY

42 Software engineering : 4 process categories 1.Management 2.Project 3.Engineering 4.Support

43 Process Management : organizational 1.P. Focus 2.P. Definition 3.Training 4.P. Performance 5.Innovation & Deployment

44 Process Project 1.PLANNING 2.MONITORING & CONTROL 3.SUPPLIER AGREEMENT 4.RISK MANAGEMENT 5.TEAMING 6.SUPPLIER MANAGEMENT 7.QUANTITATIVE P. M.

45 Process Engineering 1.REQUIREMENTS MANAGEMENT 2.REQUIREMENTS DEVELOPEMENT 3.TECHNICAL SOLUTION 4.PRODUCT INTEGRATION 5.VERIFICATION 6.VALIDATION

46 Process SUPPORT 1.CONFIGURATION MANAGEMENT 2.PROCESS & PRODUCT QUALITY 3.MEASUREMENT & ANALYSIS 4.ENVIRONMENT FOR INTEGRATION 5.DECISION ANALYSIS & RESOLUTION 6.CAUSAL ANALYSIS & RESOLUTION

47 CAPABILITY PROCESS LEVELS 1.INCOMPLETE (level 0) 2.PERFORMED (level 1) 3.MANAGED (level 2) 4.DEFINED (level 3) 5.QUANTITATIVELY MANAGED (level 4) 6.OPTIMIZING (level 5)

48 PERVASIVE PROBLEMS in the first three generatons Managerialism Value-pluralism Scientific paradigm of inquiry

49 EVALUATION FOURTH GENERATION

50 Génération 4 : approche alternative " Evaluer c'est négocier " Position constructiviste Démarche interactive

51 Génération 4 : négocier avec les parties prenantes les frontières de l'évaluation les informations à collecter

52 G. 4 : position constructiviste Ontologique : la réalité est construite Epistémologique : interaction sujet-objet Méthodologique : rejet de la méthode expérimentale

53 Génération 4 : initialisation Identification des parties prenantes Recueil des attentes, des inquiétudes et des questions relatives à l'évaluation

54 Génération 4 : démarche interactive Phase 1 : points de vue recueillis Phase 2 : diffusion des points de vue Phase 3 : collecte de l'information Phase 4 : négociation

55 Génération 4 : vocabulaire "Vérité" : c'est une affaire de consensus entre les constructeurs de la réalité ce n'est pas une affaire de correspondance à une réalité objective

56 Génération 4 : vocabulaire "Faits" : n'ont de sens que dans un cadre axiologique ne peuvent en aucun cas être l'évaluation objective d'une proposition

57 Génération 4 : vocabulaire "Causes" & "effets" : ne peuvent qu'être imputés la responsabilité est relative et implique toutes les PP

58 Génération 4 : vocabulaire "Phénomènes" : ne peuvent être compris que dans leur contexte problèmes et solutions ne peuvent pas être généralisés

59 Génération 4 : vocabulaire "Interventions" : ne sont pas stables elles affectent le contexte et sont affectées par le contexte

60 Génération 4 : vocabulaire "Changement" : il ne peut pas y avoir d'ingénierie du changement processus non linéaire qui implique une sophistication accrue dans les constructions mentales des personnes impliquées

61 Génération 4 : vocabulaire "Evaluation" : elle produit des données mêlant des faits & des valeurs les valeurs : base essentielle pour donner du sens à l'évaluation

62 Génération 4 : vocabulaire "Responsabilité" : caractéristique du conglomérat des développeurs de l'évaluation

63 Génération 4 : vocabulaire "Evaluateur" : partenaire subjectif chef d'orchestre du processus de négociation tente d'aboutir au consensus par le partage d'information

64 Génération 4 : vocabulaire "données de l'évaluation" : construction mentale à prendre en compte pour se diriger vers le consensus

65 Génération 4 : SIC SSM & ETHICS Courants de la théorie sociale critique

66 Evaluation des SIC : état de l'art Peu de modèles purs Quelques exemples

67 Mesures de la satisfaction des utilisateurs de SIC W.S. Pearson PHD 1977 G1 : mesures G2 : processus pris en compte G4 : point de vue de PP

68 Temps de réponse : les délais de réponse, des systèmes informatiques, aux requêtes transmises par l'utilisateur à partir d'un terminal LENTRAPIDE INSUPORTABLE SUPPORTABLE

69 DEGRE de PARTICIPATION : le niveau d'implication et de participation des utilisateurs dans la conception, la mise en place et le fonctionnement des applications FAIBLEELEVE INSUFFISANT SUFFISANT

70 Mesures de la satisfaction des internautes visitant un site J.W. Palmer, Information Systems Research, 2002 G1 : mesures G4 : point de vue internaute

71 Palmer : 5 facteurs, 18 items F1 : Interactivité du site F2 : Richesse de contenu F3 : Temps de réponse et accessibilité du site F4 :Evaluation globale du site F5 : Intention de retour

72 Evaluation processuelle Faire intervenir le temps et les événements : de l'idée à d'investissement, de l'investissement à l'usage, de l'usage à la performance Marciniak 1991

73 Processuelle B.C. Wheeler, Information Systems Research, 2002 Capacité dynamique à exploiter stratégiquement une technologie émergente

74 1.Sélection d'une TE 2.Communication sur la TE sélectionnée 3.Jonction TE-Opportunités d'affaires 4.Communication sur O. d'affaires 5.Mise en oeuvre 6.Mise sur le marché de la proposition de valeur 7.Evaluation de la valeur apportée au client 8.Communication sur la valeur apportée