SCORM Conformance Testing and Certification LIFE Fest 2006 Paul Jesukiewicz Angelo Panar.

Présentation au sujet: "SCORM Conformance Testing and Certification LIFE Fest 2006 Paul Jesukiewicz Angelo Panar."— Transcription de la présentation:

1 SCORM Conformance Testing and Certification LIFE Fest 2006 Paul Jesukiewicz Angelo Panar

2 Tests de conformité et Certification SCORM LIFE Fest 2006 Paul Jesukiewicz Angelo Panar

3 Outline  Introduction to ADL Initiative  SCORM Overview  Certification  Conformance Testing Conformance Test Suite Purpose Demonstration

4 Sommaire  Présentation de l’Initiative ADL  SCORM Présentation générale  Certification  Tests de conformité La suite tests de conformité Objectif Démonstration

5 Advanced Distributed Learning

6 Enseignement avancé et distribué La vision d’ADL : Fournir un accès à un enseignement de qualité, proche des besoins individuels, rentable, n’importe quand et n’importe où.

7 High-level Requirements Interoperability: the ability to take instructional components developed in one system and use them in another system. Accessibility: the ability to locate and access instructional components from multiple locations and deliver them to other locations. Reusability: the ability to use instructional components in multiple applications, courses and contexts.  ADL has identified six essential high-level attributes for all distributed learning environments.

8 Interopérabilité : capacité à prendre des composants développés sur un système donné et de les utiliser dans un autre système. Accéssibilité : capacité à trouver et à accéder à des composants provenant de différentes sources et à les envoyer vers de nouveaux emplacements. Réutilisabilité : capacité à utiliser des composants pour de mutiples applications, cours et contextes.  ADL a identifié 6 principaux attributs de hauts niveaux pour tous les environnements d’apprentissage répartis. Conditions de Haut Niveau

9 Durability: the ability to withstand technology changes over time without costly redesign, reconfiguration or recoding. Maintainability: the ability to withstand content evolution and changes without costly redesign, reconfiguration or recoding. Adaptability: the ability to change to satisfy differing user needs. High-level Requirements

10 Durabilité : capacité à resister aux changements technologiques sans surcôut de reconception, reconfiguration ou recodage. Maintenabilité : capacité à resister à l’évolution des contenus et changements changements sans surcôut de reconception, reconfiguration ou recodage. Adaptabilité : capacité à évoluer afin de s’adapter aux divers besoins des utilisateurs. Conditions de Haut Niveau

11 ADL Strategy  Work closely with industry, government, and academia to promote common, open international specifications and standards that will enable reuse and interoperability of learning content  Promote widespread collaboration that can satisfy common needs  Enhance performance with emerging learning technologies  Promote a coordinated implementation process with incentives for organizational and cultural change

12 Stratégie d’ADL  Travailler en collaboration avec l’industrie, le gouvernement et les universités à la promotion de spécifications et standards internationaux ouverts, communs, qui permettront la réutilisation et l’interopérabilité des contenus pédagogiques  Promouvoir une large collaboration qui permettra de satisfaire les besoins communs  Améliorer la performance avec les technologies d’apprentissage émergentes  Promouvoir un processus d’inplémentation coordonné motivé par le changement organisationnel et culturel

13 CEN/ISS Managing Adoption through the Model ADL Model for Standards Evolution

14 CEN/ISS Gérer l’adoption au travers du Modèle ADL Modèle pour l’évolution des standards et normes Concepts R&D Brouillon Spécifications techniques Standards accrédités Standards approuvés Modèles de référence Développement du prototype et évaluation

15 A software model that defines the interrelationship of course components, data models, and protocols such that content “objects” are sharable across systems that conform with the same model.

16 Un modèle logiciel qui définit les inter relations entre les composants d’un cours, les modèles de données et les protocoles de telle sorte que les “objets” de contenu soient partageables par des systèmes différents conformes à ce même modèle.

17  Content Aggregation Model Metadata (from IEEE LOM 1484.12) Content Structure (derived from AICC) Content Packaging (from IMS) Sequencing Information (from IMS)  Run-Time Environment  IEEE Application Programming Interface (1484.11.2)  IEEE Data Model (1484.11.1)  Sequencing & Navigation Sequencing Information & Behavior (from IMS) The SCORM Books

18  Modèle d’agrégation de contenus Métadonnées (issues de IEEE LOM 1484.12) Structure des contenus (dérivée d’AICC) Agrégat de contenus (issu d’IMS) L’information de séquencement (issue d’IMS)  Environnement d’exécution  API (Application Programming Interface) IEEE (1484.11.2)  Modèle de données IEEE (1484.11.1)  Séquencement & Navigation Séquencement & Comportement (issues d’IMS) Les ouvrages SCORM

19

20  Couldn’t move learning objects from one server to another  Couldn’t reuse learning objects across different courses  Couldn’t easily apply a new sequencing strategy (such as branching or remediation) to existing instructional structures  Couldn’t search learning object libraries or media repositories across different learning environments Conditions Before SCORM

21 Avant SCORM  Impossiblilité de transporter des objets d’enseignement d’un serveur à un autre  Impossibilité de réutiliser des objets d’enseignement entre différents cours  Impossibilité d’appliquer facilement une nouvelle stratégie de séquencement (ex : arborescence ou remédiation) à des structures existantes  Impossibilité de rechercher des bibliothèques d’objets pédagogiques ou des répertoires de médias au travers d’environnements d’apprentissage différents

22  DoD-developed or acquired distributed learning content and systems shall conform to SCORM  All distributed learning content must be registered Implementation: DoD Instruction

23  DoD- Les contenus et systèmes développés ou acquis devraient se conformer à SCORM  Tout contenu d’enseignement distribué doit être enregistré Implémentation : DoD Recommandation

24 Certification vs. Conformance  Can be conformant without being certified  Certification is performed by an ADL approved third party auditor using the same ADL Test Suite software  Vendor pays auditor for certification  No charge for the ADL Adopter program

25 Certification vs. Conformité  On peut être conforme sans être certifié  La certification est faite par un auditeur tiers reconnu par ADL et utilisant les mêmes logiciels de Tests ADL  Le fournisseur paye l’auditeur pour la certification  Il n’y a pas de coût lié à ADL

26 Certification

27 Background  ADL community identified a need for a certification process  ADL has continued to develop this process  Beta certification training was held in 2001  Two Testing Centers were established in 2002  Academic ADL Co-Lab  (Testing performed by auditors from Wisconsin Testing Organization)  Naval Undersea Warfare Center (NUWC) Division Keyport  Centers coordinated processes for consistency

28 Historique  La communauté ADL a identifié le besoin d’un processus de certification  ADL a poursuivi le développement de ce processus  Une formation sur la certification Beta s’est tenue en 2001  2 centres de tests été ouverts en 2002  Academic ADL Co-Lab  (Tests effectués par des auditeurs de Wisconsin Testing Organization)  Naval Undersea Warfare Center (NUWC) Division Keyport  Les centres coordonnent les processus pour plus d’homogénéité

29 Certification IS  Independent third party testing  Provides consumers of distributed learning content and systems with the assurance that certified products have successfully implemented ADL SCORM specifications

30 Certification IS  Tiers testeur indépendant  Garantie aux utilisateurs de contenus et systèmes d’enseignement distribués que les produits certifiés ont intégrés avec succès les spécifications SCORM d’ADL

31 Certification is NOT  An endorsement by the ADL Initiative  A guarantee that a product has been tested for defects in functionality  A guarantee that the product’s content is instructionally sound

32 La Certification N’EST PAS  Une approbation par L’Initiative ADL  Une garantie que le produit a été testé sur des défauts fonctionnels  Une garantie que le producteur de contenu est solvable

33 What is SCORM Conformance?  Valid implementation of SCORM  LMS products and content can be conformant to SCORM 1.2 or 2004 2nd Edition  NO conformance for authoring tools, organizations, people, etc.  Functionality specified in Conformance Requirements documents  Available at www.adlnet.gov

34 Qu’est-ce que la conformité à SCORM ?  Une implémentation valide de SCORM  Les plate-forme et contenus peuvent être conformes à SCORM 1.2 ou 2004 2e Edition  PAS de conformité pour les outils auteurs, sociétés, personnes, etc.  Les modalités sont précisées dans les documents Conformance Requirements  Disponibles sur www.adlnet.gov

35 Determining Conformance  ADL Conformance Test Suite software  SCORM 1.2: Conformance Test Suite Version 1.2.7 (Self Test)  SCORM 2004 2nd Edition: Conformance Test Suite Version 1.3.3 (Self Test)

36 Déterminer la Conformité  Suite logicielle de test de conformité d’ADL  SCORM 1.2 : Test de Conformité Version 1.2.7 (Auto Test)  SCORM 2004 2e Edition : Test de Conformité Version 1.3.3 (Auto Test)

37 Conformance / Certification Levels SCORM 1.2SCORM 2004 2nd Edition  LMS (3 levels)  SCO (4 levels)  Metadata (4 levels)  Content Package (1 level)  LMS (1 level)  Content Package (1 level)

38 Conformité / Niveaux de Certification SCORM 1.2SCORM 2004 2e Edition  Plate-forme LMS (3 Niveaux)  SCO (4 Niveaux)  Metadonnées (4 Niveaux)  Agrégat de contenu (1 Niveau)  Plate-forme LMS (1 niveau)  Agrégat de contenu (1 Niveau)

39 Logos  Logos will be used to limit confusion and maintain the integrity and consistency of the certification process  Logos reflect SCORM version and conformance category

40 Logos  Les Logos seront utilisés afin de limiter les confusions et de préserver l’intégrité et l’unité du processus de certification  Les Logos reflètent la version et la catégorie de conformité SCORM

41 Certification vs. Conformance  Can be conformant without being certified  Certification is performed by an ADL approved third party auditor using the same ADL Conformance Test Suite software  Vendor pays auditor for certification  No charge for the ADL Adopter program

42 Certification vs. Conformité  On peut être conforme sans être certifié  La certification est faite par un auditeur tiers reconnu par ADL et utilisant les mêmes logiciels de Tests ADL  Le fournisseur paye l’auditeur pour la certification  Il n’y a pas de coût lié à ADL

43 Certification Centers  Naval Underwater Warfare Center http://www-keyport.kpt.nuwc.navy.mil/ADL.htm http://www-keyport.kpt.nuwc.navy.mil/ADL.htm  Wisconsin Testing Organization http://www.witesting.org http://www.witesting.org  Both testing centers use same testing procedure and similar processes

44 Centres de Certification  Naval Underwater Warfare Center http://www-keyport.kpt.nuwc.navy.mil/ADL.htm http://www-keyport.kpt.nuwc.navy.mil/ADL.htm  Wisconsin Testing Organization http://www.witesting.org http://www.witesting.org  Both testing centers use same testing procedure and similar processes

45 Vendor/Developer Academic ADL Co-Lab Start Academic ADL Co-Lab No Yes No  Review self test logs and product information forms.  Provide the following to the Vendor/Developer: Letter or email with description of services to be provided and estimated fee The SCORM Conformance Registration Agreement Form  Run self test suite available at www.adlnet.gov  Review process and download product information forms at www.witesting.org  Submit self test logs and forms to the Academic ADL Co- Lab.  Provide Vendor/ Developer with Test Results Report Form and the test log  Provide ADL Certified logo to Vendor/ Developer  Provide test results to the Alexandria ADL Co-Laboratory Finish  Fill out, sign, and return the SCORM Conformance Registration Agreement Form  When notified, send product with installation instructions, product pre-installed on hardware, or login information Vendor/Developer  Invoice Vendor/ Developer  Send SCORM Logo License Agreement and Vendor Consent Forms Academic ADL Co-Lab Vendor/Developer  Pay invoice  Fill out, sign and return SCORM Logo License Agreement and Vendor Consent Forms authorizing release of test results  Post successful certification test results on ADL Website (www.adlnet.gov) Alexandria ADL Co-Laboratory Vendor/ Developer opts to proceed with SCORM test? Yes Wisconsin Testing Organization  Perform conformance test End Product Passes Conformance Test Vendor/ Developer request a retest? No WisconsinTesting Organization Certification Process Yes

46 Vendor/Developer Academic ADL Co-Lab Start Academic ADL Co-Lab No Yes No  Review self test logs and product information forms.  Provide the following to the Vendor/Developer: Letter or email with description of services to be provided and estimated fee The SCORM Conformance Registration Agreement Form  Run self test suite available at www.adlnet.gov  Review process and download product information forms at www.witesting.org  Submit self test logs and forms to the Academic ADL Co- Lab.  Provide Vendor/ Developer with Test Results Report Form and the test log  Provide ADL Certified logo to Vendor/ Developer  Provide test results to the Alexandria ADL Co-Laboratory Finish  Fill out, sign, and return the SCORM Conformance Registration Agreement Form  When notified, send product with installation instructions, product pre-installed on hardware, or login information Vendor/Developer  Invoice Vendor/ Developer  Send SCORM Logo License Agreement and Vendor Consent Forms Academic ADL Co-Lab Vendor/Developer  Pay invoice  Fill out, sign and return SCORM Logo License Agreement and Vendor Consent Forms authorizing release of test results  Post successful certification test results on ADL Website (www.adlnet.gov) Alexandria ADL Co-Laboratory Vendor/ Developer opts to proceed with SCORM test? Yes Wisconsin Testing Organization  Perform conformance test End Product Passes Conformance Test Vendor/ Developer request a retest? No WisconsinTesting Organization Certification Process Yes

47 Certifications (6/5/06)  SCORM 1.2 Certified LMSs 67 Certified Content 47  SCORM 2004 2nd Edition Certified LMSs 24 Certified Content 14

48 Certifications (05/06/2006)  SCORM 1.2 Certifie les LMSs 67 Certifie les Contenus 47  SCORM 2004 2e Edition Certifie les LMSs 24 Certifie les Contenus 14

49 International Certifications As of International Plugfest II – Jan 2006

50 Certifications Internationales As of International Plugfest II – Jan 2006

51 Certified Products

52 Produits certifiés

53 SCORM Adopters Program  Products that adopt SCORM specifications and are determined conformant using the most recent version of the Conformance Test Suite  Submit Conformance Test Suite logs to ADL  SCORM Adopters are also considered to be ADL Partners  Currently 212 vendors are SCORM Adopters

54 Programme d’adoption de SCORM  Les produits qui adoptent les spécifications SCORM et qui sont conformes à la dernière version de la suite logicielle de Tests de conformité ADL  Soumettre les logs du test de conformité à ADL  Ceux qui adoptent SCORM sont également considérés comme associés d’ADL  Acteullement, 212 fournisseurs ont adopté SCORM

55 ADLNet.gov Web site  Certified Products Only listing of ADL Certified LMS and Content products https://www.adlnet.gov/scorm/certified/index.cfm  SCORM Adopters  https://www.adlnet.gov/scorm/adopters/index.cfm https://www.adlnet.gov/scorm/adopters/index.cfm

56 Site Web ADLNet.gov  Produits certifiés Uniquement la liste des plate-formes et contenus certifiés ADL https://www.adlnet.gov/scorm/certified/index.cfm  Ceux qui ont adopté SCORM  https://www.adlnet.gov/scorm/adopters/index.cfm https://www.adlnet.gov/scorm/adopters/index.cfm

57 Conformance Testing

58 Tests de conformité

59 Conformance Test Suite  Purpose Provide organizations with the ability to perform self testing to determine their conformance to the SCORM Conformance Requirements Java 2 Software Development Kit Microsoft Internet Explorer or Netscape Navigator  Aspects Content Package Conformance Test LMS Conformance Test Manifest Utility Test SCO Conformance Utility Test Metadata Conformance Utility Test

60 Tests de Conformité  Objectifs Permettre aux organisations d’exécuter un auto-test pour déterminer leur conformité aux recommandations SCORM Kit de développement Java 2 Internet Explorer de Microsoft ou navigateur Netscape  Aspects traités Test de conformité de l’agrégat de contenus Test de conformité de la plate-forme LMS Test du Manifest Test de la conformité des SCO Test de conformité des Métadonnées

61 Conformance Test Suite Conformance Requirements Content PackageLMS Content Package Well Formed and Valid Manifest, Conform to Content Package Application Profile, Controlling Documents exist at the root of the content package Import Package Metadata Well Formed and Valid XML, Conform to the ADL Metadata Application Profile None RTE API Initialize and TerminateProvides API RTE Data Models Valid syntax of Data Model ElementsSupport of ALL Data Model Elements Sequencing and Navigation Manifest is tested for syntax only, not behavior Conform to SCORM Conformance Requirements Content Package Conformance Label LMS Conformance Label

62 Tests de Conformité Conditions de conformité Agrégat de contenusPlate-forme LMS Agrégat de contenus Manifest Bien formé et valide, conforme au profil d’application de l’agrégat de contenus, Les documents de contrôle sont à la racine du paquet Import des paquets d’agrégat de contenus Metadonnées XML bien formé et valide, Conforme au profil d’application des Métadonnées ADL NA API de l’environnement d’exécution (RTE) Initialisation et clôtureFournit l’API Modèles de données RTE Syntaxe des éléments du modèle de données valide Intègre tous les éléments du modèle de données Séquencement et Navigation Le Manifest est uniquement testé sur sa syntaxe et pas sur son comportement Conforme à SCORM Conditions de Conformité Label de Conformité de l’agrégat de contenus Label de Conformité du LMS

63 Conformance Test Suite Demonstration

64 Tests de Conformité Démonstration

65 Conformance Test Suite

66 Tests de Conformité

67 Conformance Test Suite  With each run, the Conformance Test Suite produces test logs with the following symbols and meanings:

68  A chaque exécution, les tests de conformité génèrent des fichiers de logs intégrant les symboles et définitions suivants : Tests de Conformité

69 Content Package Conformance Test  The Content Package Conformance Test verifies that the content package test subject: Contains an imsmanifest.xml XML document at the root of the content package that: Is well-formed; Validates against the ADL Content Packaging Version 1.3 Schema; Conforms to the rules specified in the Content Package Application Profiles; Optionally uses extensions. Contains all supporting schema definition files at the root of the package. Contains conformant Asset, SCO, Activity, Content Organization, and Content Aggregation Metadata as determined by the Metadata Conformance Utility Test. Contains conformant SCOs as determined by the SCO RTE Conformance Utility Test.

70 Test de conformité de l’agrégat de contenus  Le test de conformité de l’agrégat de contenus vérifie que le paquet : Contient un fichier XML imsmanifest.xml à sa racine qui : Est bien formé; Valide le Schéma d’ADL pour l’agrégat de contenus Version 1.3; Est conforme aux règles spécifiées dans les profils d’application de l’agrégat de contenus; En option, utilise des extensions. Contient tous les fichiers de définition de schéma supportés à sa racine. Contient les ressources, SCO, activités, organisation de contenus et métadonnées conformes comme cela est précisé par le test de conformité des Métadonnées. Contiens des SCOs conformes comme cela est précisé dans le test de conformité de l’environnement d’exécution.

71 Content Package Conformance Test

72 Test de conformité de l’agrégat de contenus

73 LMS Conformance Test  The Learning Management Conformance Test verifies that the LMS test subject is able to: Import a known SCORM conformant Content Package Launch an asset Launch known SCORM conformant Sharable Content Objects (SCOs) Support the Run-Time Environment Application Program Interface (API) defined in the SCORM Support all data model elements defined in the SCORM Run- Time Environment Data Model Support Sequencing and Navigation as defined in the SCORM

74 Test de conformité de la plate-forme LMS  Ce test vérifie que la plate-forme LMS peut : Importer un paquet conforme à SCORM Lancer une ressource asset Lancer une ressource SCOs (Sharable Content Objects ) conforme Supporte l’API de l’environnement d’exécution définit dans SCORM Supporte tout élément du modèle de données définit dans le modèle de données de l’environnement d’exécution SCORM Supporte le Séquencement et la Navigation définis dans SCORM

75 LMS Conformance Test

76 Test de conformité du LMS

77