SCORM Conformance Testing and Certification LIFE Fest 2006 Paul Jesukiewicz Angelo Panar

Tests de conformité et Certification SCORM LIFE Fest 2006 Paul Jesukiewicz Angelo Panar

Outline  Introduction to ADL Initiative  SCORM Overview  Certification  Conformance Testing Conformance Test Suite Purpose Demonstration

Sommaire  Présentation de l’Initiative ADL  SCORM Présentation générale  Certification  Tests de conformité La suite tests de conformité Objectif Démonstration

Advanced Distributed Learning

Enseignement avancé et distribué La vision d’ADL : Fournir un accès à un enseignement de qualité, proche des besoins individuels, rentable, n’importe quand et n’importe où.

High-level Requirements Interoperability: the ability to take instructional components developed in one system and use them in another system. Accessibility: the ability to locate and access instructional components from multiple locations and deliver them to other locations. Reusability: the ability to use instructional components in multiple applications, courses and contexts.  ADL has identified six essential high-level attributes for all distributed learning environments.

Interopérabilité : capacité à prendre des composants développés sur un système donné et de les utiliser dans un autre système. Accéssibilité : capacité à trouver et à accéder à des composants provenant de différentes sources et à les envoyer vers de nouveaux emplacements. Réutilisabilité : capacité à utiliser des composants pour de mutiples applications, cours et contextes.  ADL a identifié 6 principaux attributs de hauts niveaux pour tous les environnements d’apprentissage répartis. Conditions de Haut Niveau

Durability: the ability to withstand technology changes over time without costly redesign, reconfiguration or recoding. Maintainability: the ability to withstand content evolution and changes without costly redesign, reconfiguration or recoding. Adaptability: the ability to change to satisfy differing user needs. High-level Requirements

Durabilité : capacité à resister aux changements technologiques sans surcôut de reconception, reconfiguration ou recodage. Maintenabilité : capacité à resister à l’évolution des contenus et changements changements sans surcôut de reconception, reconfiguration ou recodage. Adaptabilité : capacité à évoluer afin de s’adapter aux divers besoins des utilisateurs. Conditions de Haut Niveau

ADL Strategy  Work closely with industry, government, and academia to promote common, open international specifications and standards that will enable reuse and interoperability of learning content  Promote widespread collaboration that can satisfy common needs  Enhance performance with emerging learning technologies  Promote a coordinated implementation process with incentives for organizational and cultural change

Stratégie d’ADL  Travailler en collaboration avec l’industrie, le gouvernement et les universités à la promotion de spécifications et standards internationaux ouverts, communs, qui permettront la réutilisation et l’interopérabilité des contenus pédagogiques  Promouvoir une large collaboration qui permettra de satisfaire les besoins communs  Améliorer la performance avec les technologies d’apprentissage émergentes  Promouvoir un processus d’inplémentation coordonné motivé par le changement organisationnel et culturel

CEN/ISS Managing Adoption through the Model ADL Model for Standards Evolution

CEN/ISS Gérer l’adoption au travers du Modèle ADL Modèle pour l’évolution des standards et normes Concepts R&D Brouillon Spécifications techniques Standards accrédités Standards approuvés Modèles de référence Développement du prototype et évaluation

A software model that defines the interrelationship of course components, data models, and protocols such that content “objects” are sharable across systems that conform with the same model.

Un modèle logiciel qui définit les inter relations entre les composants d’un cours, les modèles de données et les protocoles de telle sorte que les “objets” de contenu soient partageables par des systèmes différents conformes à ce même modèle.

 Content Aggregation Model Metadata (from IEEE LOM ) Content Structure (derived from AICC) Content Packaging (from IMS) Sequencing Information (from IMS)  Run-Time Environment  IEEE Application Programming Interface ( )  IEEE Data Model ( )  Sequencing & Navigation Sequencing Information & Behavior (from IMS) The SCORM Books

 Modèle d’agrégation de contenus Métadonnées (issues de IEEE LOM ) Structure des contenus (dérivée d’AICC) Agrégat de contenus (issu d’IMS) L’information de séquencement (issue d’IMS)  Environnement d’exécution  API (Application Programming Interface) IEEE ( )  Modèle de données IEEE ( )  Séquencement & Navigation Séquencement & Comportement (issues d’IMS) Les ouvrages SCORM

 Couldn’t move learning objects from one server to another  Couldn’t reuse learning objects across different courses  Couldn’t easily apply a new sequencing strategy (such as branching or remediation) to existing instructional structures  Couldn’t search learning object libraries or media repositories across different learning environments Conditions Before SCORM

Avant SCORM  Impossiblilité de transporter des objets d’enseignement d’un serveur à un autre  Impossibilité de réutiliser des objets d’enseignement entre différents cours  Impossibilité d’appliquer facilement une nouvelle stratégie de séquencement (ex : arborescence ou remédiation) à des structures existantes  Impossibilité de rechercher des bibliothèques d’objets pédagogiques ou des répertoires de médias au travers d’environnements d’apprentissage différents

 DoD-developed or acquired distributed learning content and systems shall conform to SCORM  All distributed learning content must be registered Implementation: DoD Instruction

 DoD- Les contenus et systèmes développés ou acquis devraient se conformer à SCORM  Tout contenu d’enseignement distribué doit être enregistré Implémentation : DoD Recommandation

Certification vs. Conformance  Can be conformant without being certified  Certification is performed by an ADL approved third party auditor using the same ADL Test Suite software  Vendor pays auditor for certification  No charge for the ADL Adopter program

Certification vs. Conformité  On peut être conforme sans être certifié  La certification est faite par un auditeur tiers reconnu par ADL et utilisant les mêmes logiciels de Tests ADL  Le fournisseur paye l’auditeur pour la certification  Il n’y a pas de coût lié à ADL

Certification

Background  ADL community identified a need for a certification process  ADL has continued to develop this process  Beta certification training was held in 2001  Two Testing Centers were established in 2002  Academic ADL Co-Lab  (Testing performed by auditors from Wisconsin Testing Organization)  Naval Undersea Warfare Center (NUWC) Division Keyport  Centers coordinated processes for consistency

Historique  La communauté ADL a identifié le besoin d’un processus de certification  ADL a poursuivi le développement de ce processus  Une formation sur la certification Beta s’est tenue en 2001  2 centres de tests été ouverts en 2002  Academic ADL Co-Lab  (Tests effectués par des auditeurs de Wisconsin Testing Organization)  Naval Undersea Warfare Center (NUWC) Division Keyport  Les centres coordonnent les processus pour plus d’homogénéité

Certification IS  Independent third party testing  Provides consumers of distributed learning content and systems with the assurance that certified products have successfully implemented ADL SCORM specifications

Certification IS  Tiers testeur indépendant  Garantie aux utilisateurs de contenus et systèmes d’enseignement distribués que les produits certifiés ont intégrés avec succès les spécifications SCORM d’ADL

Certification is NOT  An endorsement by the ADL Initiative  A guarantee that a product has been tested for defects in functionality  A guarantee that the product’s content is instructionally sound

La Certification N’EST PAS  Une approbation par L’Initiative ADL  Une garantie que le produit a été testé sur des défauts fonctionnels  Une garantie que le producteur de contenu est solvable

What is SCORM Conformance?  Valid implementation of SCORM  LMS products and content can be conformant to SCORM 1.2 or nd Edition  NO conformance for authoring tools, organizations, people, etc.  Functionality specified in Conformance Requirements documents  Available at

Qu’est-ce que la conformité à SCORM ?  Une implémentation valide de SCORM  Les plate-forme et contenus peuvent être conformes à SCORM 1.2 ou e Edition  PAS de conformité pour les outils auteurs, sociétés, personnes, etc.  Les modalités sont précisées dans les documents Conformance Requirements  Disponibles sur

Determining Conformance  ADL Conformance Test Suite software  SCORM 1.2: Conformance Test Suite Version (Self Test)  SCORM nd Edition: Conformance Test Suite Version (Self Test)

Déterminer la Conformité  Suite logicielle de test de conformité d’ADL  SCORM 1.2 : Test de Conformité Version (Auto Test)  SCORM e Edition : Test de Conformité Version (Auto Test)

Conformance / Certification Levels SCORM 1.2SCORM nd Edition  LMS (3 levels)  SCO (4 levels)  Metadata (4 levels)  Content Package (1 level)  LMS (1 level)  Content Package (1 level)

Conformité / Niveaux de Certification SCORM 1.2SCORM e Edition  Plate-forme LMS (3 Niveaux)  SCO (4 Niveaux)  Metadonnées (4 Niveaux)  Agrégat de contenu (1 Niveau)  Plate-forme LMS (1 niveau)  Agrégat de contenu (1 Niveau)

Logos  Logos will be used to limit confusion and maintain the integrity and consistency of the certification process  Logos reflect SCORM version and conformance category

Logos  Les Logos seront utilisés afin de limiter les confusions et de préserver l’intégrité et l’unité du processus de certification  Les Logos reflètent la version et la catégorie de conformité SCORM

Certification vs. Conformance  Can be conformant without being certified  Certification is performed by an ADL approved third party auditor using the same ADL Conformance Test Suite software  Vendor pays auditor for certification  No charge for the ADL Adopter program

Certification vs. Conformité  On peut être conforme sans être certifié  La certification est faite par un auditeur tiers reconnu par ADL et utilisant les mêmes logiciels de Tests ADL  Le fournisseur paye l’auditeur pour la certification  Il n’y a pas de coût lié à ADL

Certification Centers  Naval Underwater Warfare Center  Wisconsin Testing Organization  Both testing centers use same testing procedure and similar processes

Centres de Certification  Naval Underwater Warfare Center  Wisconsin Testing Organization  Both testing centers use same testing procedure and similar processes

Vendor/Developer Academic ADL Co-Lab Start Academic ADL Co-Lab No Yes No  Review self test logs and product information forms.  Provide the following to the Vendor/Developer: Letter or with description of services to be provided and estimated fee The SCORM Conformance Registration Agreement Form  Run self test suite available at  Review process and download product information forms at  Submit self test logs and forms to the Academic ADL Co- Lab.  Provide Vendor/ Developer with Test Results Report Form and the test log  Provide ADL Certified logo to Vendor/ Developer  Provide test results to the Alexandria ADL Co-Laboratory Finish  Fill out, sign, and return the SCORM Conformance Registration Agreement Form  When notified, send product with installation instructions, product pre-installed on hardware, or login information Vendor/Developer  Invoice Vendor/ Developer  Send SCORM Logo License Agreement and Vendor Consent Forms Academic ADL Co-Lab Vendor/Developer  Pay invoice  Fill out, sign and return SCORM Logo License Agreement and Vendor Consent Forms authorizing release of test results  Post successful certification test results on ADL Website ( Alexandria ADL Co-Laboratory Vendor/ Developer opts to proceed with SCORM test? Yes Wisconsin Testing Organization  Perform conformance test End Product Passes Conformance Test Vendor/ Developer request a retest? No WisconsinTesting Organization Certification Process Yes

Vendor/Developer Academic ADL Co-Lab Start Academic ADL Co-Lab No Yes No  Review self test logs and product information forms.  Provide the following to the Vendor/Developer: Letter or with description of services to be provided and estimated fee The SCORM Conformance Registration Agreement Form  Run self test suite available at  Review process and download product information forms at  Submit self test logs and forms to the Academic ADL Co- Lab.  Provide Vendor/ Developer with Test Results Report Form and the test log  Provide ADL Certified logo to Vendor/ Developer  Provide test results to the Alexandria ADL Co-Laboratory Finish  Fill out, sign, and return the SCORM Conformance Registration Agreement Form  When notified, send product with installation instructions, product pre-installed on hardware, or login information Vendor/Developer  Invoice Vendor/ Developer  Send SCORM Logo License Agreement and Vendor Consent Forms Academic ADL Co-Lab Vendor/Developer  Pay invoice  Fill out, sign and return SCORM Logo License Agreement and Vendor Consent Forms authorizing release of test results  Post successful certification test results on ADL Website ( Alexandria ADL Co-Laboratory Vendor/ Developer opts to proceed with SCORM test? Yes Wisconsin Testing Organization  Perform conformance test End Product Passes Conformance Test Vendor/ Developer request a retest? No WisconsinTesting Organization Certification Process Yes

Certifications (6/5/06)  SCORM 1.2 Certified LMSs 67 Certified Content 47  SCORM nd Edition Certified LMSs 24 Certified Content 14

Certifications (05/06/2006)  SCORM 1.2 Certifie les LMSs 67 Certifie les Contenus 47  SCORM e Edition Certifie les LMSs 24 Certifie les Contenus 14

International Certifications As of International Plugfest II – Jan 2006

Certifications Internationales As of International Plugfest II – Jan 2006

Certified Products

Produits certifiés

SCORM Adopters Program  Products that adopt SCORM specifications and are determined conformant using the most recent version of the Conformance Test Suite  Submit Conformance Test Suite logs to ADL  SCORM Adopters are also considered to be ADL Partners  Currently 212 vendors are SCORM Adopters

Programme d’adoption de SCORM  Les produits qui adoptent les spécifications SCORM et qui sont conformes à la dernière version de la suite logicielle de Tests de conformité ADL  Soumettre les logs du test de conformité à ADL  Ceux qui adoptent SCORM sont également considérés comme associés d’ADL  Acteullement, 212 fournisseurs ont adopté SCORM

ADLNet.gov Web site  Certified Products Only listing of ADL Certified LMS and Content products  SCORM Adopters 

Site Web ADLNet.gov  Produits certifiés Uniquement la liste des plate-formes et contenus certifiés ADL  Ceux qui ont adopté SCORM 

Conformance Testing

Tests de conformité

Conformance Test Suite  Purpose Provide organizations with the ability to perform self testing to determine their conformance to the SCORM Conformance Requirements Java 2 Software Development Kit Microsoft Internet Explorer or Netscape Navigator  Aspects Content Package Conformance Test LMS Conformance Test Manifest Utility Test SCO Conformance Utility Test Metadata Conformance Utility Test

Tests de Conformité  Objectifs Permettre aux organisations d’exécuter un auto-test pour déterminer leur conformité aux recommandations SCORM Kit de développement Java 2 Internet Explorer de Microsoft ou navigateur Netscape  Aspects traités Test de conformité de l’agrégat de contenus Test de conformité de la plate-forme LMS Test du Manifest Test de la conformité des SCO Test de conformité des Métadonnées

Conformance Test Suite Conformance Requirements Content PackageLMS Content Package Well Formed and Valid Manifest, Conform to Content Package Application Profile, Controlling Documents exist at the root of the content package Import Package Metadata Well Formed and Valid XML, Conform to the ADL Metadata Application Profile None RTE API Initialize and TerminateProvides API RTE Data Models Valid syntax of Data Model ElementsSupport of ALL Data Model Elements Sequencing and Navigation Manifest is tested for syntax only, not behavior Conform to SCORM Conformance Requirements Content Package Conformance Label LMS Conformance Label

Tests de Conformité Conditions de conformité Agrégat de contenusPlate-forme LMS Agrégat de contenus Manifest Bien formé et valide, conforme au profil d’application de l’agrégat de contenus, Les documents de contrôle sont à la racine du paquet Import des paquets d’agrégat de contenus Metadonnées XML bien formé et valide, Conforme au profil d’application des Métadonnées ADL NA API de l’environnement d’exécution (RTE) Initialisation et clôtureFournit l’API Modèles de données RTE Syntaxe des éléments du modèle de données valide Intègre tous les éléments du modèle de données Séquencement et Navigation Le Manifest est uniquement testé sur sa syntaxe et pas sur son comportement Conforme à SCORM Conditions de Conformité Label de Conformité de l’agrégat de contenus Label de Conformité du LMS

Conformance Test Suite Demonstration

Tests de Conformité Démonstration

Conformance Test Suite

Tests de Conformité

Conformance Test Suite  With each run, the Conformance Test Suite produces test logs with the following symbols and meanings:

 A chaque exécution, les tests de conformité génèrent des fichiers de logs intégrant les symboles et définitions suivants : Tests de Conformité

Content Package Conformance Test  The Content Package Conformance Test verifies that the content package test subject: Contains an imsmanifest.xml XML document at the root of the content package that: Is well-formed; Validates against the ADL Content Packaging Version 1.3 Schema; Conforms to the rules specified in the Content Package Application Profiles; Optionally uses extensions. Contains all supporting schema definition files at the root of the package. Contains conformant Asset, SCO, Activity, Content Organization, and Content Aggregation Metadata as determined by the Metadata Conformance Utility Test. Contains conformant SCOs as determined by the SCO RTE Conformance Utility Test.

Test de conformité de l’agrégat de contenus  Le test de conformité de l’agrégat de contenus vérifie que le paquet : Contient un fichier XML imsmanifest.xml à sa racine qui : Est bien formé; Valide le Schéma d’ADL pour l’agrégat de contenus Version 1.3; Est conforme aux règles spécifiées dans les profils d’application de l’agrégat de contenus; En option, utilise des extensions. Contient tous les fichiers de définition de schéma supportés à sa racine. Contient les ressources, SCO, activités, organisation de contenus et métadonnées conformes comme cela est précisé par le test de conformité des Métadonnées. Contiens des SCOs conformes comme cela est précisé dans le test de conformité de l’environnement d’exécution.

Content Package Conformance Test

Test de conformité de l’agrégat de contenus

LMS Conformance Test  The Learning Management Conformance Test verifies that the LMS test subject is able to: Import a known SCORM conformant Content Package Launch an asset Launch known SCORM conformant Sharable Content Objects (SCOs) Support the Run-Time Environment Application Program Interface (API) defined in the SCORM Support all data model elements defined in the SCORM Run- Time Environment Data Model Support Sequencing and Navigation as defined in the SCORM

Test de conformité de la plate-forme LMS  Ce test vérifie que la plate-forme LMS peut : Importer un paquet conforme à SCORM Lancer une ressource asset Lancer une ressource SCOs (Sharable Content Objects ) conforme Supporte l’API de l’environnement d’exécution définit dans SCORM Supporte tout élément du modèle de données définit dans le modèle de données de l’environnement d’exécution SCORM Supporte le Séquencement et la Navigation définis dans SCORM

LMS Conformance Test

Test de conformité du LMS