9/5/20061 Présentation des travaux du Club Qostic de l'AFUTT AFORST 9 mai 2006

9/5/20062 Plan de la présentation Le Club Qostic Le cadre réglementaire de la QoS La méthodologie Qostic d'évaluation de la QoS Description fonctionnelle des services Les étapes du parcours client Critères d'évaluation de la QoS L'application de la méthode à chaque service Le choix des indicateurs pertinents Les préoccupations majeures des utilisateurs

9/5/20063 Le Club Qostic Ouvert à tous les acteurs de la chaîne de valeur Télécoms, Internet et Système dInformation, pour : Identifier des indicateurs de QoS pertinents pour les utilisateurs. Vulgariser les notions élémentaires de QoS auprès des utilisateurs, entreprises ou particuliers. Dans une optique de recherche d'une méthodologie consensuelle entre ces différents acteurs

9/5/20064 Membres actuels du Club Qostic AFUTT BOUYGUES TELECOM DIRECTIQUE ENST FRANCE TELECOM IP-LABEL QOSMIC SFR

9/5/20065 Le Club Qostic Publications : La problématique qualité Télécom Décembre 2000 Contributions à l'ETSI : EG (2002) : "User Group; Quality of Telecom Services; Part 1: Methodology for Identification of Parameters relevant to the Users". EG (2002) : "User Group; Quality of telecom services; Part 2: User related parameters on a service specific basis EG (2002) : "User Group; Quality of Telecom Services; Part 3: Service Level Agreements Template". Participation a des manifestations : IIR SERVICE LEVEL AGREEMENT 21 juin 2000 EUROFORUM La Qualité de Services à l'heure du tout IP 10 novembre 2001 NOVAMEDIA - NGN janvier 2002 AFNOR Journée e-Commerce 3 septembre 2004

9/5/20066 Décret n° du 26 juillet 2005 (Arrêté L33-1) Lopérateur met en oeuvre les équipements et les procédures nécessaires, afin que les objectifs de qualité de service demeurent au niveau prévu par les normes en vigueur en particulier au sein de lUIT et de lETSI, notamment pour ce qui concerne les taux de disponibilité et les taux derreur de bout en bout. Lopérateur mesure la valeur des indicateurs de qualité de service définis par lAutorité de régulation des communications électroniques et des postes dans les conditions prévues par larticle L Les modalités de mise à disposition du public du résultat de ces mesures sont fixées par lAutorité de régulation des communications électroniques et des postes dans les mêmes conditions. V. aussi D.98-12

9/5/20067 Directive européenne Service Universel Article 22 …les autorités réglementaires nationales soient en mesure,.., d'exiger …la publication d'informations comparables, adéquates et actualisées sur la qualité de leurs services à l'attention des utilisateurs finals. Elles peuvent préciser, entre autres, les indicateurs relatifs à la qualité du service à mesurer, ainsi que le contenu, la forme et la méthode de publication des informations, afin de garantir que les utilisateurs finals auront accès à des informations complètes, comparables et faciles à exploiter.

9/5/20068 Cadre réglementaire de la QoS Ce qui est arrêté : Lopérateur a des objectifs de qualité de service et s'engage à les tenir. Lopérateur mesure la valeur des indicateurs de qualité de service définis par lARCEP. Les modalités de mise à disposition du public du résultat de ces mesures sont fixées par lARCEP. Ce qui reste à préciser : Le périmètre Les objectifs éventuels de qualité de service Comment assurer la fiabilité des résultats

9/5/20069 La méthodologie Qostic d'évaluation de la QoS Description fonctionnelle des services et de leurs principales fonctions Identification des étapes du parcours client Identification d'un ensemble de critères d'évaluation de la QoS applicables aux différents services et à chaque étape du parcours client Identification des indicateurs de QoS pertinents pour chaque service et chaque étape du parcours client pour des conditions d'utilisation données Définition des paramètres quantifiables

9/5/ Description fonctionnelle des services Établissement d'une liste des services et de leurs principales fonctions Explicitation du contenu de chaque service et des fonctions remplies Compte tenu des ressources limitées et de l'ampleur du travail, élaboration progressive en fonction de l'importance de ces services pour les utilisateurs.

9/5/ Liste des services à l'étude à ce jour par Qostic Accès Internet + authentification, résolution de noms, hébergement Audio/Video Streaming Messagerie électronique et vocale Service téléphonique (fixe, mobile, IP) Session de navigation Internet + trans. de données Services d'opérateur(opératrice) Services de renseignements téléphoniques Télécopie (Fax) SMS/Short Message Service

9/5/ Un exemple de définition Service téléphonique ouvert au public Échange bilatéral de messages vocaux entre deux ou plusieurs interlocuteurs distants, rendu possible grâce à l'établissement temporaire d'une liaison téléphonique. Le service inclut la mise en relation des correspondants et la libération de la ligne ainsi que l'ensemble des fonctions décrites dans le Décret n° du 26 juillet 2005

9/5/ Les étapes du parcours client Avant-vente et vente Information préalable, publicité Contractualisation Mise à disposition Installation Mise en service et réception

9/5/ Les étapes du parcours client (suite) LA FOURNITURE DU SERVICE Exploitation technique du service Service de transport Service applicatif Service de présentation à l'utilisateur Support technique Service d'assistance Documentation pour l'installation et la mise en service Documentation pour l'utilisation Support commercial Mise à niveau technique Réparation Modification des caractéristiques du service (config.) Gestion par le client du réseau/service (Network mgt.)

9/5/ Les étapes du parcours client (suite) Traitement des réclamations Taxation / Facturation Résiliation

9/5/ Critères d'évaluation de la QoS Huit critères retenus Disponibilité Délai/temps Fidélité Capacité Fiabilité Flexibilité Sécurité Simplicité/Ergonomie Ils s'appliquent aussi bien à l'exploitation technique qu'aux aspects non techniques

9/5/ Application de la méthode aux différents services Identification des indicateurs pour chaque service Les indicateurs et paramètres pour l'exploitation technique du service dépendent étroitement du service Les indicateurs et paramètres pour les aspects non techniques du parcours client sont peu dépendants de la nature du service Ce qui ne veut pas dire qu'on ne puisse pas avoir de résultats différents selon les services même si l'indicateur est le même !

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Disponibilité : Aptitude d'une entité à être accessible conformément aux conditions de la définition du service (temporelles et spatiales). NOTE : spatiale recouvre les aspects de couverture géographique et de dimensionnement des ressources. Exemple pour les SMS Indicateur : Taux de réussite des SMS* {Successful SMS Ratio} (probabilité qu'un utilisateur puisse envoyer avec succès un SMS d'un terminal à centre de messagerie). indique que le {paramètre} est décrit dans une norme Mesure : Pourcentage d'envoi de SMS réussi avec un intervalle de confiance de 95%

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Disponibilité : Exemple pour l'information préalable et la contractualisation Indicateur : Lisibilité du contrat Mesure : Taille de la police d'impression, Facilité de lecture, utilisation de mots du langage commun (MOS value)

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Vitesse/délai/temps : Aptitude de tout composant du service à opérer dans le temps requis conformément aux conditions de la définition du service. Exemple pour les transmissions de données Indicateur : Vitesse de transmission obtenue (upload et download)* {Data transmission speed achieved} : Mesure : Maximum, minimum, moyenne et écart-type de la vitesse de transmission avec un serveur situé dans le réseau de l'ISP Maximum, minimum, moyenne et écart-type de la vitesse de transmission avec des serveurs situés hors du réseau de l'ISP

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Vitesse/délai/temps : Exemple pour le support technique : Indicateur : Temps de réparation {Fault repair time for fixed access lines}* Mesure : Temps dans lequel 80% et 95% des réparations effectuées le plus rapidement ont été résolues. Pourcentage des réparations effectuées dans le temps retenu comme objectif.

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Fidélité : Aptitude d'un service à fonctionner sans altérer le contenu de l'information transférée. C'est à dire qu'il préserve exactitude et intégrité de l'information transmise en accord avec les conditions prédéfinies du service. Exemple pour le service téléphonique Indicateur : Qualité de la parole* {Speech connection quality} Niveau de qualité observé selon l'échelle de "E-Model" : (Excellent, élevé, acceptable, médiocre ou mauvais) Indicateur : Qualité de la signalisation : Taux d'erreur de numérotation Indicateur : Interruptions intempestive de la comm.* {Dropped call ratio} : Pourcentage de comms menées à terme jusquau raccroché Pourcentage de comms menées à terme jusquau raccroché pendant un déplacement (téléphonie mobile) Pourcentage de comms interrompues intempestivement avant le raccroché de l'un des interlocuteurs

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Fidélité : Exemple pour la taxation/facturation : Indicateur : Exactitude des données de taxation/facturation {Bill correctness complaints} * Mesure : Nombre de plaintes enregistrées sur une période de référence

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Capacité : Aptitude de tout composant du service à être calibré conformément aux conditions de la définition du service. Exemple de l'accès Internet Indicateur : Débit des accès Mesure : Taux maximum d'utilisation de la bande passante disponible en entrée.

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Capacité : Exemple pour l'information préalable et la contractualisation : Indicateur : Adéquation des ressources disponibles aux points de contact avec le nombre de contacts Mesure : Taux d'occupation des opérateurs à l'accueil Taux d'occupation des accès au serveur

9/5/ Critères d'évaluation de la QoS Application à tous les services Fiabilité : Probabilité qu'un service fonctionne dans les conditions spécifiées de disponibilité, fidélité, vitesse et capacité pendant une période donnée. Indicateur composite Mesure valable pour la plupart des services : Temps total pendant lequel, sur une période donnée, une au moins des spécifications contractuelles du service (disponibilité, fidélité, vitesse, capacité) n'est pas tenue.

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Flexibilité : Aptitude du service à évoluer en fonction des besoins. Exemple pour la messagerie vocale : Indicateur : Facilité de modification du message d'accueil Pourcentage d'utilisateurs jugeant l'interface satisfaisante ou très satisfaisante (MOS value) Indicateur : Variété des modes d'accès disponibles

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Flexibilité : Exemple applicable à la plupart des relations client : Indicateur : Variété des modes d'accès disponibles pour accéder au service considéré (Accueil physique, accueil téléphonique, site Internet, courriel, serveur vocal, etc.) Mesure : MOS value

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Sécurité : Aptitude d'un service à assurer la confidentialité des informations élaborées, transmises ou stockées, le secret des communications, l'authenticité et l'intégrité des informations échangées ou stockées ainsi que la protection de l'usager et de son moyen de communication contre toute forme d'agression (virus, spam, etc). Exemple pour Protection antispam : Certificat d'un organisme habilité Protection antivirus : Certificat d'un organisme habilité Protection parefeu : Certificat d'un organisme habilité

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Sécurité : Exemple applicable à la plupart des aspects non techniques : Indicateur : Robustesse de la gestion de l'accès à la fonction Mesure : Certificat d'un organisme habilité sur le domaine considéré.

9/5/ Critères d'évaluation de la QoS Application à l'exploitation technique Simplicité/Ergonomie : Convivialité et facilité d'utilisation du service ainsi que l'adaptation à toutes les catégories d'utilisateurs. Exemple Indicateur : Simplicité/ergonomie de l'interface Mesure : Pourcentage d'utilisateurs jugeant l'interface satisfaisante ou très satisfaisante (MOS value)

9/5/ Critères d'évaluation de la QoS Application aux aspects non techniques Simplicité/Ergonomie : Exemple pour la gestion par le client du réseau/service : Indicateur : Ergonomie des moyens mis à disposition de l'utilisateur pour les opérations qu'il a assurer. Mesure : Pourcentage d'utilisateurs jugeant l'interface satisfaisante ou très satisfaisante (MOS value).

9/5/ L'application de la méthodologie Pour chaque service après identification des indicateurs et paramètres sur lensemble du parcours client Sélection des indicateurs et paramètres les plus pertinents pour chaque service selon l'usage du service, les objectifs poursuivis (intérêt pour lutilisateur, en termes de compréhension, comparabilité et facilité de mise en œuvre ainsi que la finalité de l'évaluation : Conformité à un engagement : définition du service, SLA, Cahier des Charges, etc. Publication en tant qu'aide à la sélection du fournisseur le mieux adapté en fonction des exigences de l'utilisateur. Seuls sont à retenir les indicateurs pour les domaines où la QoS n'est pas pleinement satisfaisante pour l'utilisateur à un moment donné.

9/5/ Les préoccupations majeures des utilisateurs : % plaintes vs normes/réglementation Σ Litiges F+M+I% totalEG EG Livraison, installation 26% Supply time for initial connection Supply time for initial connection + pbs with number portability Résiliation19% Customer relations Facturation18% Bill correctness complaints Bill correctness compls Bill presentation quality Qualité de fonctionnement 15% Faults rate, Fault repair time, Call set-up time EG Speech connection quality Interruption de service 6% Unsuccessful call ratio Contrat6% Response time for admin/billing enquiries Vente forcée6% Customer relations SAV1% Customer relations

9/5/ La proposition de collaboration de Qostic avec l'ARCEP Validation de la méthode d'évaluation de la QoS et du champ d'application en 1ère étape Étude de l'application des normes EG et EG Sélection des services à traiter pour la suite Identification des paramètres et indicateurs de performance pour les services retenus Sélection des indicateurs pertinents pour la performance technique et la gestion de ces services