Country example of QoS measurement of voice service Case of Morocco ITU Workshop on “Workshop on Practical measurement of QoS/QoE Parameters for Regulatory Compliance” (Cotonou, Benin, 16-17 July 2012) Country example of QoS measurement of voice service Case of Morocco Hassan TALIB, Vice-Chair ITU-T SG 12, talib@anrt.ma // htalib@ties.itu.int Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

La QoS des télécommunications au Maroc Tous les opérateurs ont des engagements explicites en matière de QoS Opérateurs VSAT GMPCS Radio Trunk ISP Opérateurs Fixe et mobile Opérateur Fixe avec mobilité restreinte Fixe et mobile: oligopole SPACECOM GULFSAT CIMECOM MAROC TELECOM MEDITELECOM EUROPEAN DATACOM GLOBALSTAR ORBCOMM SOREMAR THURAYA INQUAM MORATEL Duopole Oligopole oligopole Concurrence ouverte CONNECT (WANA) ISPs Cotonou, Benin, 16-17 July 2012

La QoS des télécommunications au Maroc Un cadre réglementaire international (normes) : UIT-T : séries E, G, P, Y, QoS handbook, ... Régionales : ETSI (série EG), IEEE,… Un cadre réglementaire national : Attributions Obligations QoS des opérateurs Un benchmark des meilleurs pratiques et une veille technologique l’ANRT exerce un suivi régulier de la QoS Retour d’usage : Plaintes, Presse, Associations des consommateurs, … Analyse des données reçues des opérateurs en termes de performances, KPI et mesures QoE Mesures terrain (campagnes) réalisées par l’ANRT Cotonou, Benin, 16-17 July 2012

La QoS des télécommunications au Maroc Evolution du service voix téléphonie mobile au Maroc Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Choix d’une méthode subjective La qualité de service privilégie des modèles de référence (standards UIT-T : E, I, G, P, Y… ou ETSI : ETSI TS 102 250-x), portant sur des niveaux de performance du service offert et des méthodes d’évaluation. Les modèles et les méthodes sont supposés être cohérents avec les attentes des usagers. Pour le service voix, les exigences de QoS peuvent être liées à plusieurs aspects résumés en sa disponibilité, son accessibilité, sa continuité et sa fiabilité. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Choix d’une méthode subjective Vision opérateur Vision régulateur Motivation Economique Concurrentielle Réglementation et régulation Centre d’intérêt (usagers) Fidélisation des usagers (churn) et attraction de nouveaux (Concept SLA) Protection des usagers Evaluation Interne (différentes composantes du réseau) KPI Externe (de bout en bout : service tel que perçu au quotidien par les usagers) Outils d’évaluation Compteurs machines internes au réseau (méthodes objectives) DTS (Méthodes objectives) Mesures et enquêtes par méthodes subjectives (Méthodes subjectives) Nécessité d’harmoniser les définitions des indicateurs entre les opérateurs et le régulateur. Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Liste et définitions des indicateurs Taux Indicateur Définition TR Taux de communications réussies et maintenues pendant 2 minutes Une communication est considérée comme réussie si l’appel lancé aboutit dès la première tentative et si la communication est maintenue 2 minutes sans coupure. Le taux (TR) est le rapport entre le nombre de communications réussies et le nombre total des tentatives appels effectuées. Parfaite Taux de communications réussies et maintenues 2 minutes et de qualité auditive parfaite Une communication est considérée comme réussie et de qualité parfaite si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est parfaite (comparable à la qualité d’une communication directe). Acceptable Taux de communications réussies et maintenues 2 minutes et de qualité auditive acceptable Une communication est considérée comme réussie et de qualité acceptable si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est légèrement perturbée sans toutefois gêner la conversation. Médiocre Taux de communications réussies et maintenues 2 minutes et de qualité auditive médiocre Une communication est considérée comme réussie et de qualité Médiocre si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est fréquemment gênée dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre. Mauvaise Taux de communications réussies et maintenues 2 minutes et de qualité auditive mauvaise Une communication est considérée comme réussie et de qualité dégradée si elle est réussie au sens du premier indicateur et s’il est très difficile de s’entendre, la conversation est impossible. TC Taux de communications coupées Une communication est considérée comme coupée si, à la première tentative, elle est établie et maintenue plus de 5 secondes, mais coupée avant 2 min. Le taux (TC) est le rapport entre le nombre de communications coupées et le nombre total des tentatives appels effectuées. TE Taux de communications échouées Une communication est considérée en échec si à la première tentative, elle n’est pas établie ou n’a pas été maintenue, plus de 5 secondes. Le taux (TE) est le rapport entre le nombre de communications échouées et le nombre total des tentatives appels effectuées. TR + TE + TC = 100% et TNR = TE + TC Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Liste et définitions des indicateurs Evaluation subjective de la qualité auditive : définitions des défauts de communication vocale Défaut Définition Voix faible Niveau reçu sensiblement plus faible que le niveau normal Echo Retour de son émis distinct en simultané Bruit métallique Bruits hachés comparables à des bruits métalliques Grésillement Bruits de friture Microcoupures Petites interruptions du son donnant une perception de hachage Silence Blanc assez long Distorsion Déformation de la voix distante sans autre bruit Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Une mesure de la QoS doit nécessairement se dérouler dans une zone couverte à la fois par tous les réseaux mobiles concernés. Mesure de la QoS est différente de la mesure de la couverture. Une mesure de la QoS voix consiste à tenter d’établir une communication de l’enquêteur mobile vers l’enquêteur fixe en vue de vérifier l’aboutissement de l’appel (absence d’échec) et le maintien de la communication pendant deux minutes (absence de coupure) et évaluer la qualité auditive de la communication établie. Chaque réseau est testé par un “ binôme ” d’enquêteurs, l’un mobile et l’autre fixe. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Une communication est considérée en échec si : à la première tentative (temps d’attente maximum est de 15 secondes), elle n’est pas établie, ou n’a pas été maintenue plus de 5 secondes. Une communication est considérée comme coupée si, à la première tentative : elle est établie et maintenue plus de 5 secondes, mais coupée avant 2 minutes. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Précautions à prendre : Outdoor : éviter de faire les mesures sous les arbres. Indoor : en profondeur dans les immeubles et jusqu’au 8ème étage. Incar : utiliser des terminaux sans antennes supplémentaires et rouler avec une vitesse inférieur à 80km/h. Forcer les terminaux sur la 2G en cas d’utilisation de postes bimodes. Tous les points de mesures doivent être couverts. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Echantillon et considérations statistiques : Durée moyenne d’une mesure : 7 mn, Durée moyenne de mesures est par jour : 8H à 10H (Exemple : 09H00-13H00 et 14H-20H), Quotidiennement (par équipe) : 85 mesures x Nombre d’opérateurs ; Pour 3 opérateurs : 255 mesures par jour, Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Echantillon et considérations statistiques : Element de répartition: Par opérateur, Par site (villes, autoroutes, routes nationales, axes ferrovières), par configuration (Indoor, Outdoor, Incar), par destination du trafic (OnNet et OffNet). Grands nombres pour assurer un échantillon significatif (erreur statistique d’environ 2%) : les valeurs elementaires après toute répartition doivent être suppérieures à 33. Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Organisation et déroulement : Décider de réaliser par des ressources propres ou sous-traitance maîtrisée, Sélectionner efficacement les enquêteurs (mobiles et fixes) et animer une formation pointue, Se concerter avec les opérateurs sur la méthodologie mais non pas l’échantillon et le planning de chaque campagne, Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Organisation et déroulement : Développer un guide de l’enquêteur avec des formulaires (templates) à servir par l’enquêteur : Réf., temps, coordonnées GPS, destinataire, résultats,… Utiliser le principe de codification : opérateur, site, configuration, trafic,… Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Organisation et déroulement : Garantir toutes les conditions pour que chaque mesure se déroulera exactement dans les mêmes conditions pour tous les opérateurs : temps, espace, méthode,… Faire un nombre importants de tests à blanc pour le calibrage de tout le système de test. Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Protocole de mesures de la QoS voix Méthodologie de mesures Traitement des résultats : (Livrables) Tendance en indicateur “positif” : taux de réussite. Tendance en indicateur “négatif” : taux de non-réussite = TE+TC. Rapports : Rapport global : référence, Rapport spécifique à chaque opérateur (demande de plan d’actions des corrections), Rapport pour publication. Cotonou, Benin, 16-17 July 2012

Plan de la présentation La QoS des télécommunications au Maroc Un protocole de mesures de la QoS voix : Choix d’une méthode subjective, Liste et définitions des indicateurs, Méthodologie de mesures : Définition d’une mesure QoS voix, Echantillon et considérations statistiques, Organisation et déroulement, Traitement des résultats. Recommandations aux régulateurs/Op. Cotonou, Benin, 16-17 July 2012

Conclusions et Recommandations Recommandation n°1 Concertation permanente avec les opérateurs en amant sur la méthodologie : financement des campagnes. Adoption d’un protocole concerté de références pour les mesures. Recommandation n°2 Usage positif des résultats par les opérateurs (considérer les sanctions comme dernier recourt). Cotonou, Benin, 16-17 July 2012

Conclusions et Recommandations Recommandation n°3 Publication des résultats de mesures, Proposition d’un scénario : 1ère campagne voix sur un échantillon large (trentaine de villes, autoroutes, routes nationales et axes ferroviaires). 1er trimestre de l’année 2ème campagne similaire à la première basée pratiquement sur le même échantillon. 4ème trimestre de l’année (Publication des résultats) Communication des résultats aux opérateurs Délai de 5 à 6 mois pour correction des anomalies identifiées par l’ANRT Cotonou, Benin, 16-17 July 2012

Conclusions et Recommandations Recommandation n°3 (bis) Publication des résultats de mesures   Taux de réussite global (On-Net et Off-Net) par site de mesures et par opérateur Site de mesures TMR Operateur 1 Operateur 2 Opérateur 3) Tous les sites 95,32% = Villes 96,78% Autoroutes 95,68% - - + Routes nationales 96,03% Axes ferroviaires 87,00% Le TMR est égal à la moyenne des taux de réussite (TR) enregistrés par chacun des trois opérateurs : TMR Cotonou, Benin, 16-17 July 2012

Merci pour votre attention talib@anrt.ma // htalib@ties.itu.int Questions/Réponses talib@anrt.ma // htalib@ties.itu.int Cotonou, Benin, 16-17 July 2012