ITU Regional Standardization Forum for Africa (Kampala, Uganda, 23-25 June 2014) Les aspects réglementaires de la qualité de service Sous l’angle de E.Suppl9 ITU-T : “lignes directrices des aspects réglementaires de QoS” Hassan TALIB, Vice-Chair ITU-T SG 12, Head DCT ANRT talib@anrt.ma // htalib@ties.itu.int Kampala, Uganda, 24 June 2014

Plan de la présentation Présentation du E.Suppl9 ITU-T Pratiques de suivi de la QoS par un régulateur Mesure de la QoS de la voix pour les réseaux mobiles Mesures de la QoS (data) de l’Internet mobile Conclusions et recommandations Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Lignes directrices des aspects réglementaires de la QoS Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Des lignes directrices pour couvrir les mesures de la QoS de pratiquement tous les services de bout en bout telle que perçue par l’usager. Non PR/NP. Références principalement aux recommandations de l’UIT-T suivantes : P.10/G.100 : Définitions générales; E.800 : Définitions en relation avec la QoS; E. 803 : Paramètres supports QoS; E.804 : Aspects de QoS pour services mobiles. Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Différence QoS et Performance de réseaux, KPI et supports non techniques. QoS et QoE. Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Chaine d’influence de la QoS end-to-end : Organisations de normalisation; Industriels et équipementiers; Producteurs d’équipements terminaux; Opérateurs et prestataires de services; Régulateurs et administrations; Consommateurs. Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Les 4 éléments de base de la régulation de la QoS: Avoir des informations sur les niveaux de la QoS pour identification des zones de dégradation (Mesures et/ou collecte); Publier des informations sur la QoS; Prévoir dans les textes des seuils minimaux de QoS à respecter par les opérateurs (si non respect des sanctions sont prévues); Maintenir un dialogue constructif et permanent avec les opérateurs concernant la QoS. Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Les objectifs de la régulation de la QoS (comment choisir les paramètres et les seuils): Aider les clients à faire des choix éclairés; Vérification des plaintes; Comprendre la situation du marché; Le maintien ou l'amélioration de la qualité en présence ou absence de la concurrence; Aider les opérateurs à assurer une concurrence équitable; Faire en sorte que l’interconnexion des différents réseaux fonctionne bien. Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Les différentes activités de régulation de la QoS : Kampala, Uganda, 24 June 2014

Présentation du E.Suppl9 ITU-T Approches recommandées par les lignes directrices : Bien choisir, réviser et actualiser les paramètres et seuils de QoS; Adopter orientation encouragement et/ou sanction (pénalités); Publier les résultats au niveau du site Web; Un dialogue continu et constructif entre le régulateur et les opérateurs; Instauration de SLA dans les contrats liant les opérateurs et les usagers. Kampala, Uganda, 24 June 2014

Pratiques de suivi de la QoS par un régulateur Kampala, Uganda, 24 June 2014

Fondements pour le suivi de la QoS/QoE à l’ANRT Dispositif QoE : Portail QoE et applications téléchargées Adoption d’une stratégie de communication (publication) Un cadre réglementaire international (normes) : UIT-T : séries E, G, P, Y, QoS handbook, ... Régionales : ETSI (série EG), IEEE,… Un cadre réglementaire national : Attributions Obligations QoS des opérateurs Un benchmark des meilleurs pratiques et une veille technologique le régulateur exerce un suivi régulier de la QoS Analyse des données reçues des opérateurs en termes de performances, KPI et mesures QoE Retour d’usage : Plaintes, Presse, Associations des consommateurs, … Mesures terrain (campagnes) réalisées par l’ANRT Kampala, Uganda, 24 June 2014

Fondements pour le suivi de la QoS Mise en place d’un dispositif global de réception des KPI des opérateurs : tous réseaux et tous services Modèle complet opérationnel de données KPI selon des fréquences fixées Elaboration de documents de référence convenus par tous les acteurs encadrant les mesures terrain de la QoS Externalisation maîtrisée des mesures et usage des résultats par les opérateurs Kampala, Uganda, 24 June 2014

Mesure de la QoS de la voix pour les réseaux mobiles Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Liste et définitions des indicateurs Taux Indicateur Définition TR Taux de communications réussies et maintenues pendant 2 minutes Une communication est considérée comme réussie si l’appel lancé aboutit dès la première tentative et si la communication est maintenue 2 minutes sans coupure. Le taux (TR) est le rapport entre le nombre de communications réussies et le nombre total des tentatives appels effectuées. Parfaite Taux de communications réussies et maintenues 2 minutes et de qualité auditive parfaite Une communication est considérée comme réussie et de qualité parfaite si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est parfaite (comparable à la qualité d’une communication directe). Acceptable Taux de communications réussies et maintenues 2 minutes et de qualité auditive acceptable Une communication est considérée comme réussie et de qualité acceptable si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est légèrement perturbée sans toutefois gêner la conversation. Médiocre Taux de communications réussies et maintenues 2 minutes et de qualité auditive médiocre Une communication est considérée comme réussie et de qualité Médiocre si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est fréquemment gênée dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre. Mauvaise Taux de communications réussies et maintenues 2 minutes et de qualité auditive mauvaise Une communication est considérée comme réussie et de qualité dégradée si elle est réussie au sens du premier indicateur et s’il est très difficile de s’entendre, la conversation est impossible. TC Taux de communications coupées Une communication est considérée comme coupée si, à la première tentative, elle est établie et maintenue plus de 5 secondes, mais coupée avant 2 min. Le taux (TC) est le rapport entre le nombre de communications coupées et le nombre total des tentatives appels effectuées. TE Taux de communications échouées Une communication est considérée en échec si à la première tentative, elle n’est pas établie ou n’a pas été maintenue, plus de 5 secondes. Le taux (TE) est le rapport entre le nombre de communications échouées et le nombre total des tentatives appels effectuées. TR + TE + TC = 100% et TNR = TE + TC Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Evaluation de la qualité auditive : définitions des défauts de communication vocale Défaut Définition Voix faible Niveau reçu sensiblement plus faible que le niveau normal Echo Retour de son émis distinct en simultané Bruit métallique Bruits hachés comparables à des bruits métalliques Grésillement Bruits de friture Microcoupures Petites interruptions du son donnant une perception de hachage Silence Blanc assez long Distorsion Déformation de la voix distante sans autre bruit Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Une mesure de la QoS doit nécessairement se dérouler dans une zone couverte à la fois par tous les réseaux mobiles concernés. Mesure de la QoS est différente de la mesure de la couverture. Une mesure de la QoS voix consiste à tenter d’établir une communication de l’enquêteur mobile vers l’enquêteur fixe en vue de vérifier l’aboutissement de l’appel (absence d’échec) et le maintien de la communication pendant deux minutes (absence de coupure) et évaluer la qualité auditive de la communication établie. Chaque réseau est testé par un “ binôme ” d’enquêteurs, l’un mobile et l’autre fixe. Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Précautions à prendre : Forcer les terminaux sur la 2G en cas d’utilisation de postes bimodes. Outdoor : éviter de faire les mesures sous les arbres. Indoor : en profondeur dans les immeubles et jusqu’au 8ème étage. Incar : utiliser des terminaux sans antennes supplémentaires et rouler avec une vitesse inférieur à 80km/h. Tous les points de mesures doivent être couverts. Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Echantillon et considérations statistiques : Durée moyenne d’une mesure : 7 mn, Durée moyenne de mesures est par jour : 8H à 10H (Exemple : 09H00-13H00 et 14H-20H), Quotidiennement (par équipe) : 85 mesures x Nombre d’opérateurs ; Pour 3 opérateurs : 255 mesures par jour, Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Echantillon et considérations statistiques : Element de répartition: Par opérateur, Par site (villes, autoroutes, routes nationales, axes ferrovières), par configuration (Indoor, Outdoor, Incar), par destination du trafic (OnNet et OffNet). Grands nombres pour assurer un échantillon significatif (erreur statistique d’environ 2%) : les valeurs elementaires après toute répartition doivent être suppérieures à 33. Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Organisation et déroulement : Développer un guide de l’enquêteur avec des formulaires (templates) à servir par l’enquêteur : Réf., temps, coordonnées GPS, destinataire, résultats,… Utiliser le principe de codification : opérateur, site, configuration, trafic,… Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Organisation et déroulement : Garantir toutes les conditions pour que chaque mesure se déroulera exactement dans les mêmes conditions pour tous les opérateurs : temps, espace, méthode,… Faire un nombre importants de tests à blanc pour le calibrage de tout le système de test. Kampala, Uganda, 24 June 2014

Protocole de mesures de la QoS voix Méthodologie de mesures Traitement des résultats : (Livrables) Tendance en indicateur “positif” : taux de réussite. Tendance en indicateur “négatif” : taux de non-réussite = TE+TC. Rapports : Rapport global : référence, Rapport spécifique à chaque opérateur (demande de plan d’actions des corrections), Rapport pour publication. Kampala, Uganda, 24 June 2014

Publication des résultas comparatifs   Taux de réussite global (On-Net et Off-Net) par site de mesures et par opérateur Site de mesures TMR Operateur 1 Operateur 2 Opérateur 3) Tous les sites 95,32% = Villes 96,78% Autoroutes 95,68% - - + Routes nationales 96,03% Axes ferroviaires 87,00% Le TMR est égal à la moyenne des taux de réussite (TR) enregistrés par chacun des trois opérateurs : TMR Kampala, Uganda, 24 June 2014

Mesures de la QoS (data) de l’Internet mobile Kampala, Uganda, 24 June 2014

Fondements pour le suivi de la QoS data Méthodologie d’évaluation de la qualité de service QoS data pour les réseaux 3G (UMTS ou CDMA2000 sur PC ou SP) est parfaitement valable pour les réseaux mobiles de futures générations : 4G ( ), Wifi Outdoor (offloading ),… Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Types et conditions de mesures QoS : Internet mobile 3G sur PC : dongles USB (prépayés ou post-payés) sur ordinateurs pour l’UMTS ou la CDMA-2000. Internet mobile 3G sur Smartphones : SIM/3G pour abonnés sur SP/tablettes uniquement pour l’UMTS. Mesures en mode FTP ou HTTP : à réaliser sur des fichiers taillés pour les mesures (Up/Dw) : 1Mo, 5Mo,… Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Types et conditions de mesures QoS : Evaluation de la QoS ≠ Evaluation de la couverture. Toute mesure ne doit se faire que dans les zones déclarées couvertes à la fois par tous les opérateurs concernés : exercice d’échantillon géographique et de la carte de couverture. L’exercice de cartographie de couverture doit se faire au détail du quartier et non par ville. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Pour chaque type de mesure, quels indicateurs sont pertinents ? Gigue, délai, débit, pertes de données,…? Objectifs pragmatiques (par enquête de satisfaction) intéressant l’expérience utilisateurs : mesurer l’accessibilité (taux et temps de connexion), la fiabilité et la rapidité (débit de transmission et de réception). Transformation de ces éléments en dix (10) indicateurs : Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Liste des dix (10) indicateurs mesurés : Le taux de connexions réussies : une connexion est réussie si elle est établie dans un délai inférieur à 1 minute. Le taux de connexions réussies est calculé sur la base de l’ensemble des mesures réalisées. Le taux de connexions réussies dans un délai inférieur à 10 secondes : le taux de connexions réussies dans un délai inférieur à 10 secondes est calculé sur la base de l’ensemble des mesures réalisées. Le taux de fichiers de 1 Mo envoyés dans un délai inférieur à 2 minutes : un fichier est considéré comme envoyé si le fichier est envoyé intégralement dans un délai Dmax et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers envoyés. Le taux de fichiers de 5 Mo reçus dans un délai inférieur à 5 minutes : un fichier est considéré comme reçu si le fichier est reçu intégralement et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers téléchargés. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Liste des dix (10) indicateurs mesurés : Le débit de données atteint pour 90% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 90 % des fichiers envoyés. Le débit de données atteint pour 50% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 50 % des fichiers envoyés. Le débit de données atteint pour 10% des fichiers de 1 Mo envoyés : cet indicateur correspond au percentile à 10 % des fichiers envoyés. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Liste des dix (10) indicateurs mesurés : Le débit de données atteint pour 90% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 90 % des fichiers envoyés. Le débit de données atteint pour 50% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 50 % des fichiers envoyés. Le débit de données atteint pour 10% des fichiers de 5 Mo reçus : cet indicateur correspond au percentile à 10 % des fichiers envoyés. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Indicateurs mesurés : Précisions importantes : Le débit pour les réseaux 3G est un débit partagé entre les utilisateurs. Le débit réel (exploité) est toujours inférieur au débit théorique (commercialisé). C’est une considération technologique. Mais, ce débit est mesurable pour tous les opérateurs à travers le même dispositif. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Indicateur supplémentaire : TUDC Le taux d’usage du débit contractuel (TUDC) correspond au rapport du débit utilisé (observé) au débit contractuel (commercialisé) auprès de l’opérateur concerné. Ce rapport est exprimé en pourcentage. Un exemple réel pour un réseau 3G : Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Plate-forme serveurs de mesures : Mesurer les performances d’un réseau Internet mobile 3G, c’est mesurer la QoS d’une connexion à travers ce réseau entre un terminal et un serveur de données. Plusieurs facteurs extérieurs peuvent impacter un des segments du chemin de test. D’où la contestation des résultats de mesures par l’opérateur concerné. Option de mesures avec un serveur international est à écarter. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Plate-forme serveurs de mesures : Problème : inexistence de serveur (chez les hébergeurs), au niveau national, connecté à la fois à tous les réseaux par une capacité supérieure à l’offre de débit le plus élevé !!! Solution : conception d’une plate-forme de serveurs de mesures au niveau des locaux du régulateur. Les capacités des liens sont supérieures au débits mesurés (Exemple 10Mb/s pour mesurer 7,2Mb/s et 20Mb/s pour mesurer 14,4Mb/s). Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Plate-forme serveurs : Tous les fichiers tests sont installés dans chaque serveur de la plate-forme connecté par FO au réseau 3G de l’opérateur. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Outils de mesures (Précautions) Equipements terminaux (PC, SP et dongles/USB) , critères de choix : Choisir parmi les modèles industriels les plus utilisés dans le marché national, Ayant des performances ne bridant en aucun cas les débits supérieurs mesurés. Pour les PC (OS, firewalls, antivirus,…) et pour les terminaux (Twindowsize ,MTU, CPU , RAM,…). Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Outils de mesures (Précautions) Profils d’abonnements utilisés : Post-payé ou prépayé. Attention aux downgrade de débit si le volume de téléchargement atteint les seuils. Les tests sur les SP doivent se faire en mode forcé 3G et non en dual (éviter confusion GPRS ou EDGE). Pour chaque opérateur (un serveur et un lien) une seule mesure est à faire à la fois. Kampala, Uganda, 24 June 2014

QoS de l’Internet mobile 3G Outils de mesures Application logicielle (Agents installés dans les terminaux : PC et SP) : A chaque connexion data, l’application remonte des informations permettant le calcul automatique de tous les indicateurs de QoS de la connexion (niveau de champs, SC, échecs, succès,…) ainsi que la position GPS. L’application permet de stocker directement et automatiquement tous les résultats (indicateurs) dans un serveur qui centralise la préparation des rapports nécessaires dans le cadre de portail dédié. Kampala, Uganda, 24 June 2014

Conclusions et Recommandations Recommandation n°1 Concertation permanente avec les opérateurs en amant sur la méthodologie. Adoption d’une démarche concertée de référence pour le suivi. Recommandation n°2 Aucun des opérateurs n’est informé sur les sites des mesures ni sur la période. Kampala, Uganda, 24 June 2014

Conclusions et Recommandations Recommandation n°3 Réaliser un nombre important de mesures QoS à blanc, avec les mêmes outils que ceux utilisés dans les campagnes réelles de mesures et de préférence en présence des représentants des opérateurs concernés par les mesures (Minimiser à savoir éliminer toute contestation potentielle des opérateurs). Kampala, Uganda, 24 June 2014

Conclusions et Recommandations Recommandation n°4 Mesures pour les opérateurs : usage positif des résultats par les opérateurs (usage de la plate-forme serveurs de tests//objectif potentiel financement des campagnes par les opérateurs). Recommandation n°5 Publier les résultats (comparatifs), adopter une stratégie de communication et considérer les sanctions pour les anomalies comme dernier recourt. Kampala, Uganda, 24 June 2014

Conclusions et Recommandations Recommandation n°5 (suite) Publication des résultats de mesures : 1ère campagne voix sur un échantillon large (trentaine de villes et points de concentration aéroports, centres touristiques…). 1er trimestre de l’année 2ème campagne similaire à la première basée pratiquement sur le même échantillon. 4ème trimestre de l’année Communication des résultats aux opérateurs Délai de 5 à 6 mois pour correction des anomalies identifiées par l’ANRT (Publication des résultats et communication) Kampala, Uganda, 24 June 2014

Conclusions et Recommandations Recommandation n°6 Les régulateurs doivent bien se préparer aux chalenges du futur proche de la gestion de la QoS de réseaux tout IP : NGN, VoLTE,… Kampala, Uganda, 24 June 2014

Merci pour votre attention talib@anrt.ma // htalib@ties.itu.int Questions/Réponses talib@anrt.ma // htalib@ties.itu.int Kampala, Uganda, 24 June 2014