Cadre de la QoS Mobile : Compteurs, KPI, KQI Atelier UIT sur “Atelier sur l’Evaluation Pratique des Paramètres QoS/QoE de Conformité Règlementaire” (Cotonou, Bénin, 16-17 Juillet 2012) Cadre de la QoS Mobile : Compteurs, KPI, KQI Joachim Pomy, Rapporteur du CE 12 Consultant, Opticom GmbH Consultant@joachimpomy.de Cotonou, Benin, 16-17 July 2012

[Table des Matières] Cadre de la QoS Mobile : Compteurs, KPI, KQI ITRs: Setting the stage for a connected world Cadre de la QoS Mobile : Compteurs, KPI, KQI UIT-T contre Les Normes Mobiles STQ de l’ETSI Approche Multidimensionnelle – Choix des paramètres de la QoS mobiles perçus par l’Utilisateur Evaluation de la Qualité Voix – Drive Testing Statistiques – Présentation des Résultats Compteurs, KPI, KQI 2

Travaux de l’UIT-T sur la QoS Mobile (1) L’UIT-T n’a point de normes détaillées sur la QoS Mobile L’industrie ici se repose sur une solution du compteur du réseau principal à cause des différentes tendances/philosophies QoS Ainsi elle hésite à normaliser les KPIs au sein de l’UIT-T D‘abord les Recommandations UIT-T sur la QoS couvrent Les aspects des conditions du Terminal Les aspects de la qualité bout-en-bout Les aspects portant perceptions de l‘utilisateur Mais pas les KPIs détaillés pour le Mobile

Les Travaux sur la QoS Mobile de l’ETSI L’STQ et son sous comité MOBILE STQ de l’ETSI prennent les aspects relatifs au bout-en-bout et s’en sert comme point de repère pour la QoS MOBILE Ils ont publiés une série de normes concises internationalement reconnue

[Table des Matières] Cadre de la QoS Mobile: Compteurs, KPI, KQI ITRs: Setting the stage for a connected world Cadre de la QoS Mobile: Compteurs, KPI, KQI L’UIT-T contre les Normes Mobile STQ de l’ETSI Approche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’Utilisateur Evaluation de la Qualité Voix – Drive Testing Statistiques – Présentation des Résultats Compteurs, KPI, KQI 5

Rubriques QoS en Mobile Le modèle QoS pour le mobile a quatre rubriques. Le premier rubrique est la disponibilité du Réseau Définit plutôt la QoS du point de vue du fournisseur de service que de l’utilisateur de service Le deuxième rubrique est l’accès du Réseau Du point de vue de l’utilisateur les conditions élémentaires de tous les autres aspects et paramètres QoS Le troisième rubrique contient autres aspects QoS L’accès au service, intégrité du service & la continuabilité du service Les différents services se trouvent au quatrième rubrique Leurs résultats sont les paramètres QoS comme perçus par l’utilisateur

Aspects de la QoS Mobile

Si nous suivons l‘approche multidimensionnelle La QoS Mobile à Trace(1) Si nous suivons l‘approche multidimensionnelle Focus sur les évènements qui sont perçus par l‘utilisateur Focus sur les services les plus appropriés dans le marché Téléphonie Vidéo Séquence Vidéo Navigation Internet Téléphonie SMS MMS

La QoS Mobile à Trace (2) Rubrique 1 Non Disponibilité du Réseau Radio [%] Rubrique 2 Choix du Réseau et Ratio d’echec d’Enregistrement [%]

Rubrique de la Téléphonie 3 La QoS Mobile à Trace (3) Rubrique de la Téléphonie 3 Téléphonie de la Non Accessibilité du Service [%] Rubrique de la Téléphonie 4 Temps de Préparation de la Téléphonie [s] Ratio de Libération Prématurée [%]

La QoS Mobile à Trace (4) Rubrique SMS 3 Rubrique SMS 4 Non Accessibilité du Service SMS [%] Rubrique SMS 4 Délai de livraison de Bout-En-Bout du SMS [s] Ratio d’Exécution Echec du SMS [%]

La QoS Mobile à Trace (5) Rubrique MMS 3 Rubrique MMS 4 Le MMS Envoie le Ratio Echec [%] Rubrique MMS 4 Temps de Livraison Bout-En-Bout [s] Le MMS Bout-En-Bout du Ratio Echec [%]

Rubrique de la Téléphonie Vidéo 3 Rubrique de la Téléphonie Vidéo 4 La QoS Mobile à Trace (6) Rubrique de la Téléphonie Vidéo 3 Non-accessibilité du Service VT [%] Rubrique de la Téléphonie Vidéo 4 Temps de Préparation Audio/Vidéo [s] Ratio de Libération Prématurée d’Appel VT [%]

Rubrique de la Séquence Vidéo 3 La QoS Mobile à Trace (7) Rubrique de la Séquence Vidéo 3 Non-Accessibilité du Service Séquentiel [%] Rubrique 4: Temps d’Accès du Service Séquentiel [s] Ration Echec de Reproduction Séquentielle [%]

Rubrique Navigation Internet (HTTP) 3 La QoS Mobile à Trace (8) Rubrique Navigation Internet (HTTP) 3 Non-Accessibilité du Service HTTP [%] Rubrique Navigation Internet (HTTP) 4 Temps de Préparation HTTP [s] Ratio de la Session du Taux de Défaillance HTTP [%] Ratio Echec du Transfert des Données HTTP [%]

La QoS Mobile à Trace (9) Cette approche nous emmenerait à mettre fin à un taux > 20 paramètre QoS Le tout est relatif aux évènements de perception de l‘utilisateur Mais ceci est juste des paramètres de bout-en-bout Plusieurs KPIs ont défini des évènements relatifs aux chips du réseau, transmission etc.

[Table des Matières] Cadre de la QoS Mobile: Compteurs, KPI, KQI ITRs: Setting the stage for a connected world Cadre de la QoS Mobile: Compteurs, KPI, KQI L’UIT-T contre les Normes Mobile STQ de l’ETSI Approche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateur Evaluation Qualité Voix – Drive Testing Statistiques – Présentation des Résultats Compteurs, KPI, KQI 17

Evaluations de la Téléphonie dans le Réseau (1) Définition de la Transaction et des types de transaction La transaction de base du test de la téléphonie est équivalente à un unique appel vers un poste téléphonique. Nous supposons que l’appel du partenaire soit typiquement un type d’extension au réseau fixe pour éviter les incertitudes relatives à une seconde connexion mobile. Le type est soit un Mobile Originated (MO) ou un Mobile Terminated (MT). C’est supposé qu’une fois qu’une connexion est établie, pour d’autres évaluation ce n’est pas important quelle partie l’ait sollicitée. Toutefois, le flux du paramètre des données audio ne seront logiquement pas lié au type d’appel.

Evaluations de la Téléphonie dans le Réseau (2) Contenu de la Qualité Les données d’évaluation de la qualité du contenu produites au point de réception Pour le stockage du contenu des données des liaisons descendantes c’est direct Pour le content de la liaison montante, à un moment indiqué, les résultats doivent être intégrés Pour le contenu d’évaluation de la qualité des échantillons voix transmis, au moins les méthodes suivantes sont possibles:

Evaluations de la Téléphonie dans le Réseau (3) Contenu de la qualité (suite.) Evaluation à Temps Réel Mode continu L’aligorithme de l’évaluation de la qualité voix détermine à temps réel la MOS-LQO Evaluation différée Contenu enregistré d’abord Traité plus tard Le traitement des données doit s’assurer uniquement que le contenu valide des données de qualité est traité Dans la "connexion active" fenêtre temporelle

Evaluations de la Téléphonie dans le Réseau (4) Vérification d’utilisation d’une connexion à deux sens Seuls les appels à une connexion à deux sens avec des informations valides de bout en bout devra être prise en compte pour le contenu de l’ évaluation de la qualité (appels valides). Les appels non valides traités comme appels échoués , avec un indicateur pour cette cause particulière

[Table des Matières] Cadre de la QoS Mobile: Compteurs, KPI, KQI ITRs: Setting the stage for a connected world Cadre de la QoS Mobile: Compteurs, KPI, KQI L’UIT-T contre les Normes Mobile STQ de l’ETSI Approche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateur Evaluation Qualité Voix – Drive Testing Statistiques – Présentation des Résultats Compteurs, KPI, KQI 22

Intervalles de Confiance des Différents Type d‘Echantillon (1) Les exemples suivants montrent l’effet des différents types d’échantillon dans la campagne d’évaluation. C’est aussi basé sur les formules Pearson-Clopper pour le calcul des intervalles de confiance. Toutefois, les exemples sont valides de façon générique et même pour les petites tailles d’échantillon. Pour de grands nombres de l’échantillon, le calcul des intervalles de confiance basé sur l’approximation d’une distribution normale peut s’appliquer. Les différents graphes sont illustrés: les tailles d’échantillon dans la gamme: Entre 100 et 1 100 échantillons; Entre 1 100 et 2 100 échantillons; et Entre 1 000 et 11 000 échantillons.

Intervalles de Confiance des Différents Type d‘Echantillon (2)

Intervalles de Confiance des Différents Type d‘Echantillon (3)

Intervalles de Confiance des Différents Type d‘Echantillon (4)

Rapport des résultats Le document TS 102 250-6 de l’ETSI décrit quels éléments d’information devraient être fournis au lecteur à la production d’un rapport test Lorsque les valeurs quantiles sont utilisées, nous devons bien noter que le traitement des quantiles sépare un faible pourcentage de données aberrantes du reste des données. Ceci signifie que: Si les plus faibles valeurs représentent un meilleur résultat de la perspective du client, un petit pourcentage contenant les plus fortes valeurs pourraient être séparées en calculant un quantile de 95% ou un quantile de 90%. Ceci est le cas d’exemple des valeurs durée.

Rapport des résultats Si les plus fortes valeurs représentent un meilleur résultat à partir des perspectives du client, un petit pourcentage contenant les plus faibles valeurs pourrait être dégagé en calculant un quantile de 5% ou un quantile de 10%. Ceci est le cas d’exemple des valeurs de traitement. Concernant le contenu qualité, le calcul du quantile approprié s’oriente à l’échelle des résultats déterminés d’analyse. En réalité, des algorithmes définissent une valeur de 0 à une échelle de 0 à 5 comme la meilleure qualité tandis que les autres définissent la valeur de 5 comme étant la plus grande éventuelle qualité

[Table des Matières] Cadre de la QoS Mobile: Compteurs, KPI, KQI ITRs: Setting the stage for a connected world Cadre de la QoS Mobile: Compteurs, KPI, KQI L’UIT-T contre les Normes Mobile STQ de l’ETSI Approche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateur Evaluation Qualité Voix – Drive Testing Statistiques – Présentation des Résultats Compteurs, KPI, KQI 29

Les KPIs basés sur les Compteurs Réseau Spécifique fournisseur = KPIs internes du réseau différentes stratégies Comment compter les évènements réseau Quels évènements sont assimilés à quel(s) compteur(s) Nécessite la connaissance d’un système spécifique Les spécialistes avec une connaissance détaillée du système Tester les compteurs documentation peut être défectueuse Approche au compteur change avec l’actualisation du système Opérateurs Mobile se battent avec ceci La plupart des opérateurs vivent dans un cadre multi fournisseur Les compteurs des différents fournisseurs ne peuvent point être directement comparés Cela nécessite une attention et une stratégie continues

KPIs selon les perspectives des utilisateurs = KQIs Indicateurs clés sur la Qualité (KQIs) = indicateurs externes Peuvent être évalués dans le domaine Pour le Suivi,les Règles etc. Un post téléphonique d’abonné peut être défini, ex. À partir du document 102 250 de l’ETSI portant sur les séries des normes Applicables à tous les fournisseurs & opérateurs Pas limités au mobile, mais aussi bon pour la bande large

KPIs par rapport aux KQIs Parfois confus KPIs = indicateurs internes Une partie de la performance du réseau Basés sur les compteurs du réseau Important pour les opérations, maintenance, modèle commercial Pourraient être rapportés, audités etc. Toutefois, sans grande signification lorsque c’est hors contexte KQIs = indicateurs externes Base de toute évaluation QoS telle que perçue par l’utilisateur Fournisseur indépendant Opérateur indépendant Idéal pour comparer les différents opérateurs sur une base statistique Ne peuvent faire l’objet de rapport à partir du système lui-même Nécessite une sorte de test sur le terrain, au volant d’un véhicule, à pied etc.

Questions ? Contact: Consultant@joachimpomy.de