le MBone : les applications Journées Réseaux JRES 97 La Rochelle 7 octobre 1997 Bernard Rapacchi, CNRS/UREC, CNRS/SHS

Techniques d'encodage et de compression

U R E C 3 Digitalisation signal analogique quantification signal digitalisé échantillonnage

U R E C 4 Pulse Code Modulation (PCM) äChaque échantillon est quantifié indépendamment des autres äcodage linéaire ou logarithmique PréfiltrageEchantillonnageQuantificationCodage

U R E C 5 Exemples de codages äCodage PCM de la voix : G.711 ä Utilisation téléphonique  Codage logarithmique :  -law ä moins perceptible vers haute fréquence  Echantillonnage : 125  s (8kHz) ä Amplitude : 8 bits äCodage qualité CD ä Utilisation musicale ä Codage linéaire : respect de la musique ä oreille : de 10 à Hz  Echantillonnage : 23  s (44.1 kHz) ä Amplitude : 16 bits

U R E C 6 Télévision analogique äRed/Green/Blue : RGB ä transformation en 3 autres signaux äLuminance : ä réponse de l'oeil à l'ensemble des longueurs d'ondes d'une source lumineuse ä transporte la "luminosité" (N/B) et la « brillance » ä Y =.30R +.59G +.14B äChrominance : couleur ä oeil moins sensible à la couleur qu'à la luminance ä NTSC : nuance (hue), saturation, Y/I/Q ä I = 0.74 (R-Y) (B-Y) ; Q = 0.48 (R-Y) (B-Y) ä PAL : 2 signaux de chrominance, Y/U/V ä U = (B-Y) ; V = (R-Y)

U R E C 7 Nécessité de compression äCD-Rom : 640 Mo, ä soit 72 minutes de son non compressé ä mais 30 secondes de TV (90mn = 120Go) ä Besoin de compression äCompression sans perte äCompression irréversible

U R E C 8 Techniques de compression : RLE, statistiques äSuppression des répétitions : RLE (Run Length Encoding) ä n caractères successifs c sont remplacés par c suivi d'un caratère spécial et du nombre d'occurrence ä N A M E : x x x x x x x x x x x x x ä N A M E : x R 13 äStatistiques : même parties qui reviennent souvent ä on utilise un dictionnaire ä on recode les ensembles en fonction de leur fréquence d'occurrence : les plus grandes sont recodées par des codes plus petits

U R E C 9 Techniques de compression : Huffman, transformations äHuffman : ä généralisation pour les images des techniques "statistiques" ä On calcule les fréquences d'apparition de chaque octet. ä Même système de dictionnaire et de recodage ä utilisé pour des ensembles d'images ou des images animées ä äTransformations : ä ä On passe du domaine temporel ou spatial au domaine fréquentiel ä ä On élimine les coefficients les moins significatifs ä ä Fourier, Cosinus,...

U R E C 10 Techniques de compression : différentiel äDifférentiel (ou prédictif) : différence entre la valeur vraie et une prédiction ä DPCM : différence avec la valeur précédente ä modulation Delta : différence sur 1 bit (+/-) ä ADPCM : prédiction extrapolée à partir des valeurs précédentes

U R E C 11 Compression de l'audio äG.721 : ADPCM, 32 kbps, 4bits, 8kHz äG.722 : ~ADPCM, 48 à 64 kbps, äG.723 : ~ADPCM, 24 kbps, 3 bits, 8kHz äG.728 : 16 Kbps, bande passante 3.4kHz äGSM : téléphone mobile, 13 kbps äLinear Predictive Encoding (Xerox), 5 kbps äCode Excited Linear Prediction äDigital Video Interactive : ~ADPCM, 4 à 8 bits

U R E C 12 Compression de l'audio : MPEG äMoving Picture Expert Group ä3 schémas possibles äTransformée de Fourier puis adaptation äMPEG-1 : 192 ou 256 kbps/canal, simple äMPEG-2 : 96 ou 128 kbps/canal, qualité CD äMPEG-3 : 64 kbps/canal, qualité CD

U R E C 13 Compression de l'image : JPEG äJoint Photographic Expert Group äMélange de plusieurs techniques : transformée cosinus discrète, quantification, run-length, Huffman äCompression possible jusqu'à 25:1 äPertes possibles mais pas visibles äMais problèmes si reconnaissance informatique

U R E C 14 Compression de l'image animée äCorrélation spatiale äCorrélation temporelle äRéduction spatiale uniquement : ä Motion-JPEG (M-JPEG), ä facile à décompresser äRéduction spatiale et temporelle : ä famille MPEG-vidéo

U R E C 15 MPEG: principes äMacroblocs de 16x16 pixels/lum., et 8x8/chrom. äImages de référence : Intracoded (I), JPEG äImages prédites : Predicted (P) äImages interpolées : Bidirectionnal (B) ä2 paramètres : intervalles entre deux P (m) et entre deux I (n)

U R E C 16 MPEG : principes äF1 : Intracodé, pas construite à partir d'autres äCertains blocs de F3 sont construit à partir de F1 par un vecteur de mouvement F1F3

U R E C 17 MPEG : m=3, n=12 ä1 et 13 (I) sont complètes ä4 est prédite / à 1, 7 / à 4 par différence ä2 est interpolée à partir de 1 et 4 äenvoi : IPB

U R E C 18 Famille MPEG äMPEG-1 : 352x240(NTSC) ou 352x288(PAL) ä Qualité VCR, compression : ~ 25:1 ä Pour stockage, 0.2 Mbps(audio) Mbps(vidéo) äMPEG-2 : ä Qualité "broadcast", voire HDTV ä Entre 4 et 6 Mbps äMPEG-4 ä Vidéo-conférence, moins de 64 kbps

U R E C 19 Standard H.320 : famille pour RNIS äVidéo : H.261 äAudio : G.711, G.722, G.728 äStructure des blocs vidéo et audio : H.221 äMultiplexage information de contrôle : H.230 äUnités de Contrôle Multipoint : H.231 äPrise de connexions : H.242 äEncription : H.233

U R E C 20 Standard H.261 äFormat d'image : ä 352x288/luminance, 176x144/chrominance ä CIF mais aussi 1/4 de CIF -> QCIF äDébit d'images : max 30 im/s äCompression : ä ressemble à MPEG ä avec plus de pertes

U R E C 21 Nouveaux standards äH.321 : réseaux B-ISDN äH.322 : réseaux locaux avec qualité de service garantie äH.323 : QoS non garantie ; LAN, Internet äH.324 : RTC (ShareVision de CreativeLabs)

Quels besoins de réseaux pour les applications Multimédias

U R E C 23 Critères qualitatifs äNe dépend pas de la source mais de la nature du récepteur äL'oreille est un différentiateur ä silence de 40 ms sont reconnus, "bruit habituel" äL'oeil est un intégrateur äL'homme est plus sensible aux altérations du son qu'à celles de l'image

U R E C 24 Audio : bande passante

U R E C 25 Audio : autres besoins äDélai de transit pour l'interactivité äTrès sensible à la variation de délai äEgalisation de la transmission ä ajout d'un délai supplémentaire ä nécessité de "bufferisation" suffisante äsynchronisation avec la vidéo äTaux d'erreur relativement faible

U R E C 26 Réparer le signal audio äSignal compressé mais il y a des pertes äil faut remplacer les pertes par : ä du silence : mais le silence est interprété par l'oreille ä du bruit : plus efficace ä répétition : pour les paquets de petite taille ä interpolation : le son est très autorégressif

U R E C 27 Réparer par redondance ä en cas de congestion, l'émetteur est averti par le destinataire (RTCP) et agit. ä Signal de base, paquet n, codé en ADPCM (32 kbps) ä le même signal est codé en LPC à 4.8 kbps ä la compression du paquet n est ajouté au paquet n+1 ä on peut ajouter aussi à n+2 40ms de son à 32 kbps = 160 o n n+1 n+2 n' n'+1n' 40 ms à 4.8 kbps = 24 o

U R E C 28 La redondance : les limites äLa taille du buffer de synchro doit être augmentée äSi le signal de base est déjà très compressé (8 ou 4.8 kbps), la reconstitution est faible äeffet pervers : le réseau est saturé et la réponse est qu'on augmente la taille des paquets

U R E C 29 Vidéo : bande passante

U R E C 30 Vidéo : autres critères äVariation du délai : (suivi des lèvres) ä HTDV : 50 ms, TV : 100 ms, Conférence : 400 ms äErreurs de transmission ä exemple : taux d'erreur 10-5 ä Conférence : 1 sec. entre 2 images erronées ä TV : 2 erreurs par image ä HDTV (compressé) : 4 erreurs par image ! ä Mais une "trame" reste 40 ms sur l'écran en PAL et 17 ms en HDTV ä Intégration des erreurs äpaquets manquants : extrapolation, interpolation

Quelques applications du MBone

U R E C 32 Applications : vat äVisual Audio Tool äProduit par le Lawrence Berkeley Laboratory äPermet l'audio, äProtocole ancêtre de RTP äPlusieurs contrôles : codage, compression,... äGestion de la concurrence änuméro de version : v4.0b(1 ou 2) ; mai 1996

U R E C 35 Robust Audio Tool äDéveloppé au University College of London dans le projet MICE et MERCI, en cours... äA partir de vat äRedondance äTemporisation adaptée äCollaboration avec vic sur synchronisation des lèvres änuméro de version : , juillet 1997 äA l ’INRIA : FreePhone

U R E C 38 Applications: nv äNet Video äProduit du Parc de Rank-Xerox äPermet la vidéo äCodage spécifique simplifié, possible CU-SeeMe äPossibilité de renvoyer son écran äNuméro de version : 3.0, juillet 1994

U R E C 41 Applications : vic äVideo Conference äproduit par Lawrence Berkeley Laboratory äpermet la vidéo avec concurrence par vat äcodage h.261, nv, jpeg, … äNuméro de version : 2.8, juillet 1996

U R E C 44 Applications : ivs äINRIA Videoconference System äDans le projet MICE äPermet la vidéo et l'audio äCodage h.261 äNouveau : Rendez-Vous mais en cours de développement

U R E C 45 Applications : wb äWhite Board äProduit par Lawrence Berkeley Laboratory äPermet le partage de tableau blanc äDessine ou importe des fichiers PostScript äMeilleure interactivité äNuméro de version : 1.60, janvier 1996

U R E C 47 Applications : nt äNetText äProduit par Mark Handley (UCL) äPermet le partage de textes äNuméro de version : 1.5a23, octobre 1996.

U R E C 48 Session Directory äAncienne version : sd äMaintenant Sdr (projet MICE, UCL) äPermet le rendez-vous sur un évènement (advertised session) (SAP) äPermet aussi l'invitation (quick call) (SIP) äA la création définit les protocoles de transport et de codage de 4 types de média : audio, vidéo, wb, text (SDP) äATTENTION : ne pas oublier le script « xm ». äNuméros de versions : ä 2.3a1, novembre 1996 ä 2.4a6, juillet 1997, incompatible avec 2.2 et 2.3

Les régions administratives du MBone

U R E C Les régions administratives sylvestremelpomeneimag m: 1 t : 32 m: 1 t : 16 oreste

U R E C Les régions administratives sylvestremelpomeneimag m: 1 t : 32 b: NTCM m: 1 t : 16 m: 1 t : 16 b: NTCM oreste

U R E C Les régions administratives sylvestremelpomeneimag m: 1 t : 16 orestelysithear-jusren m: 1 t : 32 b: NTCM m: 1 t : 16 b: NTCM m: 1 t : 32

U R E C Les régions administratives sylvestremelpomeneimag m: 1 t : 16 b: Urec orestelysithear-jusren m: 1 t : 32 b: NTCM b: Urec m: 1 t : 16 b: NTCM b: Urec m: 1 t : 32 m: 3 t : 8 b: NTCM

U R E C 60 Les regions administratives ä/etc/mrouted.conf : äname Urec /16 äname NTCM /16 ätunnel "sylvestre" "oreste" m 1 t 32 boundary NTCM boundary Urec ätunnel "sylvestre" "lysithea" m 3 t 8 boundary NTCM ätunnel "sylvestre" "melpomene" m 1 t 16 boundary Urec ä~/.sdr/sdr.tcl äadd_admin Urec äadd_admin NTCM

Le matériel

U R E C 62 Stations Unix Multimédia äSun SunOS et Solaris : kit à 15 KF äSilicon Irix 5.1+ : ä les Indys avec la caméra sont finies ä O2 : kit caméra en plus äHP : kit Desktop Video + Camera à 14 KF äFreeBSD äLinux

U R E C 63 PC Multimédia äWindows 32 bits, carte Ethernet äCarte son : Full duplex äVidéo : ä vic spécial ä plusieurs cartes d'acquisition ä Caméra QuickCam : ä port parallèle ä 1700 F en couleur

U R E C 64 Et encore äMicro UNIDIRECTIONEL äCasque ? äpas besoin d'une très bonne caméra äOn peut utiliser un caméscope si on a une entrée Composite ou S-Vidéo

U R E C 65 Quelques sites WWW ä ä ä ä ä ä ä ä ; ä ä ä ä ä

U R E C 66 Sites WWW : autres applications ä ä ä ä ä ä ä (WebCanal) ä ä

U R E C 67 Les sites FTP ävat : ftp://ftp.cru.fr/pub/reseau/multimedia/vat/ ävic : ftp://ftp.cru.fr/pub/reseau/multimedia/vic/ ä vic spécial Windows 32bits : änv : ftp://ftp.cru.fr/pub/reseau/multimedia/nv/ äsdr : ftp://ftp.cru.fr/pub/reseau/multimedia/sdr/ äwb : ftp://ftp.cru.fr/pub/reseau/multimedia/wb/ änt : ftp://cs.ucl.ac.uk/mice/nt/ ärat : ftp://cs.ucl.ac.uk/mice/sdr/rat

U R E C 68 Sites WWW spécifiques äWindows 32 bits ä ä ä ä äMac ä ä äLinux ä

U R E C 69 Les Drafts ädraft-ietf-mmusic-confarch-00.txt [Sep 18 13:17] ädraft-ietf-mmusic-sap-00.txt [Jun 24 19:41] ädraft-ietf-mmusic-sap-sec-01.txt [Jul 29 21:16] ädraft-ietf-mmusic-sdp-04.txt [Sep 9 20:51] ädraft-ietf-mmusic-sip-03.txt [Aug 2 20:32] ädraft-ietf-mboned-admin-ip-space-03.txt [Jun 11 14:37] ädraft-ietf-avt-rtp-redundancy-01.txt [Sep 15 21:47]

U R E C 70 Quelques livres äUnderstanding Networking Multimedia. F. Fluckiger. Prentice Hall, äTéléphonie sur Internet. J-F. Susbielle. Eyrolles, äLa technologie multimédia. P. Boursier, P-A. Taufour. Hermès, äMBone : Multicasting tomorrow ’s Internet. K. Savetz, N. Randall, Y. Lepage. IDG Bokk Word Wide Inc, äMBone : Interactive Multimedia on the Internet. V. Kumar.

U R E C 71 La conclusion

U R E C 72 La conclusion