Retour d’expérience BigData et la Sacem : Apple, Deezer, Spotify… la révolution de la musique numérique est en marche ! « Comment la Sacem, société des.

Présentation au sujet: "Retour d’expérience BigData et la Sacem : Apple, Deezer, Spotify… la révolution de la musique numérique est en marche ! « Comment la Sacem, société des."— Transcription de la présentation:

1 Retour d’expérience BigData et la Sacem : Apple, Deezer, Spotify… la révolution de la musique numérique est en marche ! « Comment la Sacem, société des auteurs, compositeurs et éditeurs de musique, a-t-elle réussi à exploiter ces énormes quantités d’informations, à travers le développement d’un outil de gestion des droits d’auteur paneuropéens pour les acteurs de la musique numérique ? » Laurent Lemasson / Olivier Michallat

2 Retour d’expérience BigData et la Sacem : Apple, Deezer, Spotify… la révolution de la musique numérique est en marche ! 01. Introduction sur le droit d’auteur et le rôle de la SACEM 02. Les enjeux européens 03. Présentation de la solution et démonstration de l’outil 04. Les enjeux techniques 05. La solution technique : MongoDB 06. Hébergement et backup 07. Questions/réponses 00. Ce que nous allons voir ensemble ©Marc Chesneau

3 Une société de services, société civile à but non lucratif, gérée par les créateurs et éditeurs de musique. -> Créée en 1851 par des auteurs-compositeurs, la Sacem collecte les droits d’auteur et les redistribue aux créateurs et éditeurs. -> Depuis plus de 40 ans, elle soutient également la vie musicale dans toute sa diversité. -> Elle favorise la création musicale en protégeant, représentant et servant les intérêts des auteurs, compositeurs et éditeurs de musique. 01. La Sacem, pour que vive la musique ©Marc Chesneau Quelques chiffres en 2011 141 000 sociétaires dont 16 000 de nationalité étrangère 640 000 utilisateurs 819,4 M€ perçus 1 782 projets culturels soutenus 62 millions d’œuvres du répertoire mondial représenté

4 Percevoir la musique en ligne au niveau européen -> Les sociétés d’auteurs perçoivent le droit d’auteur auprès des DSPs (Digital Sound Providers) comme certains géants du web: Itunes, Spotify, Deezer … Et ce pour l’ensemble des territoires européens Gérer la fragmentation des perceptions imposée par Bruxelles -> Chaque société collecte directement l’argent pour ses ayant-droits. Les ayant-droits d’une œuvre peuvent être représentés par plusieurs sociétés d’auteurs. Facturer de manière adéquate les clients -> Résoudre les conflits de facturation générés par des problèmes d’identification ou de documentation 02. Les enjeux européens de la musique en ligne Des offres de plus de 20 millions de titres dans 31 pays Quelques chiffres 62 millions d’œuvres musicales à percevoir 31 territoires à gérer Des offres commerciales de plus de 20 millions de titres Certaines déclarations mensuelles dépassent 2 GO par territoire Tikken Jah Fakoly, chanteur de reggae ivoirien, membre de la Sacem depuis 1998. ©DR

5 Claims reconciliation -> Permettre un suivi des facturations afin de finaliser la facturation et … -> Permettre aux sociétés d’auteur de gérer les conflits de facturation Démonstration de l’outil ! 03. La Solution Faciliter et Optimiser la facturation … … Schéma explicatif Envois mensuels … Stockage sur 2 années

6 Volumétrie Cible 10 DSPs 40 Sociétés Volume brut mensuel reçus DSPs: 550 Go (format XML) Sociétés : 800 Go (format CSV) Volume mensuel / avec 2 ans de rétention générés MongoDB: 1,8 To / 43,2 To SolR: 150 Go / 3,6 To Temps de traitement Impératif fort: diminuer le temps de traitement des fichiers Actuellement 1 Go XML = 2 minutes (Contre 100 minutes auparavant avec DBMS) 04. Les enjeux techniques Maîtriser l’espace et le temps

7 Pourquoi MongoDB? DB Orientée document : adaptée aux cas d’utilisation, notamment XML Développements spécifiques Parseur XML Stockage « off-heap » A retenir : La dénormalisation est la règle Pas de jointure native Structurer les données en prévision des requêtes Savoir gérer l’évolution du schéma (anticipation) Pas de transaction Utiliser des outils externes pour des besoins spécifiques (Hadoop pour les stats, Lucène pour la recherche textuelle) « Surcouches » du driver Java : pratiques, mais peuvent impacter la performance 05. La solution technique Savoir faire des compromis

8 Hébergement traditionnel vs Cloud Cloud pur :coûts de stockage élevés Cloud hybride : coûts de transfert élevés Hébergement traditionnel : le moins coûteux Mais: coûts « cachés »: maintenance, monitoring, backup Mais: pas la même qualité de service (sécurité, haute disponibilité) Backup Stratégie spécifique à définir au regard des volumes (réplicas …) 06. Hébergement Backup To Cloud or not to Cloud

9 xxx 07. Des Questions ?

10 Merci à vous ! xxx