La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Www.hcp.ma Séminaire sur larchivage des données de recensements Expérience marocaine Addis Abeba, 20-23 septembre 2011 Direction de la Statistique.

Présentations similaires


Présentation au sujet: "Www.hcp.ma Séminaire sur larchivage des données de recensements Expérience marocaine Addis Abeba, 20-23 septembre 2011 Direction de la Statistique."— Transcription de la présentation:

1 Séminaire sur larchivage des données de recensements Expérience marocaine Addis Abeba, septembre 2011 Direction de la Statistique

2 PLAN Direction de la statistique Opérations statistique Recensements marocains Exploitation du dernier recensement (2004) Archivage de questionnaires papier Loi du 30 novembre 2007 relative aux archives Documents sources Sauvegarde Archivage Dissémination Anonymisation Sécurité Addis Ababa, septembre 2011 Direction de la Statistique

3 Direction de la Statistique DS La DS relevant du Haut Commissariat au Plan constitue le noyau central du Système National dinformations Statistiques au Maroc; Sa mission consiste à produire, collecter et publier les statistiques démographiques, économiques et sociales de sources et natures variées. Addis Ababa, septembre 2011 Direction de la Statistique

4 Opérations statistiques Une opération statistique peut être un recensement, une enquête ou un traitement de formulaires ou documents provenant dautres sources dinformations; Lexploitation informatique des recensements sont réalisés dans le même cadre et de la même façon que ceux concernant les autres opérations statistiques; La seule différence est le fait que les recensements de la population et de lhabitat ayant une grande quantité de données. Addis Ababa, septembre 2011 Direction de la Statistique

5 Recensements Marocains RGPH 1960 : lexploitation des questionnaires a été exhaustive. On ne dispose plus ni des questionnaires ni des micro données; RGPH 1971 : lexploitation a été à 100%. On dispose plus des micro données et une partie des questionnaires a été détériorée; RGPH 1982 : lexploitation a été à 25%. Les micro données et les questionnaires sont bien préservés; RGPH 1994 : lexploitation a été à 20%. Les micro données et les questionnaires sont bien préservés; RGPH 2004 : lexploitation a été à 100%. Les micro données et les questionnaires sont bien préservés et aussi les questionnaires en format image (numérique); La prochain RGPH aura en Addis Ababa, septembre 2011 Direction de la Statistique

6 Exploitation du dernier recensement (2004) Exploitation du RGPH 2004 a été très différente des celles des précédents RGPH. En effet, pour la saisie et la purement des questionnaires, on a utilisé la technique de la lecture automatique de documents (LAD); Technique basée sur : Numérisation de documents (questionnaires); Reconnaissance de caractères (OCR) : déduire de limage linformation texte; Vérification de certaines règles de validité et de cohérence; Vidéo codage : intervention humaine pour valider ou corriger certaines informations jugées incertaines par lOCR ou bien incorrectes vis a vis des règles formulées; Obtention de fichiers textes; Finalisation dapurement de données. Direction de la Statistique

7 Exploitation du dernier recensement (2004) suite Avantages : Réduction énorme des délais dexploitation; Qualité plus élevée de données; Obtention des images numériques de questionnaires; Dautres tâches peuvent être incluses et réalisées rapidement, efficacement et dune façon plus conviviale, notamment lapurement et la codification. Direction de la Statistique

8 Archivage de questionnaires papier La Division de lImprimerie, de la Documentation et de lArchivage (DIDA) de la DS, se charge principalement de la documentation et de larchivage de tout ce qui est papier (questionnaires, formulaires, documents, …) DIDA dispose dun grand locale situé au siège de la DS et dans centre éloigné. Ces deux locaux sont réservés pour larchivage de documents papier. Tous les questionnaires et les documents issus des opérations statistiques réalisées depuis 1971 sont stockés dans ces locaux. Ces documents sont organisés par opérations, par dates de réalisation et par plusieurs niveaux géographiques. Depuis 2007, la DS a commencé ladaptation de la collecte par ordinateur de poche (PDA). A court terme, cette méthode sera généralisé pour lensemble des enquêtes de ménage. Direction de la Statistique

9 Archivage de questionnaires papier (suite) La collecte par ordinateur de poche permit déviter larchivage de questionnaires papier. A cause du coût élevé dacquisition de locaux pour larchivage et les traitements efficaces pour préserver les documents, larchivage est devenu très coûteuse. Pour cela la DS envisage à numériser les questionnaires relatifs aux enquêtes qui ne peut être réalisée que par lintermédiaire de questionnaires papier. Direction de la Statistique

10 Loi du 30 novembre 2007 relative aux archive La loi du 30 novembre 2007 a été établie pour régler larchivage, la préservation, la confidentialité et la diffusion de tous les documents appartenant à létat y compris les questionnaires et documents issus des recensements et enquêtes statistiques. Loi 2007 sur les archives.docx Loi 2007 sur les archives.docx Direction de la Statistique

11 Loi du 30 novembre 2007 relative aux archive (suite) Principaux points du loi : Un document peut être de nimporte quelle format; La loi incite à archiver les documents papier en format numérique; La loi insiste sur la préservation de documents; La loi insiste sur La confidentialité; Les questionnaires statistiques non anonymes peut être consulter après 60 ans. Mais à des fins de recherches scientifiques, ces questionnaires peuvent être consultés, sans toutes fois porter atteinte au secret de la vie privée; Concernant la destruction et la dégradation de documents, la loi stipule des clauses pénales. Direction de la Statistique

12 Documents Sources Dossiers méthodologiques; Dossiers organisationnels; Moyens humains et matériels utilisés dans les différentes étapes; Distribution de budget; Cartes cartographiques; Questionnaires (non remplis); Variables, leurs modalités, leurs définitions; Codes et nomenclatures; Manuels concernant la cartographie, la collecte et lexploitation; Règles de validités et de cohérences; Logiciels utilisés; Direction de la Statistique

13 Documents Sources Codes sources concernant les applications informatiques développées par la DS; Structures de fichiers plats ou ascii; Modèle Physique de données concernant la base de données; Problèmes rencontrés dans les différentes étapes et les solutions adaptées; Lettres, rapports, procès verbaux de réunions, décret, … Pourquoi larchivage des documents sources : Pour mieux exploiter et utiliser les micro données; Expérience utile pour les recensements futurs; Pour lhistoire. Direction de la Statistique

14 Documents Sources (suite) Comment archiver les documents sources : Par TOOLKIT; Pages Web bien structurées et bien conçues, stockées dans un DVD et consultées à partir de lINTRANET. A quel moment on devra commencer larchivage des données source : Larchivage des documents sources concernant le dernier RGPH na commencé que après la fin du traitement de données et la sortie et la publication des résultats. Ceci était une vraie contrainte pour rassembler lensemble des documents; Pour le RGPH futur prévu pour 2014, la DS prévoit que larchivage commencera du le début de la préparation du recensement et désignera les personnes qui seront chargées de cette tâches. Direction de la Statistique

15 Micro données Concernant le RGPH 2004, la saisie des questionnaires était accomplie par la technologie «Lecture automatique de documents (LAD) ». En plus de lobtention des micro données, cette technologie permet aussi davoir les questionnaires en format image (numérique). Les noms dindividus et les adresses de ménages nont pas été saisis. Une grande partie dapurement était réalisée pendant létape de saisie. Lapurement final des données a été achevé par une application informatique développée par la DS spécialement pour ce besoin. Cette application permet aussi le stockage de données et de questionnaires images, en assurant la liaison entre eux. Les données sont stockées sur une base ORACLE. Direction de la Statistique

16 Micro données (suite) Après lapurement et le contrôle dexhaustivité et de qualité, les données stockées sur la base ORACLE ont été considérées comme une version finale. Les statisticiens et les démographes chargés de lanalyse et la tabulation étaient permis daccéder à la base. Il est à signalé que les données ORACLE peuvent être utilisées ou importées par tout logiciel ayant la possibilité daccès à une base de données relationnelle, notamment (SPSS, SAS, EXCEL, ARC GIS,..). Des copies CSPRO et ASCII ont été extraites de la base ORACLE. Direction de la Statistique

17 Sauvegarde Les données sont stockés sur un baie de stockage. Généralement, on réalise deux sauvegardes par semaine. Une le mercredi soir et lautre le vendredi soir. La sauvegarde concerne les bases de données et les machines virtuelles. Avec lutilisation de RAID 5, on a jugé que deux sauvegardes par semaine et suffisantes. La sauvegarde du mercredi est transportée à un local éloigné sécurisé. Au moment de traitement dun recensement ou dune enquête, la sauvegarde de la base de données correspondante se fait chaque soir. Direction de la Statistique

18 Sauvegarde (suite) La sauvegarde dune machine virtuelle permet de sauvegarder le système dexploitation, tous les logiciels et les données stockés dans une machine virtuelle. Et la restauration se fait, facilement et rapidement, sur nimporte quelle machine, même dans le cas où la configuration matérielle de cette dernière est très différente. Donc la sauvegarde dune machine virtuelle permet de rependre, dans le cas dun incident ou dune catastrophe, le travail dune façon rapide. La fiabilité de sauvegarde est testée de temps en temps. Les sauvegardes des 4 dernières semaines sont gardées. Lexploitation du RGPH 2004 a été faite dans un locale éloigné. Et chaque soir on fait la sauvegarde suivie par une restauration sur un serveur situé au siège de la DS. Direction de la Statistique

19 Archivage La DS a commencé larchivage des données et documents numériques des recensements et des enquêtes depuis très longtemps. Mais cette archivage nest pas exhaustive surtout au niveau de documents, et elle ne se base sur aucun système ni aucune procédure. Par contre, on a arrivé à préserver presque la totalité des données et une partie de documents. A partir de 2009, on a commencé à utilisé TOOLKIT. Mais on na pas encore migrer lensemble des données et documents dans le système TOOLKOT. Les 3 derniers recensements (1982, 1984 et 2004) et certaines enquêtes sont encore archivés sur DVD dune façon non structurée. Tout les micro données ont une version ASCII. Direction de la Statistique

20 Archivage (suite) Tout les archives électroniques sont stockés dans : le baie de stockages (ensemble de disques de Data Center); 2 jeux de bandes magnétiques dont un est déposé dans le local éloigné; 2 jeux de DVD dont un est déposé dans le local éloigné. Chaque fois que la DS acquiert a nouveau logiciel ou une nouvelle version dun logiciel, on procède à la conversion de tous les fichiers concernés. La sauvegarde et larchivage est sous la responsabilité dun service relevant de la division informatique. Il est à avouer que les procédures cités ci-dessus ne sont pas toujours respectés. Donc pour remédier à ce problème, des procédures, des chartes et des mécanismes de contrôle seront établit Direction de la Statistique

21 Archivage (suite) Tout les archives électroniques sont stockés dans : le baie de stockages (ensemble de disques de Data Center); 2 jeux de bandes magnétiques dont un est déposé dans le local éloigné; 2 jeux de DVD dont un est déposé dans le local éloigné. Chaque fois que la DS acquiert a nouveau logiciel ou une nouvelle version dun logiciel, on procède à la conversion de tous les fichiers concernés. La sauvegarde et larchivage est sous la responsabilité dun service relevant de la division informatique. Il est à avouer que les procédures cités ci-dessus ne sont pas toujours respectés. Donc pour remédier à ce problème, des procédures, des chartes et des mécanismes de contrôle seront établit Direction de la Statistique

22 Dissémination des micro données Tous les résultats du recensement 2004 (tableaux, rapports, cartes thématiques, graphiques, …) ont été diffusés par le biais de tous les moyens possible notamment Site Web, papier, CD Rom. Concernant les micro données, une copie totale a été mise à la disposition du Centre dÉtude et de Recherche Démographique relevant du Haut Commissariat au Plan. Et 16 copies partielles, chacune contant les données relatives à une région a été donnée à à la Direction Régionale correspondante. Ces 16 Directions Régionales relevant administrativement au Haut Commissariat au Plan sont chargées de la statistique régionale. En général, les demandes, faites par une administration, une association, une société détudes, un chercheur, une université ou autres, de résultats (tableau, rapport, …) relatives aux données dun recensement, sont satisfaites par la DS, CERD ou lune des Directions Régionales. Direction de la Statistique

23 Dissémination des micro données (suite) Des contactes en cours avec IPUMS pou la possibilité de diffusion de 5% de données de chaque recensement. Les documents sources, gérés par NADA, sont publiés à lINTRANET de la DS. Direction de la Statistique

24 Anonymisation A lexception des identifiants directs (noms et adresses), aucune anonymisation na été faite. Direction de la Statistique

25 Sécurité Un système antivirus centralisé. 1 Intrusion Detection System, 1 Intrusion Protection System et 1 Fire Wall sont installés pour la protection de l »extérieur. Lentrée au réseau nest permis que par authentification. Laccès à une base de données nest permis que par lattribution dune permission Direction de la Statistique

26 Merci


Télécharger ppt "Www.hcp.ma Séminaire sur larchivage des données de recensements Expérience marocaine Addis Abeba, 20-23 septembre 2011 Direction de la Statistique."

Présentations similaires


Annonces Google