Chapitre 11 (suivi par Chap. 12)

Slides:



Advertisements
Présentations similaires
Module Systèmes d’exploitation
Advertisements

Gestion de Fichiers Tri Interne Efficace et Tri Externe.
1 Bienvenue! INF3723: Systèmes d’exploitation Luigi Logrippo
Ghost (Création d'image Système)‏ C.R.I.P.T Informatique (BOYER Jérôme)‏
Les sauvegardes Pourquoi sauvegarder ? Que sauvegarder ? Quand sauvegarder ? Ou sauvegarder ? Et comment ?
Composants Matériels de l'Ordinateur Plan du cours : Ordinateurs et applications Types d'ordinateurs Représentation binaires des données Composants et.
Chap 111 Chapitre 11 (suivi par Chap. 12) Systèmes de fichiers
L’ordinateur et ses composants Un ordinateur est composée d'une unité centrale et de périphériques. Tous les périphériques sont branchés sur l'unité centrale.
CINI – Li115 1 Semaine 9 Algorithmes de tri ● Introduction ● Tri à bulle ● - principe ● - algorithme ● - efficacité ● Tri par sélection ● - principe, algorithme,
Le système Raid 5 Table des matières Qu'est ce que le RAID ? Les objectifs Le raid 5 Les avantages et les inconvénients Les composants d’un Raid.
1- Introduction 1ère partie Le langage SQL 2- Connexion 3- Structure & Contenu 4- Requêtes.
1 Programmation en C++ C++ de base ● Programme C++ ● Variables, objets, types ● Fonctions ● Namespace ● Tests ● Boucles ● Pointeurs, références.
Master ESEEC Rédaction de documents (longs) structurés Patrice Séébold Bureau 109, Bât B.
Les mémoires de l’ordinateur
Cours Initiation aux Bases De Données
L’ordinateur et ses composants
Architecture des ordinateurs, Environnement Numérique de Travail
Téléchargement de fichiers
Exploitation de logiciels :
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
Module de gestion des tournées de livraison
Threads et Lightweight Processes
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
Les commandes du système de fichiers
Pointeurs et langage C.
Logiciel de gestion des adhérents
Base de données: Généralité IFT6800 Jian-Yun Nie.
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
Module 12 : Configuration et gestion des disques
Principes de programmation (suite)
Installation et Configuration Internet Information Server (IIS 5)
Les objectifs du cours Savoir utiliser un Tableur
Accès aux fichiers en C.
Les bases de données et le modèle relationnel
Chapitre 12 Surveillance des ressources et des performances
Format des fichiers TIFF
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
Le moniteur Le clavier L'unité centrale (l'ordinateur proprement dit) Qui sont des périphériques DEFINITIONS DE BASE.
Module 5 : Gestion des disques.
PROGRAMMATION INFORMATIQUE D’INGÉNIERIE II
Programmation en C++ C++ de base
Structure D’une Base De Données Relationnelle
LE SYSTEME DE GESTION DE FICHIERS ISET KAIROUAN – /01/20181.
Le moniteur Le clavier L'unité centrale (l'ordinateur proprement dit) Qui sont des périphériques DEFINITIONS DE BASE.
Architecture de machines Le microprocesseur Cours
Bus et adressage GIF-1001: Ordinateurs: Structure et Applications
ACP Analyse en Composantes Principales
Introduction en systèmes d’information et bases de données B.Shishedjiev -Introduction en BD 1.
Les protocoles de la couche application Chapitre 7.
1 Copyright © 2004, Oracle. Tous droits réservés. Extraire des données à l'aide de l'instruction SQL SELECT.
Chapitre2: SGBD et Datawarehouse. On pourrait se demander pourquoi ne pas utiliser un SGBD pour réaliser cette structure d'informatique décisionnelle.
Architecture des ordinateurs
Gestion des photos Organisation du disque dur, Navigation
Présentation de la base Frantext
Module 12 : Configuration et gestion des disques
Gestion de la mémoire GIF-1001 Ordinateurs: Structure et Applications, Hiver 2015 Jean-François Lalonde.
Tri Externe Chapitre 13: 13.1—13.5
BUFFER CIRCULAIRE Meryem EL BAKRI. PLAN Introduction Buffer circulaire Fonctionnement.
Système d’exploitation: Principe IFT6800 – E 2008 Pierre Poulin.
Principes de programmation (suite)
Threads et Lightweight Processes
Listes Chaînées.
STREAMS (et fichiers).
Lecture/Écriture de fichiers (I/O)
Présentation du site Martine Cochet.
Dridi Lobna 1 Couche Réseau II Réseau : Gestion de l’accès.
DONNÉE DE BASE QM Manuel de formation. Agenda 2  Introduction  Objectif de la formation  Données de base QM: Caractéristique de contrôle Catalogue.
Comment aller plus loin avec Zotero? Comité d’Aide à la Publication, FMT Zotero worshop Hand’s on session Zotero worshop Hand’s on session 12h-12h30.
Les Commandes de base Linux. 1 L’aide sur les commandes Linux ◦ help : obtenir de l’aide pour une commande interne du shell. Elle permet aussi d'afficher.
Transcription de la présentation:

Chapitre 11 (suivi par Chap. 12) Systèmes de fichiers (NB: Les planches 1-12 ne sont pas sujet d’examen) http://w3.uqo.ca/luigi/ Chap 11

Concepts importants du chapitre 11 Fichiers: structures, attributs, opérations Méthodes d’accès: séquentiel, séquentiel indexée, indexée, direct ou hachée Répertoires et leur structures: répertoires arborescents, sans ou avec cycles Partage de fichiers, protection, liste d’accès Chap 11

Que c’est qu’un fichier Collection nommée d’informations apparentées, enregistrée sur un stockage secondaire Nature permanente Les données qui se trouvent sur un stockage secondaires doivent être dans un fichier Différents types: Données (binaire, numérique, caractères….) Programmes Chap 11

Structures de fichiers Aucune – séquences d’octets… Texte: Lignes, pages, docs formatés Source: classes, méthodes, procédures… Etc. Chap 11

Attributs d’un fichier Constituent les propriétés du fichiers et sont stockés dans un fichier spécial appelé répertoire (directory). Exemples d’attributs: Nom: pour permet aux personnes d’accéder au fichier Identificateur: Un nombre permettant au SE d’identifier le fichier Type: Ex: binaire, ou texte; lorsque le SE supporte cela Position: Indique le disque et l’adresse du fichier sur disque Taille: En octets ou en blocs Protection: Détermine qui peut écrire, lire, exécuter… Date: pour la dernière modification, ou dernière utilisation Autres… Chap 11

Opérations sur les fichiers: de base Création Écriture Pointeur d’écriture qui donne la position d’écriture Lecture Pointeur de lecture Positionnement dans un fichier (temps de recherche) Suppression d’un fichier Libération d’espace Troncature: remise de la taille à zéro tout en conservant les attributs Chap 11

Autres opérations Ajout d’infos (p.ex. concaténation) Rénommage Copie peut être faite par rénommage: deux noms pour un seul fichier Ouverture d’un fichier: le fichier devient associé à un processus qui en garde les attributs, position, etc. Fermeture Ouverture et fermeture peuvent être explicites (ops open, close) ou implicites Chap 11

Informations reliées à un fichier ouvert Pointeurs de fichier À l’enregistrement courant Pour accès séquentiel P.ex. pour read, write Compteur d’ouvertures Combien de processus l’utilisent Etc. Chap 11

Types de fichiers Certains SE utilisent l’extension du nom du fichier pour en identifier le type. Windows: l’extension est utilisée pour trouver l’application qui est capable d’interpréter le fichier Un fichier exécutable doit avoir une extension comme .exe, .com,.bat … (sinon, le SE refusera de l’exécuter) Le type n’est pas défini pour certains SE Unix, Linux: l’extension est utilisée (et reconnue) seulement par les applications Pour certains SE le type est un attribut MAC-OS: le fichier a un attribut qui contient le nom du programme qui l’a généré (ex: document Word Perfect) Chap 11

Types de fichiers Chap 11

Structure logique des fichiers Le type d’un fichier spécifie sa structure Le SE peut alors supporter les différentes structures correspondant aux types de fichiers Cela complexifie le SE mais simplifie les applications Généralement, un fichier est un ensemble d’enregistrements (records) Chaque enregistrement est constitué d’un ensemble de champs (fields) Un champ peut être numérique, ou charactères Les enregistrements sont de longueur fixe ou variable (dépendant du type du fichier) Mais pour Unix, Linux, Windows …, un fichier est simplement une suite d’octets « byte stream » Donc ici, 1 enregistrement = 1 octet C’est l’application qui interprète le contenu et spécifie une structure Plus versatile mais plus de travail pour l’application ou le programmeur Chap 11

Question fondamentale Jusqu’à quel point le SE prend en charge la structuration des fichiers Sinon, c’est l’application qui doit reconnaître la structure Chap 11

Méthodes d’accès 1) Séquentielle 2) Directe 3) Indexée Séquentielle Pas partie du « noyau », mais encore sujet important Chap 11

Méthodes d’accès: 4 de base Séquentiel (rubans ou disques): lecture ou écriture des enregistrements dans un ordre fixe Indexé séquentiel (disques): accès séquentiel ou accès direct (aléatoire) par l’utilisation d’index Indexée: multiplicité d’index selon les besoins, accès direct par l’index Direct ou hachée: accès direct à travers tableau d’hachage Seulement les SE les plus puissants supportent les méthodes d’accès Quand le SE ne les supporte pas, c’est aux librairies de langage de programmation ou d’une application de les supporter Read, write … invoquent ces librairies Chap 11

Méthodes d’accès aux fichiers La structure logique d’un fichier détermine sa méthode d’accès Les SE sur les « mainframe » fournissent généralement plusieurs méthodes d’accès Car ils supportent plusieurs types de fichiers Plusieurs SE modernes (Unix, Linux, Windows…) fournissent une seule méthode d’accès (séquentielle) car les fichiers sont considérés être tous du même type (ex: séquence d’octets) Mais leur méthode d’allocation de fichiers (voir + loin) permet habituellement aux applications d’accéder aux fichiers de différentes manières Ex: les systèmes de gestions de bases de données (DBMS) requièrent des méthodes d’accès plus efficaces que juste séquentielle Un DBMS sur un « mainframe » peut utiliser une structure fournie par le SE pour accès efficace aux enregistrements. Un DBMS sur un SE qui ne fournit qu’un accès séquentiel doit donc « ajouter » une structure aux fichiers de bases de données pour accès directs plus rapides. Chap 11

1) Fichiers à accès séquentiel (archétype: rubans) La seule façon de retourner en arrière est de retourner au début (rébobiner, rewind) En avant seulement, 1 seul enreg. à la fois bloc bloc . . . . . . . . . enregistrements vide entre blocs (gap) Chap 11

Beaucoup de blocs sur ruban, un seul tampon en mémoire Direction de lecture ou écriture bloc bloc bloc Tampon en mémoire principale

Unités ruban hier et aujourd’hui Chap 11

Les fichiers ruban sont encore importants aujourd’hui – dans les très grandes entreprises Chap 11

Capacité Un seul ruban = 1,5TO TeraO=1 000GO Les librairies de rubans sont souvent robotiques Permettent d’extraire automatiquement le bon ruban au moment désiré Peuvent contenir des centaines de rubans Très pratique pour la sauvegarde de disques (backup) Chap 11

Lecture physique et lecture logique dans un fichier séquentiel Un fichier séquentiel consiste en blocs d’octets enregistrés sur un support tel que ruban, disque… Ces blocs sont lus (lecture physique) dans un tampon en mémoire Un bloc contient un certain nombre d’enregistrements (records) qui sont des unités d’information logiques pour l’application (un étudiant, un client, un produit…) Souvent de longueur et contenu uniformes Triés par une clé, normalement un code (code d’étudiant, numéro produit…) Une lecture dans un programme lit le prochain enregistrement Cette lecture peut être réalisée par La simple mise à jour d’un pointeur si la lecture logique précédente ne s’était pas rendue à la fin du tampon la lecture du proch. bloc (dans un tampon d’E/S en mémoire) si la lecture logique précédente s’était rendue à la fin du tampon Dans ce cas le pointeur est remis à 0 Chap 11

Beaucoup de blocs sur ruban, un seul tampon en mémoire Direction de lecture ou écriture bloc bloc bloc Tampon en mémoire principale

Autres propriétés des fichiers séquentiels Pour l’écriture, la même idée: une instruction d’écriture dans un programme cause l’ajout d’un enregistrement à un tampon, quand le tampon est plein il y a une écriture de bloc Un fichier séquentiel qui a été ouvert en lecture ne peut pas être écrit et vice-versa (impossible de mélanger lectures et écritures) Les fichiers séquentiels ne peuvent être lus ou écrits qu’un enregistrement à la fois et seulement dans la direction ‘en avant’ Chap 11

Mise à jour de fichiers séquentiels Cette diapo et la suivante ne sont pas sujet d’examen Mise à jour de fichiers séquentiels Vieux maître Fichier mises à jour Nouveau maître Programme de mise à jour Tous les fichiers sont triés par la même clé Chap 11

Mise à jour de fichiers séquentiels triés: exemple 02 Retirer 05 02 05 Modif 12 12 (12 modifié) 12 Ajout 20 17 17 Ajout 27 20 21 21 26 26 27 + Vieux maître Mises à jour = Nouveau maître L’algorithme fonctionne lisant un enregistrement à la fois, en séquence, du vieux maître et du fichier des mises à jour Il travaille seulement avec trois enregistrements à la fois, un par fichier Chap 11

Point de réflexion Considérant seulement les caractéristiques des rubans, rien n’empêcherait d’avoir sur ruban des blocs de longueur énorme, beaucoup de GO C’est quoi qui limite en pratique la taille des blocs? Chap 11

Point de réflexion Pourquoi on doit avoir un espace inter-bloc dans les rubans et quoi détermine sa taille? Aide: entre lectures ou écritures, l’unité ruban doit s’arrêter et puis redémarrer Il y a là des problèmes mécaniques qui rendent problématique le ‘positionnement en arrière’, sauf le retour au tout début Rewind, rebobinage Chap 11

Question sur les rubans Vous êtes à l’enregistrement 1000 et vous voulez lire l’enregistrement 999 Comment programmer ceci? Malheureusement il faut rébobiner au début, puis lire en avant jusqu’à 999 Il est effectivement possible que les deux enregistrement se trouvent dans le même bloc en mémoire, et si on pouvait exploiter ce fait, il ne serait pas nécessaire de faire aucune lecture physique! Seulement se positionner un enregistrement en avant Mais la plupart des langages de programmation ne vous donnent aucun contrôle sur ceci Les rubans se lisent et s’écrivent seulement en avant! Donc les enregistrements sont normalement triés selon l’ordre attendu d’utilisation Chap 11

2) Accès direct ou haché ou aléatoire: accès direct à travers tableau d’hachage Une fonction d’hachage est une fonction qui traduit une clé dans adresse, P.ex. Matricule étudiant  adresse disque Rapide mais: Si les adresses générées sont trop éparpillées, gaspillage d’espace Si les adresses ne sont pas assez éparpillées, risque que deux clés soient renvoyées à la même adresse Dans ce cas, il faut de quelques façon renvoyer une des clés à une autre adresse Chap 11

Problème avec les fonctions d’hachage adr. disque clés adr. disque clés Fonction d’hachage dispersée qui utilise mal l’espace disponible Fonction d’hachage concentrée qui utilise mieux l’espace mais introduit des doubles affectations Chap 11

Hachage:Traitement des doubles affectations On doit détecter les doubles affectations, et s’il y en a, un des deux enregistrements doit être mis ailleurs ce qui complique l’algorithme adr. disque clés adr. alternative disque Chap 11

3) Adressage Indexé séquentiel (index sequential) Combine l’accès direct et le séquentiel Un index permet d’arriver directement à l’enregistrement désiré, ou en sa proximité Chaque enregistrement contient un champ clé Un fichier index contient des repères (pointeurs) à certain points importants dans le fichier principal p.ex. début de la lettre S, début des Lalande, début des matricules qui commencent par 8 Le fichier index pourra être organisé en niveaux p.ex. dans l’index de S on trouve l’index de tous ceux qui commencent par S Le fichier index permet d’arriver au point de repère dans le fichier principal, puis la recherche est séquentielle Chap 11

Exemples d’index et fichiers relatifs Pointe au début des Smiths (il y en aura plusieurs) Le fichier index est à accès direct, le fichier relatif est à accès séquentiel Chap 11

Index et fichier principal (Stallings) Dans cette figure, l’index est étendu à plusieurs niveaux, donc il y a un fichier index qui renvoie à un autre fichier index, n niveaux (Relative file) Chap 11

Pourquoi plusieurs niveaux d’index Un premier niveau d’index pourrait conduire au début de la lettre S Un deuxième niveau au début des Smith, etc. Donc dans le cas de fichiers volumineux plusieurs niveaux pourraient être justifiés. Chap 11

Séquentiel et index séquentiel: comparaison P.ex. Un fichier contient 1 million d’enregistrements En moyenne, 500 000 accès sont nécessaires pour trouver un enregistrement si l’accès est séquentiel! Mais dans un séquentiel indexé, s’il y a un seul niveau d’indices avec 1000 entrées (et chaque entrée pointe donc à 1000 autres), En moyenne, ça prend 1 accès pour trouver le repère approprié dans le fichier index Puis 500 accès pour trouver séquentiellement le bon enregistrement dans le fichier relatif Chap 11

Mais… besoin de fichier débordement Les nouveaux enregistrements seront ajoutés à un fichier débordement Les enregistrements du fichier principal qui le précèdent dans l’ordre de tri seront mis à jour pour contenir un pointeur au nouveau enregistrement Donc accès additionnels au fichiers débordement Périodiquement, le fichier principal sera fusionné avec le fichier débordement Chap 11

Indexed sequential (Stallings) Chap 11

Méthode indexée Utilise des index multiples pour différentes clés (= critères de recherche), selon les différents besoins de consultation Quelques uns pourraient être exhaustifs, quelques uns partiels, et organisés de façons différentes Chap 11

Fichier des étudiants UQO Exemple Inscrits à INF3723 Inscrits à INF3203 Inscrits à INF2355 Etc… Fichier des étudiants UQO F.Boucher J.Abdi Chap 11

Utilisation des 4 méthodes important Utilisation des 4 méthodes Séquentiel (rubans ou disques): pour applications périodiques qui demandent la lecture ou écriture des enregistrements dans un ordre fixe, ces applications sont appelées ‘batch’=‘par lots’ Salaires, comptabilité périodique, sauvegarde périodique (backups) Indexé séquentiel (disques): accès séquentiel ou accès direct par l’utilisation d’index Pour fichiers qui doivent être consultés parfois de façon séquentielle, parfois de façon directe (p.ex. par nom d’étudiant) Indexée: multiplicité d’index selon les besoins, accès direct par l’index Pour fichiers qui doivent être consultés de façon directe selon des critères différents (p.ex. pouvoir accéder aux infos concernant les étudiants par la côte du cours auquel ils sont inscrits) Parfait pour des recherches style SQL Direct ou hachée: accès direct à travers tableau d’hachage Pour fichiers qui doivent être consultés de façon directe par une clé uniforme (p.ex. accès aux information des étudiants par matricule) Chap 11

Répertoires (directories) Cette partie n’est pas sujet d’examen (pages 41-54) Chap 11

Structures de répertoires (directories) Une collection de structures de données contenant infos sur les fichiers. Répertoires Fichiers F 1 F 2 F 3 F 4 F n Tant les répertoires, que les fichiers, sont sur disques À l’exception d’un rép. racine en mém. centrale Chap 11

Organisation typique de système de fichiers Deux répertoires dans un seul disque Un répertoire dans deux disques Chap 11

Information dans un répertoire Nom du fichier Type Adresse sur disque, sur ruban... Longueur courante Longueur maximale Date de dernier accès Date de dernière mise à jour Propriétaire Protection etc Chap 11

Opérations sur répertoires Recherche de fichier Création de fichier Suppression de fichier Lister un répertoire Renommer un fichier Traverser un système de fichier Chap 11

Organisation de répertoires Efficacité: arriver rapidement à un enregistrement Structure de noms: convenable pour usager deux usagers peuvent avoir le même noms pour fichiers différents Le même fichier peut avoir différents noms Groupement de fichiers par type: tous les programmes Java tous les programmes objet Chap 11

Structure à un niveau Un seul rép. pour tous les usagers Ambiguïté de noms Pas de groupement Primitif, pas pratique Chap 11

Répertoires à deux niveaux Rép. séparé pour chaque usager `path name`, nom de chemin  même nom de fichier pour usagers différents est permis recherche efficace Pas de groupements Chap 11

Répertoires à arbres (normal aujourd’hui) Chap 11

Caractéristiques des répertoires à arbres Recherche efficace Possibilité de grouper Repertoire courant (working directory) cd /spell/mail/prog Chap 11

Graphes sans cycles: permettent de partager fichiers Chap 11

Références multiples dans graphes acycliques Un nœud peut avoir deux noms différents Si dict supprime list donc pointeur vers fichier inexistant (dangling pointer) à partir de spell. Solutions: Pointeurs en arrière, effacent tous les pointeurs Compteurs de références (s’il y a encore des refs au fichier, il ne sera pas effacé) Ni Unix ni Windows n’implémentent ces politiques, donc messages d’erreur Solutions impossibles à gérer dans un système fortement reparti (ex: www) Chap 11

Raccourcis (très utilisés dans MS-Windows) Les raccourcis sont des pointeurs qui amènent directement à certains répertoires mail hex Chap 11

Considérations dans le cas de cycles En traversant le graphe, il est nécessaire de savoir si on retombe sur un noeud déjà visité Un noeud peut avoir compteur de ref != 0 en se trouvant dans une boucle de noeuds qui n ’est pas accessible! Des algorithmes existent pour permettre de traiter ces cas, cependant ils sont compliqués et ont des temps d ’exécution non négligeables, ce qui fait qu’ ils ne sont pas toujours employés Ramasse-miettes = garbage collection root Un sous-arbre qui n’est pas accessible à partir de la racine mais il ne peut pas être effacé en utilisant le critère ref=0 car il fait ref à lui-meme! Chap 11

Partage de fichiers Désirable sur les réseaux Nécessite de protection Chap 11

Protection (détails dans un chap suivant) Types d ’accès permis lecture écriture exécution append (annexation) effacement listage: lister les noms et les attributs d ’un fichier Par qui Chap 11

Listes et groupes d’accès - UNIX Modes d ’accès: R W E Trois classes d ’usager: propriétaire groupe public demander à l ’administrateur de créer un nouveau groupe avec un certain usager et un certain propriétaire droit du propriétaire de régler les droits d ’accès et d ’ajouter des nouveaux usagers Chap 11

Listes et groupes d’accès Mode d’accès: read, write, execute Trois catégories d’usagers: RWX a) owner access 7  1 1 1 RWX b) group access 6  1 1 0 c) others access 1  0 0 1 Demander au gestionnaire de créer un groupe, disons G, et ajouter des usagers au groupe Pour un fichier particulier, disons jeux, définir un accès approprié owner group public chmod 761 jeux Changer le groupe d’un fichier chgrp G jeux Chap 11

Par rapport au manuel Nous n’avons pas discuté: Section 11.1.3 Chap 11

Concepts importants du Chap 11 Systèmes fichiers Méthodes d’accès Structures Répertoires Protection Structures de systèmes fichiers Chap 11

Implémentation des systèmes de fichiers Chapitre 12 Implémentation des systèmes de fichiers Chap 11

Concepts importants du Chap 12 Méthodes d’allocation Gestion de l’espace libre Implémentation de répertoires Questions d’efficacité Chap 11

Structures de systèmes de fichiers Structure de fichiers: deux façons de voir un fichier: SE: unité d’allocation espace Usager: collection d’informations reliées Le système de fichiers réside dans la mémoire secondaire: disques, rubans... File control block: structure de données contenant de l’info sur un fichier Chap 11

Systèmes de fichiers à couches Usager Répertoires Méthodes d’accès BIOS Chap 11

Structure physique des fichiers La mémoire secondaire est subdivisée en blocs et les ops d’E/S s’effectuent en unités de blocs Il faut donc insérer les enregistrements dans les blocs et les extraire par la suite Les blocs ruban peuvent être de longueur variable Sur disque, un bloc est constitué d’un multiple de secteurs contigus La norme pour les secteurs était de 512 Octets, Aujourd’hui elle est plutôt de 4096 Oct. Le dernier secteur est rarement rempli de données Fragmentation interne d’un demi-secteur par bloc Chap 11

Ouverture de fichiers Dans les langages de programmation, il y a normalement une instruction qui fait ‘ouvrir’ un fichier Pour en préparer l’utilisation en lecture ou écriture En C, ouverture en lecture « r »: FILE *fp; fp=fopen("c:\\test.txt", "r"); En Java, « NEW » Ceci pourrait être implicite, la 1ère lecture pourrait faire l’ouverture Chap 11

Ouverture et utilisation de fichiers L’information dans le répertoire est utilisée pour construire le bloc de contrôle de fichier UTILISATION: L’information dans le bloc de contrôle de fichier est utilisée pour trouver le placement des données et effectuer la lecture Chap 11

Trois méthodes d’allocation de fichiers Allocation contiguë Allocation enchaînée Allocation indexée Seulement la première est possible sur ruban, toutes sont possibles sur disque Chap 11

Allocation contiguë sur disque répertoire Chap 11

Allocation contiguë disque Chaque fichier occupe un ensemble de blocs contigu sur disque Simple: nous n’avons besoin que d’adresses de début et longueur Supporte tant l’accès séquentiel, que l’accès direct Moins pratique pour les autres méthodes La mise à jour est impossible si elle est pour ajouter des informations Chap 11

Pour l’accès direct Normalement quand on utilise cette technique la longueur des enregistrements est fixe et connue Donc quelle est la formule pour accéder directement à l’enregistrement N? (N-ième enregistrement dans le fichier?) Chap 11

Allocation contiguë Application des problèmes et méthodes vus dans le chapitre de l’alloc de mémoire contiguë Exécution périodique d’une compression pour récupérer l’espace libre Pour ajouter des enregistrements il est nécessaire de recopier tout le fichier Chap 11

Allocation contigüe sur ruban Nous avons vu que le ruban magnétique est caractérisé par Accès séquentiel Et allocation contigüe Aucun accèes direct Chap 11

Allocation enchaînée disque Le répertoire contient l’adresse du premier et dernier bloc, possibl. le nombre de blocs Chaque bloc contient un pointeur à l’adresse du prochain bloc: pointeur bloc = données Chap 11

Allocation enchaînée répertoire Chap 11

Avantages - désavantages Pas de fragmentation externe - allocation de mémoire simple, pas besoin de compression L’accès à l’intérieur d’un fichier ne peut être que séquentiel Pas façon de trouver directement le 50ème enregistrement... N’utilise pas la localité car les enregistrements seront éparpillés L’intégrité des pointeurs est essentielle Les pointeurs gaspillent un peu d’espace Chap 11

Tableau d’allocation de fichiers FAT (Windows) File Allocation Table: Elle est dans le support externe et amenée en mém principale quand le fichier est ouvert FAT bloc 217 bloc 618 La position N dans la liste fait référence au bloc N dans le disque Chap 11

Avantages additionnels de FAT (Windows) On peut rapidement se positionner sur un enregistrement quelconque Donc on peut implémenter des méthodes d’accès comme directe, indexé séquentiel, etc. Utilisation FAT est utilisé entre autres pour les clés USB Le tableau est dans l’USB mais est copié en mémoire principale (cache) quand la clé est activée Chap 11

Allocation indexée: semblable à la pagination Tous les pointeurs sont regroupés dans un tableau (index block) index table Différence par rapport à FAT: ici il n’y a pas de pointeurs au prochain enregistrement car ils sont contigus Chap 11

Allocation indexée -1: pointeur nul Chap 11

Allocation indexée À la création d’un fichier, tous les pointeurs dans le tableau sont nil (-1) Chaque fois qu’un nouveau bloc doit être alloué, on trouve de l ’espace disponible et on ajoute un pointeur avec son adresse Un bloc index aura une longueur limitée, mais il pourra contenir un pointeur au prochain bloc index Chap 11

Allocation indexée Pas de fragmentation externe, mais les index prennent de l’espace Permet accès direct (aléatoire) Taille de fichiers limitée par la taille de l’index block Mais nous pouvons avoir plusieurs niveaux d’index: voir inode Ou des index qui pointent à des index Index block peut utiliser beaucoup de mémoire Chap 11

Inode: Système fichiers indexé à niveaux: UNIX File System (UFS) et Linux Ce répertoire est en mémoire, tous les autres sont sur disque Hypothèse: pointeurs de 22o=4o=32b 12 blocs disque de 4Ko chaque 1024 blocs de 4Ko chaque 1024x1024 blocs de 4Ko Un inode pour chaque fichier Chap 11 Bloc de 4Ko contient 1024 pointeurs de 4o chaque

Inode: UNIX UFS – LINUX Les premiers blocs d’un fichier sont accessibles directement Si le fichier contient des blocs additionnels, les premiers sont accessibles à travers un niveau d’indices Les suivants sont accessibles à travers 2 niveaux d’indices, etc. Donc le plus loin du début un enregistrement se trouve, le plus indirect est son accès Permet accès rapide à petits fichiers, et au début de tous les fich. Permet l’accès à des grands fichier avec un petit répertoire en mémoire La capacité d’un tel système dépend de la taille des blocs ainsi que du nombre de bits dans les pointeurs Chap 11

Exercice Étant donné un fichier d’une certaine taille (disons 80Ko) Déterminer comment il serait stocké dans le inode Supposer la configuration donnée dans le transparent précédent Refaire ceci pour plusieurs tailles possibles de fichiers Voir manuel Section 12.4.2 Chap 11

Méthodes d’allocation et méthodes d’accès Méthode d’allocation Méthode d’accès supportée Séquentielle ruban Séquentielle Séquentielle disque Séquentielle et directe Enchaînée disque FAT Séquentielle, directe, index-séquentielle Indexée iNODE IMPORTANT! Chap 11

Gestion de l’espace libre Comment trouver de l’espace libre dans un disque Chap 11

Gestion d’espace libre Solution 1: vecteur de bits (solution MAC, Windows) Vecteur de bits (n blocs) … 1 2 n-1 bit[i] =  0  block[i] libre 1  block[i] occupé Exemple d’un vecteur de bits où les blocs 3, 4, 5, 9, 10, 15, 16 sont occupés: 00011100011000011… L’adresse du premier bloc libre peut être trouvée par un simple calcul Chap 11

Gestion d’espace libre Solution 2: Liste liée de mémoire libre (MS-DOS, Windows 9x) Tous les blocs de mémoire libre sont liés ensemble par des pointeurs Chap 11

Comparaison Bitmap: Liste liée normalement la bitmap de toute la mémoire secondaire est gardée en mémoire principale, la méthode est donc rapide mais demande de l’espace de mémoire principale si les bitmaps sont gardées en mémoire secondaire, temps de lecture de mémoire secondaire... Elles pourraient être paginées, p.ex. Liste liée Pour trouver plusieurs blocs de mémoire libre, plus. accès de disque pourraient être demandés Chap 11

Amélioration de performance Chap 11

Implantation de répertoires (directories) Liste linéaire de noms de fichiers avec pointeurs aux blocs de données accès séquentiel simple à programmer temps nécessaire pour parcourir la liste Tableaux de hachage: tableaux calculés temps de recherche rapide mais problèmes de collisions Chap 11

Efficacité et performance L’efficacité dépend de: méthode d’allocation et d’organisation répertoires Pour augmenter la performance: Rendre efficace l’accès aux blocs souvent visités Dédier des tampons de mémoire qui contiennent l’image des infos plus souvent utilisées Chap 11

Disque RAM fonctionne comme mémoire cache pour la mémoire secondaire Image (partielle?) du contenu du disque en mémoire RAM Le pilote de disque RAM accepte toutes les ops qui sont acceptées par le disque Chap 11

Le problème de la récupération, ou cohérence Parties des fichiers et des répertoires se trouvent tant en mémoire vive, que sur disque Il faut donc des mécanisme qui assurent leur cohérence, surtout après pannes dans le système Dans le cas précédent, supposons que des changements ont été faits sur l’image du disque en RAM, et puis il y a une panne soudaine de courant? Chap 11

Récupération: différentes méthodes Contrôles de cohérence entre la structure de répertoires en mémoire centrale et le contenu des disques Essaye de réparer les incohérences Sauvegarder les données sur disque dans autres supports auxiliaires (backups) (p.ex. autres disques, rubans) Restaurer les disques à partir de ces supports quand nécessaire Chap 11

Concepts importants du Chapitre 12 Allocation d’espace: contiguë, enchaînée, indexée Application en UNIX Gestion d’espace libre: bitmap, liste liée Chap 11

Par rapport au manuel… Nous n’avons pas discuté: Section 12.4.4, 12.6, 12.8, 12.9 Chap 11

Concept de ‘cache’ En informatique, une ‘cache’ est une mémoire dans laquelle on stocke des données souvent demandées, qui sont normalement stockées dans une mémoire plus lente P.ex. on peut stocker en mémoire principale des parties souvent demandées d’un fichier sur disque Un mécanisme est implémenté par lequel les processus qui cherchent les données continuent d’utiliser les mêmes méthodes d’accès que si l’info était encore dans la mémoire plus lente P.ex. ils continuent d’utiliser des adresses disque qui en effet lui donnent accès à des données en mémoire principale Le nom de ‘cache’ vient du fait que les informations sont ‘cachées’ dans la mémoire plus rapide à l’insu de l’usager Étant donné que ces informations existent en deux copies, nous avons le problème de ‘cohérence du cache’ qui a été beaucoup étudié (v. bit ‘sale’ en mémoire virtuelle) Chap 11