LE SYSTEME DE GESTION DE FICHIERS NOUREDDINE GRASSA ISSAT KAIROUAN – 2014 Master Pilotage 18/04/2017

Le système de gestion de fichiers Introduction 3 points essentiels requis pour stocker des informations à long terme : Pouvoir stocker des informations de très grande taille, Les informations ne doivent pas disparaître lorsque le processus qui les utilise se termine, Plusieurs processus doivent pouvoir accéder simultanément aux informations. 18/04/2017

Le système de gestion de fichiers SOLUTION : stocker des informations dans des fichiers sur le disque dur ou autres supports. >> processus peuvent lire et écrire de nouveaux fichiers. Les informations stockées dans des fichiers doivent être permanentes ( non affecté par la création en fin de processus). 18/04/2017

Le système de gestion de fichiers Les fichiers sont gérés par le système d’exploitation. La manière dont ils sont structurés, nommés, utilisés, protégés et implémentés sont des points majeurs de la construction du SE. En résumé : le système de fichiers (File System), c’est une partie du SE. 18/04/2017

Le système de gestion de fichiers Les fichiers Affectations des noms de fichiers Règles d’affectation des noms de fichiers varient selon le système. Mais tous les systèmes autorisent des noms de fichiers de 1 à 8 caractères non accentués. Les chiffres et les caractères spéciaux sont autorisés pour certains systèmes de fichiers. 18/04/2017

Le système de gestion de fichiers Les fichiers Affectations des noms de fichiers UNIX différencie les minuscules des majuscules. DOS ne fait pas de différence. Les FS (File System) gèrent les noms en deux parties. Nom.extension DOS -> extension de 3 caractères au maximum ( 1 à 8. 1 à 3 ) UNIX -> la taille de l’extension est libre. Le fichier peut avoir plusieurs extensions. 18/04/2017

Le système de gestion de fichiers Les fichiers Structure des fichiers 3 types de fichiers : - Suite d’octets, - Suite d’enregistrements, Arbre d’enregistrements, 18/04/2017

Le système de gestion de fichiers Les fichiers Structure des fichiers Suite d’octets Le SE ne connaît pas et ne s’occupe pas du contenu du fichier. Il ne gère que les octets. Toutes les significations sont données par le programme des utilisateurs. UNIX et DOS sont structurés ainsi. >> très grande souplesse. Le SE n’impose pas de restriction. Les programmes des utilisateurs peuvent écrire ce qu’ils souhaitent dans les fichiers et les nommer comme ils veulent. 18/04/2017

Le système de gestion de fichiers Les fichiers Structure des fichiers Suite d’enregistrements Enregistrements de taille fixe qui ont chacun une structure interne. Concept de base des enregistrements de taille fixe : Une opération de lecture renvoie un enregistrement et une opération d’écriture remplace ou ajoute un enregistrement. 18/04/2017

Le système de gestion de fichiers Les fichiers Structure des fichiers Âne Faon Pigeon Arbre d’enregistrements Chat Chien Daim Rat Poule Canard Hibou Ibis Lièvre Un fichier est une arborescence d’enregistrements de tailles différentes et qui contiennent chacun une clé à une position donnée. L’arbre est trié en fonction de cette clé afin d’accéder à la recherche d’une clé donnée. 18/04/2017

Le système de gestion de fichiers Les fichiers Structure des fichiers Idée de base : Rechercher l’enregistrement contenant une clé donnée et non pas l’enregistrement suivant (même si cela est possible). De nouveaux enregistrements peuvent être ajoutés dans le fichier, le système d’exploitation décide de leurs emplacements (et non pas l’utilisateur). 18/04/2017

Le système de gestion de fichiers Les fichiers Type des fichiers Fichier ordinaire : contient les informations des utilisateurs Les catalogues (directories) : fichiers systèmes qui maintiennent la structure du FS Fichiers spéciaux caractères : liés aux E/S et permettent de modéliser les périphériques d’E/S série tels que les terminaux, imprimantes et les réseaux Fichiers spéciaux blocs : modélisent les disques 18/04/2017

Le système de gestion de fichiers Les fichiers Type des fichiers Les fichiers ordinaires sont en général des fichiers ASCII ou binaires. Les fichiers ASCII contiennent des lignes de texte. Dans certains systèmes, les lignes sont terminées par un retour chariot. Dans d’autres systèmes, le caractère « passage à la ligne » est utilisé. Dans d’autres systèmes, les deux sont utilisés. 18/04/2017

Le système de gestion de fichiers Les fichiers Type des fichiers Avantages des fichiers ASCII : - afficher et imprimer sans modification - éditer par éditeur standard si le fichier est utilisé en E/S par un programme, il est alors facile de faire communiquer la sortie du programme avec l’entrée d’un autre programme. Exemple : le tube (pipe). 18/04/2017

Le système de gestion de fichiers Les fichiers Type des fichiers Fichiers binaires : - simplement pas des fichiers ASCII, leur impression donne une suite de caractères de signes incompréhensible. - ont une structure interne Il existe une commande permettant d’avoir des indications sur les fichiers d’un répertoire : File * (ceci dans le répertoire courant) 18/04/2017

Le système de gestion de fichiers Les fichiers Accès aux fichiers L’accès séquentiel : Les premiers SE n’offraient qu’un seul type d’accès aux fichiers. Un processus pouvait lire tous les octets ou les enregistrements d’un fichier dans l’ordre à partir du début du fichier, mais ne pouvait pas les lire dans le désordre. Les fichiers séquentiels peuvent être rembobinés donc être lus plusieurs fois. >> très pratique pour le stockage sur bande magnétique plutôt que sur le DD. 18/04/2017

Le système de gestion de fichiers Les fichiers Accès aux fichiers L’accès aléatoire  (Random Access File) : L’arrivée des DD a autorisé la lecture dans le désordre des octets ou des enregistrements , ainsi que l’accès des enregistrements à partir d’une clé et non plus d’une position. Les fichiers à accès aléatoire sont indispensables à de nombreuses applications comme les systèmes de gestion de base de données (accès à un enregistrement sans parcourir tous les enregistrements mémorisés). 18/04/2017

Le système de gestion de fichiers Les fichiers Accès aux fichiers Deux méthodes pour spécifier la position de départ de la lecture : Chaque opération READ indique la position dans le fichier à laquelle la lecture doit débuter, Une opération spéciale, SEEK, permet de se positionner à un endroit donné. A la suite de ce positionnement. La lecture peut débuter à partir de cette nouvelle position courante. Les SE modernes utilisent tous les fichiers à accès aléatoire. 18/04/2017

Le système de gestion de fichiers Les fichiers Les attributs des fichiers Chaque fichier possède un nom et des données. Tous les SE associent les informations complémentaires pour chaque fichier (ex : date, heure de création, taille du fichier, etc..). attributs des fichiers La liste des attributs varie d’un système à un autre. 18/04/2017

Le système de gestion de fichiers Les fichiers Les attributs des fichiers Quelques attributs de fichiers : Champ Signification Protection Qui peut accéder au fichier et de quelle façon Mot de passe Mot de passe requis pour accéder au fichier Créateur Personne qui a créé le fichier Propriétaire Propriétaire courant Indicateur lecture seule 0 pour lecture/écriture, 1 pour lecture seule Indicateur fichier caché 0 pour fichier normal, 1 pour ne pas l‘afficher dans les listages Indicateur fichier système 0 pour fichier normal, 1 pour fichier système Indicateur d’archivage 0 le fichier a été archivé, 1 il doit être archiver Indicateur fichier ASCII/binaire 0 pour fichier ASCII, 1 pour fichier binaire Indicateur d’accès aléatoire 0 pour accès séquentiel, 1 pour accès aléatoire Indicateur fichier temporaire 0 pour fichier normal, 1 pour supprimer le fichier lorsque le processus se termine Indicateur de verrouillage 0 pour fichier non verrouillé, 1 pour fichier verrouillé Longueur d’enregistrement Nb d’octets dans l’enregistrement Position de la clé Position relative de la clé dans chaque enregistrement Longueur de la clé Nb d’octets du champ clé Date de création Date et heure de création du fichier Date du denier accès Date et heure du dernier accès au fichier 18/04/2017

Le système de gestion de fichiers Les fichiers Les attributs des fichiers Attribution des droits : Chaque fichier a un ensemble d’attributs définissant ses droits pour tous les utilisateurs du système. Il existe 3 niveaux de confidentialité : Propriétaire (user), Groupe (group), Les autres ou le reste du monde (others). 18/04/2017

Le système de gestion de fichiers Les fichiers Les attributs des fichiers Attribution des droits : A sa création, le fichier appartient à son propriétaire et fait partie du groupe auquel appartient le propriétaire. Après seulement, le propriétaire peut distribuer ou restreindre les droits sur le fichier. Il existe 3 modes d’action ou d’exécution : Lecture (r ou 4 en octal), ugs rwx rwx rwx Écriture (w ou 2 en octal), Codés sur 9 bits+1 (1+3+3+3) Exécution (x ou 1 en octal). 18/04/2017

Le système de gestion de fichiers Les fichiers Les attributs des fichiers u g s concerne l’exécution du fichier. En tant qu’Administrateur et propriétaire : u setuid (set user id=4) pendant l‘exécution d’un programme, l’utilisateur est considéré comme le propriétaire du programme. g setgid (set group id=2) pendant l‘exécution d’un programme, le groupe est considéré comme le groupe associé au programme. En tant qu’Administrateur seulement : s sticky bit (égal à 1) concerne le fichier exécutable. Le fichier reste en mémoire après son exécution. optimisation de l’accès disque 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers Les fichiers permettent de stocker des informations et de les rechercher plus tard. Différents appels systèmes permettent le stockage et la recherche : CREATE : le fichier est créé sans données. But : indiquer la création d’un fichier et de fixer un certain nombre de paramètres. 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers DELETE : Le fichier étant devenu inutile, il est supprimé pour libérer de l’espace sur le disque. OPEN : Un fichier doit être ouvert avant qu’un processus puisse l’utiliser. L’appel OPEN permet au système de charger les attributs et la liste des adresses du fichier sur le disque afin d’accélérer les accès ultérieurs. 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers CLOSE : Quand on a plus besoin d’accéder au fichier, les attributs et la liste des adresses du fichiers ne sont plus requis. Le fichier doit être fermé pour libérer de l’espace dans les tables internes. Remarque : de nombreux systèmes imposent un nombre maximal de fichier ouverts par processus. READ : Des données du fichier sont lus à partir de la position courante (en général) L’appelant doit spécifier le nombre d’octets demandés ainsi qu’une mémoire tampon de réception. 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers WRITE : Des données sont écrites à partir de la position courante. Si la position courante est situé à la fin du fichier, la taille du fichier augmente. Si la position courante est situé au milieu du fichier, les anciennes données sont remplacées et définitivement perdus. SEEK : Pour les fichiers à accès aléatoire, il faut indiquer la position des données à lire ou à écrire. L’appel SEEK est souvent utilisé et modifie la position courante dans le fichier. L’opération de lecture ou d’écriture se fait à partir de la nouvelle position courante. 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers GET ATTRIBUTE : Les processus doivent souvent lire les attributs des fichiers pour effectuer des opérations. Ex : le programme make sous Unix/linux gère des développements logiciels constitués de plusieurs fichiers sources. Lorsque make est appelé, il examine les dates de modification de tous les fichiers sources et les objets, et effectue le plus petit nombre de compilation nécessaire pour mettre à jour le projet. Pour cela, il doit accéder aux attributs des fichiers, et plus précisément à la date de modification. 18/04/2017

Le système de gestion de fichiers Les fichiers Les opérations sur les fichiers SET ATTRIBUTE : Quand les attributs peuvent être modifiés par les utilisateurs et peuvent être renseignés après la création du fichier, on utilise cet appel système. RENAME : Appel système qui permet de renommer un fichier. Pas indispensable, on peut copier le fichier sous un nom différent et ensuite supprimer l’ancien fichier. Tous ces appels systèmes peuvent être utiliser dans un programme afin de travailler sur des fichiers. 18/04/2017

Le système de gestion de fichiers Les fichiers Les fichiers mappés en mémoire Du point de vue conceptuel : 2 nouveaux appels systèmes : MAP et UNMAP MAP : Reçoit un nom de fichier et une adresse virtuelle, ce qui amène le système d’exploitation à mapper ce fichier sur cette adresse virtuelle. On a un pointeur sur la mémoire qui se déplace dans le fichier en mémoire. Cela évite les appels systèmes READ et WRITE. 18/04/2017

Le système de gestion de fichiers Les fichiers Les fichiers mappés en mémoire Ceci est une fonction propre à l’OS (NT et UNIX) L’action de mappage créée des segments dans les pages et copie les segments du fichier dedans. Quand la copie est terminée, il peut exécuter l’appel système UNMAP pour retirer le fichier de l’espace d’adressage, puis il se termine. Le nouveau fichier existe comme s’il avait été créé normalement avec les appels systèmes adéquates. Le mappage de fichier dispense des E/S et facilite la programmation. 18/04/2017

Le système de gestion de fichiers Les catalogues Système à catalogues hiérarchiques Un catalogue contient un certain nombre d’entrée, une entrée par fichier. 2 possibilités : Chaque entrée contient le nom du fichier, ses attributs et ses adresses sur le disque où les données sont stockées. Chaque entrée contient le nom du fichier et un pointeur sur une structure contenant ses attributs et ses adresses sur le disque. 18/04/2017

Le système de gestion de fichiers Les catalogues Système à catalogues hiérarchiques Jeux Attributs Courrier Nouveau Travail Jeux Courrier Nouveau Travail Lorsque l’ouverture d’un fichier est requise, le système d’exploitation recherche le nom du fichier à ouvrir dans le catalogue. Il extrait les attributs et les adresses sur le disque soit à partir de l’entrée du catalogue, soit à partir de la structure de données sur laquelle pointe le catalogue. Structure de données contenant les attributs 18/04/2017

Le système de gestion de fichiers Les catalogues Système à catalogues hiérarchiques Ces informations sont en mémoire et peuvent être utilisé par d’autre processus. Méthode la plus simple : Utiliser un seul catalogue pour tous les utilisateurs. Inconvénients : vite inutilisable si les utilisateurs donnent le même nom de fichier. Autre méthode : Un catalogue / utilisateur Conséquence : plus de conflits sur les noms de fichiers appartenant aux utilisateurs. 18/04/2017

Le système de gestion de fichiers Les catalogues Système à catalogues hiérarchiques Amélioration apportée : Possibilité de créer de nouveaux catalogue dans le catalogue / utilisateur. Meilleure gestion des fichiers des utilisateurs car un catalogue par centre d’intérêts. 18/04/2017

Le système de gestion de fichiers Les catalogues Les chemins d’accès Chemin d’accès absolu : constitué à partir du catalogue racine commence toujours à la racine et est toujours unique Sous UNIX, le séparateur « / » Sous DOS et Wxx, le séparateur « \ » Sous MULTICS, le séparateur « > » 18/04/2017

Le système de gestion de fichiers Les catalogues Les chemins d’accès Chemin d’accès relatif : utilisé en parallèle avec le catalogue courant l’utilisateur désigne un catalogue comme étant le catalogue de travail Tous les chemins d’accès qui ne commencent pas à la racine sont alors relatifs par rapport à ce catalogue courant. 18/04/2017

Le système de gestion de fichiers Les catalogues Les chemins d’accès La plupart des systèmes qui gèrent une arborescence de catalogue possèdent 2 entrées de catalogues spéciaux :  catalogue courant   le père du catalogue courant 18/04/2017

Le système de gestion de fichiers Les catalogues Opération sur les catalogues Les appels systèmes de gestion des catalogues varient plus d’un système à un autre que les appels systèmes de gestion de fichiers. CREATE : Un catalogue est créé. Il est vide à l’exception de «  » et «   » placés dans le catalogue par le système ou par la commande DIR. DELETE : Un catalogue est supprimé. Seuls les catalogues vides peuvent l’être. Un catalogue contenant «  » et «   » est considéré comme vide. 18/04/2017

Le système de gestion de fichiers Les catalogues Opération sur les catalogues OPENDIR : Un catalogue est ouvert pour être lu ( lire les noms de fichiers contenu dans le catalogue). CLOSEDIR : Un catalogue doit être fermé après avoir été lu afin de libérer de l‘espace dans les tables internes. 18/04/2017

Le système de gestion de fichiers Les catalogues Opération sur les catalogues RENAME : Les catalogues sont des fichiers et peuvent donc être renommés. Cet appel système accepte comme paramètre le nom du fichier et un chemin d’accès, puis créé un lien entre le fichier spécifié et le nom donné dans le chemin d’accès. Conséquence, un même fichier peut apparaître dans plusieurs catalogues sous forme de lien. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Les utilisateurs sont préoccupés par les noms de fichiers, les opérations qui permettent de manipuler les fichiers et ses arborescences. Vu par les concepteurs, soucis sur l’organisation de l’espace du disque et attention sur la manière dont les fichiers et catalogues sont sauvegardés. Conception fondamentale : mémorisation des adresses des blocs de chaque fichier. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation contiguë Méthode d’allocation la plus simple consiste à stocker chaque fichier dans une suite de bloc consécutifs. Exemple: Un fichier de 50Ko occuperait 50 blocs consécutifs sur un disque dont la taille d’un bloc est de 1Ko. Avantages pour cette méthode : simple à mettre en œuvre, il suffit de mémoriser un seul nombre, l’adresse du premier bloc pour localiser le fichier. Performance excellente car le fichier peut être lu en une seule opération. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation contiguë Inconvénients pour cette méthode : mise en œuvre que si la taille du fichier est connu au moment de leur création. Sans cette information, le système ne peut pas déterminer l’espace à réserver sur le DD. La fragmentation du disque. Perte d’allocation car gaspille de l’espace sur le DD. Le compactage du DD peut y remédier mais il est en général coûteux. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée Méthode qui consiste à sauvegarder les blocs de fichier dans une liste chaînée. Le premier mot de chaque bloc est un pointeur sur le bloc suivant. Le reste contient les données. Fichier A Fichier B Bloc 0 4 Bloc 1 7 Bloc 2 2 Bloc 3 10 Bloc 0 6 Bloc 1 3 Bloc 0 11 N° de bloc physique 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée Avec cette méthode, tous les blocs peuvent être utilisés. Pas d’espace perdu en raison d’une fragmentation du disque. Les autres blocs sont trouvés à partir de ce bloc. Si la lecture séquentielle d’un fichier est simple, l’accès aléatoire est très lent. De plus pour les gros fichiers, le pointeur sur le bloc suivant occupant quelques octets, l’espace réservé aux données dans chaque bloc n’est plus une puissance de 2. Conséquence : moins efficace car de nombreux programmes lisent et écrivent des blocs dont la taille est une puissance de 2. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée indexée Les inconvénients de l’allocation au moyen d’une liste chaînée peuvent être éliminés en retirant le pointeur de chaque bloc pour le placer dans une table ou un index en mémoire. Si on reprend nos deux fichiers A et B Le fichier A occupe les blocs 4, 7, 2 et 10 dans cet ordre. Le fichier B occupe les blocs 6, 3 et 11 dans cet ordre. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée indexée Bloc inutilisé 1 2 10 3 11 4 7 Le fichier A commence ici 5 6 Le fichier B commence ici 8 9 NULL N° de bloc physique 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée indexée Cette méthode libère intégralement l’espace du bloc pour les données et facilite les accès aléatoires. La liste doit toujours être parcourue pour trouver un déplacement donné dans le fichier, mais elle réside entièrement en mémoire et peut être parcourue sans accéder au disque. Comme pour la méthode précédente, l’entrée du catalogue contient un seul entier (le n° du bloc) qui permet de retrouver tous les autres blocs quelque soit la taille du fichier. MS-DOS utilise cette méthode. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Allocation au moyen du liste chaînée indexée Inconvénient de cette méthode : la table doit être entièrement en mémoire en permanence. Ex : un disque de 500 000 blocs de 1Ko (500Mo) requiert 500 000 entrées dans la table qui occupent chacune au minimum 3 octets. Pour accélérer la recherche, la taille des entrées devrait être de 4 octets. La table occupera 1,5Mo si le système est optimisé pour l‘espace disque et de 2Mo si le système est optimisé pour l’occupation mémoire. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Dernière méthode pour mémoriser les blocs de chaque fichier consiste à associer à chaque fichier une petite table appelé nœud d’information (i-node). Cette table contient les attributs et les adresses sur le disque des blocs du fichier. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Les informations stockées dans un inode disque sont : utilisateur propriétaire, groupe propriétaire, type de fichier, droits d'accès, date de dernier accès, date de dernière modification, date de dernière modification de l'inode, nombre de liens, taille du fichier, adresses des blocs-disque contenant le fichier (13). 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Bloc de données Attributs Bloc d’indirection simple Adresses blocs Bloc d’indirection double Bloc d’indirection triple 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Les premières adresses disques le nœud d’information >> les informations des petits fichiers y sont entièrement contenues lorsqu’il est chargé en mémoire à l’ouverture du fichier. Pour les fichiers plus important, une des adresses du nœud d’information est celle d’un bloc du disque appelé bloc d’indirection simple. Ce bloc contient des adresses disques additionnelles , et si cela ne suffit pas, une adresse du nœud d’information (indirection double) contient l’adresse d’un bloc contenant une liste de bloc d’indirection simple. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Chaque bloc d’indirection simple pointe sur quelques centaines de blocs de données. UNIX utilise cette méthode. Remarques sur les inodes : Seul le premier niveau de la table d'index des fichiers ouverts est présent en permanence en mémoire centrale. La structure d'index peut comporter des vides. Les entrées vides correspondent à des trous (blocs non remplis pour l'instant) dans le fichier. 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Stockage des fichiers Nœud d’information Capacité de la structure d'index : numéro de bloc sur 32 bits (4 octets), et bloc de 1 KO. On peut donc mettre p = 256 numéros de blocs dans un bloc. blocs directs : 10 blocs, bloc indirect_1 : 256 blocs, bloc indirect_2 : 256 2 blocs, bloc indirect_3 : 256 3 blocs. Nombre maximum de blocs dans un fichier : 10 + 256 + 2562+ 2563 Taille maximale d'un fichier ~ 16 Go !!! 18/04/2017

Le système de gestion de fichiers Mise en œuvre du système de fichiers Mise en œuvre des catalogues Il faut ouvrir un fichier avant de le lire. Quand on ouvre un fichier, le système d’exploitation utilise le chemin d’accès donné par l’utilisateur pour localiser l’entrée dans le catalogue. Cette entrée fournit les informations nécessaires pour retrouver les blocs sur le disque. 18/04/2017