Le secret de la commande tar

Le programme tar (ou tape archiver qui veut dire littéralement archiveur pour bande ) est un logiciel d'archivage de fichiers standard des systèmes de type UNIX. C'est un outil très puissant pour la manipulation d'archives sous les systèmes Unix et les dérivés dont Linux. Il ne compresse pas les fichiers, mais les concatène au sein d'une seule et même archive. La majorité des programmes linux utilisent ce système d'archivage.

Plusieurs distributions de Unix ou de Linux contiennent dès l'installation le programme tar , la commande associée à tar porte le même nom que le programme lui même. Cette commande se revèle complexe lorsqu'il s'agit d'y joindre des options qui rendent la commande encore plus puissante que d'autres commandes du même domaine.

Quelques options liées à tar

- c : crée l'archive
- x : extrait l'archive
- f : utilise le fichier donné en paramètre
- v : active le mode « verbeux » (bavard, affiche ce qu'il fait).

- z : ajoute la compression Gzip.
- j : ajoute la compression Bzip2.
- J : ajoute la compression Lzma.

Afficher liste des fichiers :

tar -tf archive.tar

Extraction (éventuellement pour un fichier ou un répertoire spécifique) :

tar -xvf archive.tar [fichier1... ]

Décompression + extraction (spécifique à GNU tar) :

tar -xzvf archive.tar.gz
tar -xjvf archive.tar.bz2
tar -xYvf archive.tar.lzma

Plus généralement, on peut arriver au même résultat avec :

zcat archive.tar.gz  | tar -xvf -
bzcat archive.tar.bz2 | tar -xvf -

Remarque : on utilise parfois gzcat ou gzip -cd.

Archivage :

tar -cvf fichier.tar MonRepertoire1 [MonRepertoire2... ]

Compression et archivage :

tar -czvf archive.tar.gz MonRepertoire
tar -cjvf archive.tar.bz2 MonRepertoire

ou encore :

tar -cvf - MonRepertoire | gzip > archive.tar.gz
tar -cvf - MonRepertoire | bzip2 > archive.tar.bz2

Ceci créera une archive compressée dans le répertoire courant (donc un seul fichier) contenant l'ensemble des fichiers du répertoire MonRepertoire et de ses sous-répertoires.

copie d'une partie de l'arborescence vers un autre endroit :

tar -cf - . | ( cd /Repertoire/Destination; tar -xvf - )

Utilisation en archivage incrémentiel

Pourquoi utiliser un archivage incrémentiel ?


La taille des archives et leur stockage peut très vite poser problème. Voici un cas d'utilisation illustrant l'utilité de cet archivage. En fait c'est un problème qui m'est arrivé lors de mes propres expériences , en effet je voulais sauvegarder le repertoire /home (données des utilisateurs) toutes les semaines sur un second disque dur, tout en gardant les données antérieures. J'avais en tout 50 Go de données et le second disque dur faisait 500Go. 10% de ces données changaient toutes les semaines (5Go). Dans le cas d'une sauvegarde complète, chaque archive faisait 50Go, mon disque dur était rempli en mois de deux mois. J'ai remarqué que si 10% de ces données changent toutes les semaines, 90% sont identiques et ne nécessitent pas d'être sauvegardées à chaque fois. Il me faut donc sauvegarder uniquement les nouvelles données en utilisant la sauvegarde incrémentielle. La première sauvegarde est complète, la suivante copie uniquement les nouveaux fichiers et ainsi de suite. Je garde ainsi chaque sauvegarde dans l'état à différentes dates.

Création de  la première sauvegarde (sauvegarde complète) : 

tar --create --file=archive.1.tar --listed-incremental=/save/save.list /home

Seconde sauvegarde (incrémentée avec uniquement les fichiers ayant changé) :

tar --create --file=archive.2.tar --listed-incremental=/save/save.list /home

Restauration : 

tar --extract --listed-incremental=/dev/null --file archive.1.tar tar --extract --listed-incremental=/dev/null --file archive.2.tar 

Utiliser la date pour incrémenter le numéro :

tar --create --file=/save/archive.`date --rfc-3339=seconds`.tar --listed-incremental=/save/archive.list /home 

Microsoft décide d'abandonner Internet Explorer 6

Il y a 10 ans un navigateur est né. Son nom était Internet Explorer 6. Aujourd'hui nous sommes en 2011, les standards du web sont entrés dans une nouvelle ère, il est temps de dire au revoir  Internet Explorer 6 . En effet; Internet Explorer 6 reste un des navigateurs les plus utilisés au monde, selon les chiffres de Net Applications. Selon cette étude sur laquelle s'appuie Microsoft, IE 6 détenait encore en février 2011 plus de 12 % de parts de marché à travers le monde. Cette étude nous apprend notamment que près de 35 % des utilisateurs chinois utilisent encore la sixième mouture du butineur (à eux seuls ils représentent presque la moitié des utilisateurs mondiaux d'IE 6). Parmi les bons élèves, on retrouve les scandinaves, en effet moins d'un pourcent des norvégiens et finlandais utilisent encore Internet Explorer 6 contre 1,3 % pour nos amis suédois. Les français, quant à eux ont un score médiocre par rapport aux pays de l'hémisphère Nord : 3,9%.

Google posséderait 2% des serveurs du monde soit plus de 1000 000 de serveurs

serveur google

On savait déjà le géant de l’Internet Google2% desserveurs dédiés sur l’ensemble du réseau Internet ! imposant avec son moteur de recherche ou encore ses services en ligne. Aujourd’hui, une étude estime que la firme californienne détiendrait, à elle seule, plus de

Au total, le nombre de serveurs possédés par l’entreprise dépasserait le million, selon les chiffres publiés par l’Intac, site spécialisé dans l’actualité des serveurs et hébergeurs de données.

En deuxième position, (très) loin derrière, viendrait Intel avec 100 000 serveurs, puis des sociétés d’hébergement pour les particuliers ou professionnels comme 1&1 Internet (70 000 machines), OVH (65 000 machines), ou encore Akamai (61 000 machines).

Certaines sociétés ne communiquent pas suffisamment précisément leurs chiffres pour être classées mais le nombre de serveurs à leur disposition est estimé à plus de 50 000 : Microsoft, eBay, Yahoo !, Amazon...

Infrastructure Facebook - 10'000 serveurs = 1% infrastructure Google

Lors d'une récente conférence, Facebook a annoncé avoir juste dépassé les 10'000 serveurs dans son infrastructure dont 1'800 pour la base de données MySQL.

Quelques conclusions 

• Comme toutes sociétés du web 2.0, on peut supposer que c'est 100% Linux! 
• un tel parc de serveurs de données montre par exemple concret de belle taille pourquoi Sun a racheté MySql: pour entrer dans les sociétés en vogue du moment! 
• cette infrastructure reste très modeste face à celle de Google 100 fois plus grande avec un million de serveurs.

Si on veut jouer le jeu des divisions: 50 millions d'utilisateurs / 10'000 serveurs , il faut donc chez Facebook activer un serveur chaque fois que 5'000 utilisateurs nouveaux deviennent actifs. Soit 45 tous les jours ( ... soit 2 à chaque heure!) si l'on suit les chiffres de Jean-Marie?

Facebook passe le cap des 10 000 serveurs (Apache, MySql, Memcached)

Facebook poursuit sa croissance, ils viennent en effet de passer le cap des 10 000 serveurs. Chiffre impressionnant mais pour comprendre l’architecture il est necessaire de descendre un peu plus dans le détail.

En effet sur ces 10 000 serveurs près de 20% sont des serveurs MySQL, ils sont épaulés par un petit millier de serveurs memcached. Au niveau hardware il s’agit de serveurs Rackable, encore peu connu en France mais utilisé par des grands acteurs du web (Amazon, Yahoo, YouTube, etc..)

 Depuis de début de l’année Facebook ajoute plusieurs dizaines de serveurs par jour (certaines extrapolations arrivent à un chiffre de 45 serveurs/jours). Et miracle de l’automatisation, d’après les derniers propos de Jeff Rothschild ils ne sont que 2 administrateurs BDD pour gérer les 1800 serveurs MySQL !

Apprendre le Free BSD à partir du zero

FreeBSD est un système d'exploitation UNIX libre. Le nom vient de l'association d'une part de free qui signifie à la fois « libre » et « gratuit » dans l'anglais courant, et d'autre part de Berkeley software distribution (BSD), Free BSD est la version de UNIX développé à l'université de Berkeley. Free prend un sens plus large par le fait qu'il signifie que le logiciel peut être utilisé gratuitement même pour un usage commercial, que les sources complètes sont disponibles et utilisables avec un minimum de restrictions quant à leur usage, leur distribution et leur incorporation dans un autre projet (commercial ou non), et enfin que n'importe qui est libre de soumettre son code source pour enlever un bug ou améliorer le logiciel, ce code étant incorporé aux sources après accord.

L'objectif du projet FreeBSD est de fournir un système qui peut servir à tout, avec le moins de restrictions possibles.

FreeBSD est considéré comme un standard industriel dans le marché des serveurs.
De grands pioniers de l'Internet  sont sous FreeBSD :

•     Yahoo
•     HotJobs.com Ltd,
•     Altavista ou
•     Geocities ;
•     Rackspace.com ;
•     Isle, Inc ;
•     Bayerischer Rundfunk ;
•     Japan Network Information Center ;
•     ViaNet Communications ;
•     Hopemoon Co, Ltd ;
•     Full Internet Provider.
•     Microsoft (hotmail)

L'utilisation de FreeBSD pour un usage domestique, sans être confidentielle, est bien plus modérée auprès du grand public que le système GNU/Linux. Un tutoriel a vu le jour sur le site du zero ; ce tuto accessible à travers le liens hypertexte suivant "FreeBSD et l'envers du décor " permet d'apprendre le freebsd à pertir du zero

Wikimedia Foundation atteint son objectif de 16 millions de dollars

Wikimedia Foundation est une association à but non lucratif, créée le 20 juin 2003 par Jimmy Wales, co-fondateur de Wikipédia. Son rôle est de promouvoir la diffusion du « Savoir libre », en soutenant des projets établis sur la base du wiki et distribuant le contenu gratuitement et publiquement. Actuellement, l'organisation travaille sur les projets : Wikipédia, Wiktionary, Wikiquote, Wikibooks, Wikimedia Commons, Wikisource, Wikispecies, Wikinews et Wikiversity, fonctionnant tous par l'intermédiaire de la plate-forme : MediaWiki. Le principe du wiki est très simple : rendre toutes les pages d'un site web éditables par les visiteurs, afin de faciliter l'écriture, l'illustration et la mise à jour des articles qu'il contient.

Un nouveau blog dans le monde du libre

Le blog http://monsar.blogspot.com/ a comme objectif de partager les ressources documentaires dans le domaine des technologies de l'information et de la communication avec tout internaute en quette d'information concernant le dmaine. Ce blog réuni une série d'informations capitales suites aux expériences en laboratoire ou à la participation aux ateliers ou conférences concernant les technologies de l'information et de la communication.

Voici la liste des rubriques qui seront abordés dans ce blog

• Actualités
• Administration
• apache
• apache2
• Apache2
• Astuces
• Bind9 & DNS
• CISCO
• commandes
• compilation
• Compilation logiciel
• Compression de données
• configuration
• debian
• Debian & Ubuntu
• Desktop
• dns
• Espace détente
• FTP
• Geek
• Gentoo
• Haute disponibilité
• Informations blog
• install
• installation
• interface
• Internet
• Java
• Kernel
• Ldap
• linux
• Logiciels (
• mail
• Manipulation image (iso,nrg.etc..)
• Monitoring & Surveillance
• mysql
• MySQL
• Oracle
• OS
• Perl
• PHP
• planet-libre
• postfix
• Postfix
• PostgresSQL
• proxy
• Python
• redhat
• Red-Hat & Centos
• Réseaux
• Samba & NFS
• Sauvegarde
• Script shell
• sécurité
• Sécurité
• serveur
• shell
• SSH
• SSL/TLS
• Virtualisation
• VPN
• web
• Webmail

Google introduit le WebP, un nouveau format d'image

Google a annoncé le lancement en open-source d'un nouveau format d'image sur le blog du projet Chromium.

Le WebP (Web Picture) a pour but de devenir une alternative concrète aux "vieillissants" formats GIF (1987) et JPEG (1991). L'équipe du projet part du constat que les images constituent une grande part du poids d'une page web (~65%) et peuvent encore perdre en quantité de données transférées sur le réseau, donc gagner en vitesse de téléchargement et d'affichage des pages.

Cette volonté s'inscrit dans la droite ligne de l'amélioration des performances de navigation, sujet primordial

pour Google qui a déjà lancé bien d'autres projets en parallèle du développement de son propre navigateur Chrome.Une galerie de démonstration a été publiée pour démontrer l'efficacité de la compression avec différents cas de figure. Dans toutes les situations le WebP se révèle meilleur avec jusqu'à 60% de gain.

Un coup de chapeau google mais le processus risque de prendre beaucoup de temps avant que les autres navigateurs Web du marché décide de tenir compte de ce nouveau format d'image