Fonds Linux
  1. Fonds Linux
  3. Comment créer plusieurs zips à partir d'un directory contenant un million de files xml?
Intereting Posts
Déplacement d'une list de files en les associant à un index de destination Comment résoudre un nom d'hôte via nsswitch? Script shell – Impossible de find 'fi' pour ce 'if' Commande simple prenant deux strings pour extraire la string entre elles, comme 'tr' (sans expressions) Existe-t-il un logiciel open source pour simuler et programmer virtuellement un BIOS d'ordinateur? Pourquoi inotifywatch ne détecte-t-il pas les modifications apscopes aux files ajoutés? Echec du script shell: Erreur de syntaxe: "(" inattendu Pourquoi SSH prend beaucoup de time pour se connecter supprimer l'avertissement rsync: certains files ont disparu avant d'être transférés Comment peut-on faire un ping pour un ordinateur portable et continuer à exécuter ses démons même après la fermeture du couvercle? Comment puis-je copyr un sous-set de files à partir d'un directory tout en préservant la structure du dossier? Les colors xterm sont trop shinyes Filtrer les noms de files en double avec du goudron Les permissions du directory parent sont-elles importantes lors de l'access à un sous-directory? Comment puis-je utiliser des variables d'environnement dans mon shebang?

Comment créer plusieurs zips à partir d'un directory contenant un million de files xml?

J'ai un directory contenant des millions de files XML. Je veux créer plusieurs files zip contenant n nombre de files xml. Par exemple, si n = 10000, je veux créer 100 files zip, c'est-à-dire que chaque file zip n'aura que 10000 files xml.

Quel est le moyen le plus efficace de créer ces files zip? Je ne veux pas que ce process prenne plus de time car je dois répéter cette opération pour plusieurs dossiers ayant des millions de files xml.

Cela peut être utile: 

$ zip all.zip *.xml ## create a big archive.

Trouver la taille totale de l'archive: 

 $ ls -lh all.zip

Maintenant, divisez la grande archive en petites archives, selon vos besoins: 

 $ split -b 5M all.zip ## creates 5 MB zips

Note: l'extraction des archives ne fonctionne pas, sauf si vous les rejoignez: 

 cat x* > oldbigzip.

Je le ferais comme ça: 

 # Create file list find . -type f -name '*.xml' > filelist n=10000 fileno=1 # Loop through list, extracting n names each time for i in $(seq 1 $n $(wc -l < filelist)); do zipfile="zipfile$(printf "%04d" $((fileno++)))" sed -n "$i,$((i+n-1))p" filelist | zip $zipfile -@ done