Articles of traitement de text

Afficher uniquement les lignes en double, en ignorant les premiers x espaces par ligne

J'ai un file avec des lignes numérotées. Les numéros occupent les 7 premiers espaces de chaque ligne. Je veux vérifier le rest de la ligne pour les duplicates et ne sortir que les duplicates. Par exemple, mon file pourrait être: 1 abcde 2 12345789 3 6789 4 000000 5 abcde Dans ce cas, je voudrais […]

Est-il possible d'imprimer une gamme d'arguments itérés via cli à partir d'un csv? (voir exemple)

J'ai des centaines de journaux répartis sur quelques milliers de machines virtuelles et j'essaie de créer quelques scripts pour parsingr rapidement les journaux et j'ai compris la majorité de la présentation et je voulais savoir s'il y a un moyen facile d'utiliser quelque chose comme awk, printf, etc. que je sais utiliser, mais spécifiquement pour […]

sed pour split le bus verilog en port individuel

Je veux convertir un Verilog Bus particulier en forme individuelle divisée en utilisant la command sed ou awk . Consortingbution module test ( temp_bus[3:0], temp_B[1:0] ) input [3:0] temp_bus; output [1:0] temp_B; endmodule Sortie module test ( temp_bus[3], temp_bus[2], temp_bus[1], temp_bus[0], temp_B[1], temp_B[0]) input temp_bus[3], temp_bus[2], temp_bus[1], temp_bus[0]; output temp_B[1], temp_B[0]; endmodule Edit1: cas avec […]

Comment split un file en alternant le préfixe utilisé pour les files de sortie?

J'ai un gros file. Il est fait de parties de 40 lignes chacune. Il y a deux types de pièces et elles alternent. Les deux types de pièces doivent être numérotés indépendamment. Donc, la première partie devrait être X_0001 , la deuxième partie devrait être Y_0001 , puis X_0002 , Y_0002 , etc. J'ai utilisé […]

Diviser le file en files séparés en utilisant le model

J'ai besoin de split un file (voir l'exemple) en files séparés. Chaque nouveau file doit hériter du nom de la ligne 7, c'est-à-dire SAMPLE1.txt , SAMPLE2.txt etc. Pouvez-vous aider avec une command simple? @File_Version: 4 @Coordinate_Type_is: 1 @Export_Type_is: 1 @Number_of_P: 1 @T_Type_Name: , #File_Version____________-> 4 #Name____________-> SAMPLE1 #Type____________-> 3 #End_of_file_header 000000.00000 0000000.00000 0000.00000 000000.00000 0000000.00000 […]

Comment modifier / organiser des données sur un file avec Awk

J'ai un file csv qui ressemble à ceci ADRESSE_1,ADRESSE_SUITE,CODE 1 boulevard Veyrier Montagnères,,33120 2, rue du Débarcadère,33120 6 bis avenue du Général de Gaulle,,44180 avenue du Parc Pereire,,93250 Sur trois lignes, je résume un file qui contient plusieurs centaines de lignes. Je voudrais nettoyer puis éditer ce file afin qu'il ressemble à ceci NUMERO,ADRESSE_1,ADRESSE_SUITE,CODE 1,boulevard […]

conditionnel remplaçant des lignes avec un nombre

J'ai un directory contenant près de 11 millions de petits files: comme ça wa_filtering_DP15_good_pops_snps_file_1 wa_filtering_DP15_good_pops_snps_file_2 . . . wa_filtering_DP15_good_pops_snps_file_11232111 et chaque file n'a que 2 lignes et 315 colonnes ressemble à ceci: 1 0 0 0 0 0 0 0 0 0 1 2 1 0 0 0 0 0 0 0 0 0 0 […]

Est-il possible d'utiliser split pour faire des morceaux de caractères à partir des octets unicode chinois?

Pendant un certain time, j'ai traité du text unicode chinois. Bien sûr, les règles habituelles s'appliquent. Je peux grep pour les personnages de la même manière que je le ferais pour les mots. Ceci est très utile pour moi. Mais il y a une chose que je n'ai pas encore compris. Et je ne sais […]

Awk pour supprimer la ligne si l'argument est rencontré dans une colonne spécifique

J'ai besoin de parcourir un file entier de taille inconnue et de supprimer toute ligne dans laquelle un mot donné (passé en argument 1) apparaît dans une colonne spécifiée. De plus, j'ai besoin de suivre le nombre de lignes supprimées. Je suppose que c'est un travail pour awk, mais j'ai beaucoup de problèmes avec ça. […]

Identifier le nombre de valeurs uniques et ensuite le nombre d'occurrences de ces valeurs dans le file

J'ai un file de données qui contient 15000 lignes, mais seulement 400 valeurs uniques. Je cherche un moyen d'identifier le nombre de valeurs uniques et ensuite le nombre d'occurrences de ces valeurs dans le file. Je suis venu avec ce qui suit mais c'est très très lent. Des pensées? for value in `cat mylist.txt | […]