Comments on: Trier un CSV de 5 Go http://sametmax.com/trier-un-csv-de-5-go/ Du code, du cul Mon, 28 Oct 2019 11:54:55 +0000 hourly 1 https://wordpress.org/?v=4.9.7 By: Sam http://sametmax.com/trier-un-csv-de-5-go/#comment-195377 Sat, 26 May 2018 12:59:32 +0000 http://sametmax.com/?p=24323#comment-195377 Hello Bob, envoies moi les détails par email (lesametlemax@gmail.com) et je te ferai la suppression.

Bonne journée.

]]> By: bob http://sametmax.com/trier-un-csv-de-5-go/#comment-195341 Fri, 25 May 2018 09:08:25 +0000 http://sametmax.com/?p=24323#comment-195341 Bonjour,

Comment supprimer son compte du site indexerror.net (le formulaire de contact sur le site n’est pas fonctionnel) ?

Merci.

]]> By: Sam http://sametmax.com/trier-un-csv-de-5-go/#comment-195208 Thu, 17 May 2018 10:01:15 +0000 http://sametmax.com/?p=24323#comment-195208 Toi, t’as pas lu les commentaires.

]]> By: Denis http://sametmax.com/trier-un-csv-de-5-go/#comment-195167 Wed, 16 May 2018 17:45:07 +0000 http://sametmax.com/?p=24323#comment-195167 Perso, j’aurais attaché la table sous MariaDB (moteur CSV), requêté avec un order by et exporté.

]]> By: Sam http://sametmax.com/trier-un-csv-de-5-go/#comment-195141 Wed, 16 May 2018 07:06:50 +0000 http://sametmax.com/?p=24323#comment-195141 merci

]]> By: Ribodou http://sametmax.com/trier-un-csv-de-5-go/#comment-195106 Tue, 15 May 2018 19:43:31 +0000 http://sametmax.com/?p=24323#comment-195106 Bonjour,

J’ai remarqué quelques fautes:

pour un cas complex -> pour un cas complexe

outfile.write(i.read()) -> outfile.write(infile.read())

]]> By: Jules http://sametmax.com/trier-un-csv-de-5-go/#comment-195074 Tue, 15 May 2018 09:42:49 +0000 http://sametmax.com/?p=24323#comment-195074 Sinon, il y a la méthode read_csv de pandas qui par défaut lit les fichiers par morceau quand ils sont trop gros (paramètre low_memory=True).

]]> By: cayock http://sametmax.com/trier-un-csv-de-5-go/#comment-195038 Mon, 14 May 2018 18:29:34 +0000 http://sametmax.com/?p=24323#comment-195038 Juste génial,

à jouir et à rejouir.

Merci ! GO ON Masters.

]]> By: Fred http://sametmax.com/trier-un-csv-de-5-go/#comment-195032 Mon, 14 May 2018 16:17:21 +0000 http://sametmax.com/?p=24323#comment-195032 Bonjour

Intéressant comme façon de faire. Ca me rappelle les appareillages de fichiers que je faisais quand j’étudiais l’informatique.

L’appareillage de fichiers consiste à fusionner 2 fichiers triés. La procédure est la suivante:

On positionne un flag par fichier à vrai (donc f1 et f2 à vrai)

tant que pas eof sur fichier1 et pas eof sur fichier2, faire

si f1 est vrai, alors

lire fichier1 dans info1

mettre f1 à faux

fin si

si f2 est vrai, alors

lire fichier2 dans info2

mettre f2 à faux

fin si

si info1 ≤ info2 ou eof sur fichier2 alors

traiter info1

mettre f1 à vrai

fin si

si info2 ≤ info1 ou eof sur fichier1 alors

traiter info2

mettre f2 à vrai

fin si

fin faire

C’est un algo pas compliqué à étendre à n fichiers et à rendre universel en remplaçant la comparaison par une fonction dédiée…

]]> By: Sam http://sametmax.com/trier-un-csv-de-5-go/#comment-195018 Mon, 14 May 2018 12:13:34 +0000 http://sametmax.com/?p=24323#comment-195018 Y a un edit qui dit clairement “L’exercice est académique et bla bla bla”. Y a toujours moyen de faire mieux. Tu peux aussi mettre les données dans SQL, utiliser l’option “chunk” de pandas (ce que blaze, d’ailleurs), utiliser array.array pour simplement prendre moins de mémoire, etc. Y a 700 solutions au problème du tri d’un csv par une colonne. C’est pas la question.

]]>