I just learned about the existence of rdfind. It’s a tool to identify duplicate files and do something about it (make a list or delete and replace with soft/hard links).

Useful for websites where people upload the same file multiple times. I’m excited to try it. 🙂

#rdfind #linux #SelfHosting #SaveSpace

Au cours des années et avec l’accumulation de fichiers sur nos disques, il est facile de se retrouver avec un nombre non négligeable de fichiers dupliqués. L’utilitaire en ligne de commande rdfind permet de scanner un ou plusieurs répertoires pour trouver les coupables. Il compare le contenu des fichiers et permet donc de trouver des doublons qui n’ont pas le même […]

https://www.simounet.net/trouver-des-fichiers-dupliques/

Trouver des fichiers dupliqués ‒ Simounet.net

Au cours des années et avec l'accumulation de fichiers sur nos disques, il est facile de se retrouver avec un nombre non négligeables de fichiers dupliqués. L'utilitaire en ligne de commande rdfind permet de scanner un ou plusieurs répertoires pour trouver les coupables. Il compare le contenu des fichiers et permet donc de trouver des

Simounet.net - Blog
Sanoisin savotaksi siivota vanhaa jakolevyä, jossa tavaraa kertynyt yli kymmenen vuoden ajan. #rdfind raksutti reilun vuorokauden, results.txt -tiedoston koko reilu 600 megaa

Tiedostojen kaksoiskappaleita lähti jokunen, ja tilaa vapautui melkein 200 gigaa 2 teran levyltä.

#rdfind is a nice utility.
I use #hugo for https://blog.fluxcoil.net . While hugo is nice, it's a bit wasteful with storage: files are kept around multiple times, taking up space and increasing backup requirements.

'rdfind -makehardlinks true /opt/web/blog'
finds identical files and creates filesystem hardlinks -> 512MB reduced to 260MB.

Japan, Tech and Open Source

Japan, Tech and Open Source

Aktuell läuft #jdupes um doppelte Dateien im #Backup durch Hardlinks zu ersetzen. Es soll bis 7x schneller als #rdfind oder #fdupes sein. #opensource

https://github.com/jbruchon/jdupes

GitHub - jbruchon/jdupes: A powerful duplicate file finder and an enhanced fork of 'fdupes'.

A powerful duplicate file finder and an enhanced fork of 'fdupes'. - GitHub - jbruchon/jdupes: A powerful duplicate file finder and an enhanced fork of 'fdupes'.

GitHub

Frage an die #Foto Leute die auch unter #linux unterwegs sind.

#Doppelte #Bilder/ #Fotos #finden: Wie macht Ihr das?

Was ich bisher als Werkzeuge habe:

#rdfind und #fdupes sowie #FSLint (+GUI).

Irgendwie nehmen die mir die Orga der Fotos/Dateien nicht gut ab. Für 100% identische wird es gehen.

Aber Modifikationen (Gleiches Motiv andere Skallierung) eben nicht (Um Originale zu finden!).

Gab mal ein Tool das Fotos vergleichen und Näherungen fand. FindsNichtMehr

Freue mich über Ideen :-)

@schlink It would a little bit silly, because there are so many out there already:

https://www.virkki.com/jyri/articles/index.php/duplicate-finder-performance-2018-edition/

https://github.com/topics/duplicate-files

But then again, at first glance none of them are written in Rust nor Go! =)

A fun exercise if nothing else, with a couple of real-world concerns coming together.

#dupd #jdupes #rdfind #fdupes #rmlint #duff #fslint

@brandon
Duplicate finder performance (2018 edition) | stdout

#rdfind is a duplicate file finder.

rdfind finds duplicate files in a directory tree. rdfind ranks files, with lower rank files being acted upon, with files seen first that are closer to the root are ranked higher. rdfind can link duplicates together, delete duplicates, as well as output statistics and perform dry runs.

Website 🔗️: http://rdfind.pauldreik.se/

apt 📦️: rdfind

#free #opensource #foss #fossmendations

#fslint-gui fonctionne très bien : en quelques clics, il m'a libéré 6GO sur mon SSD (qui je croyais bien rangé) et sans perte de données !

Il est aussi capable de lister les dossiers vides, les liens symboliques cassés, les fichiers qu'on l'air temporaires, les symboles de débogage oubliés dans les binaires… même les espaces redondantes dans les fichiers texte !

(ça doit faire un carnage chez les gens qui font du #Python sans tabulation) #fslint #rdfind #fdupes #jdupes