Filesystem/RAID/Verschlüsselung

Gibt's da mittlerweile was brauchbares? Verlangt ist nur hohe Sicherheit vor sterbenden Platten und Verschlüsselung.

Momentan verwende ich Standard-SW-RAID 1 bzw. 5 mit LUKS und ext4.

SW-RAID prinzipiell geht eh halbwegs. Leider sind dann die Daten auf einer Platte korrupt und nicht mehr wirklich wiederherstellbar (ja, hab' eh Backups, aber will das nicht gleich ausreizen). Bei RAID6 könnte ich theoretisch die Daten wiederherstellen - geht das in der Praxis brauchbar? Also - mir ist schon klar, wenn eine Platte ausfällt, kann ich die aus dem RAID kicken und auf der "guten" sind die Daten ok. Ich hatte grad wieder so eine lustige Platte, die Wochen mitlief, ich hab' nicht ganz genau in dmesg geschaut und jetzt hat sich einiges an Müll angesammelt. Wenn da jetzt zwei Platten spinnen...

Ich suche eigentlich eher eine Lösung mit Prüfsummen im Dateisystem, ähnlich wie bei zfs bzw. btrfs. Am liebsten hätte ich es, wenn die Daten bei jeder Lese- oder Schreiboperation geprüft werden - also nicht zum Optimieren bei einem RAID1 etwa abwechselnd von den Platten gelesen wird sondern ich mag höchstmögliche Datenintegrität. Zusätzlich regelmäßige Überprüfungen des gesamten Datenbestandes - also Dateien gegen Prüfsummen.

zfs und btrfs haben den Nachteil, dass RAID/Filesystem auf einer Ebene sind und ich somit mit LUKS nicht mehr dazwischenkomme.

Wie macht ihr das so? Mein bester Ansatz ist händisch die Prüfsummen zu den Files zu verwalten und abzugleichen... bzw. Prüfsummen von aktuellen Files mit Backup vergleichen (betreffend der Dateien, die eher gelagert werden und nicht verändert).

Sehr fein, wusste nicht, dass Encryption wirklich schon implementiert ist, danke für den Tipp. Dann werde ich mir das self-healing nochmal ansehen (hab' auf die schnelle nichts gefunden, wann das durchgeführt wird - nur bei Zugriff oder regelmäßig über den kompletten Bestand - ich hab' viel Zeug rumliegen, was evtl. Jahre nicht angegriffen wird, wobei ein touch-Script noch immer einfacher wäre als mit Prüfsummen rumtun).

Zitat von Kampi

wozu willst du touchen? vernuenftige FSs haben auto-scrubbing.

Die haben auch built-in RAID5/6, Encryption und Checksums Mir fallen da jetzt nicht so viele ein dazu...

Nein, reicht mir nicht. Ich rechne die MTTF ja nicht für einen Totalausfall (im Fall von RAID 5 >= 2 Platten), sondern für Datenverlust. Und der kann schon auftreten, wenn nur eine Platte ein wenig Probleme macht. Ich hatte das leider schon öfters mit unterschiedlichen Platten...

Genauer läuft es folgendermaßen ab: Ich will Daten kopieren. Eine Platte hat Probleme, klackt, im dmesg kommt dann ein Eintrag von wegen "resetting link". Sitzt man dabei fällt auch eine kurze Verzögerung auf. Kopiert werden die Daten aber, es kommt keine Fehlermeldung, das RAID wird als konsistent angezeigt. In dem Fall reicht es, wenn eine Platte Probleme macht. Kann auch ein schlechter Kontakt beim SATA-Kabel sein, eine "Laune", was weiß ich. Hatte das auf jeden Fall schon öfters. Prozentuell geht dabei nicht so viel verloren - aber es soll gar nichts verloren gehen.

Daher der Wunsch nach ZFS. Wenn was inkonsistent ist, soll das ganze über Prüfsummen repariert werden. Anders kann gar nicht festgestellt werden, welche Platte die kaputten Daten hat.

RAM-Defekt ist ja ein ähnliches Problem. Die Daten zwar gespiegelt, aber wenn sie von der Quelle schon falsch gelesen werden... und auch wenn man mehrere Backups hat und alte aufhebt - wer will das wieder sortieren, wo die Daten ok sind?

Ich entschied mich jetzt für ZFS ohne Verschlüsselung und hoffe, dass zfs-fuse da bald nachzieht. rsync hat built-in Verification, memtest lief auch erst und die RAIDs sind nur Ersatz für normale Platten - also Backup zwischen denen wie früher zwischen normalen Platten.

Zitat von HrevilO

welches RAID verwendest du denn bei sowas (linux software RAID?)? ich kann mir beim besten willen nicht vorstellen, dass das im sinne der RAID erfinder ist. gibts dazu irgendwelche berichte in foren? ich hatte jedenfalls noch nie solche probleme und benutze ein normales ext3 für die datenpartition.
es wär mir vollkommen neu, dass man für die datenkonsistenz bei RAID unbedingt ein spezielles dateisystem bräuchte.

Ja, das gefällt mir prinzipiell auch überhaupt nicht, dass man dafür ein besonderes Dateisystem braucht. Theoretisch kann man die Datenintegrität ja unterhalb des Dateisystems sicherstellen. Einfach von allen Platten lesen, Daten überprüfen und gut ist es.
Leider macht das ein Standard-Linux-SW-RAID (ja, ein solches verwende ich, RAID-5 bzw. RAID-1) nicht und somit landen immer wieder kaputte Daten im Dateisystem. Das spezielle Dateisystem ist also eigentlich nicht unbedingt notwendig, aber im Fall von ZFS ist es eben nicht nur Dateisystem sondern gleichzeitig auch die scheinbar einzige Möglichkeit eines Software-RAIDs, das meine Anforderungen an Datenintegrität erfüllt.