Backup Lösung für Fotos

Zitat von bimbo

Zu dem schluss bin ich auch gekommen. Google hat zu viel know-how in der Bildverarbeitung als dass ich ihnen meine Fotos geben würde.

Das klingt schon ganz interessant. Allerdings ist mir die herumbastelei irgendwie zu blöd. Im Moment such ich eine ad-hoc Lösung. Mit Ausnahme der Verschlüsselung kann das Synology Teil übrigens alles was du erwähnt hast.

Ich versteh' ja die Bedenken, alle Daten an Google weiterzugeben. Aber da hätte ich genauso ein ungutes Gefühl, wenn sie unverschlüsselt zu haus rumliegen. Oder ich eine Platte unverschlüsselt an den Händler zurück gebe wegen Garantieabwicklung...

Remote Backups sind schon gut, kann ja auch wer einbrechen oder ein Blitz die Geräte komplett vernichten. Images (evtl. incremental) mit GPG verschlüsseln und weg damit.

Zitat von MrMassaker

ich hab schon 2 mal erlebt wie mir von einem tag auf den anderen die platte eingegangen ist und alles war weg!

Mir sind auch schon mehrere Platten eingegangen. Und - wo ist das Problem?

Zitat von MrMassaker

das nas in betrieb nehmen dauerte ca 10 min, einbinden als laufwerk, einen automatischen task erstellen der alle wochen die daten abgleicht und gut ist.

Was Dich aber nur vor Hardwaredefekten an der Platte im Rechner schützt. Nicht aber vor fehlerhaften NFS Implementierungen, Datenkorruption am Netzwerk oder Computerviren, die wahlfrei auf Netzlaufwerken löschen.

FMPOV ist eine Technologie die permanent an den Rechner verbunden ist für Backups (kurzfristige Datensicherungen) OK für Langzeitarchivierung kommen nur ausgelagerte Datenträger (und die redundant) ernsthaft in Frage.

Und da bieten sich im SOHO Bereich einfach optische Datenträger an.

Zitat von bimbo

Hat jemand einen Hardware Vorschlag für eine FreeNAS Box?

ich hab ein intel essential board verwendet. um genau zu sein das "D945GCLF2D". hardwaremeister wolfibolfi hat mir dann aber gesagt, dass das gar nicht die optimale wahl war, weil sie dort anscheinend nicht den mobile chipsatz verwendet haben. aber auch die variante braucht wenig strom und wenn du doch ein wenig rumschaust, gibt es mittlerweilen sicher noch bessere essential boards. vom preis finde ich die essential boards recht groszartig.

festplatten sind 2 seagate platten und das gehaeuse finde ich nicht mehr. war irgendein aopen mini-itx. worauf du bei mini-itx achten solltest ist, dass du wirklich 2 HDDs ins gehaeuse bringst, falls du in richtung RAID planst. letzte zutat war ein alter 1 GB usb-stick den ich rumliegen hatte fuer das OS ansich.

um das ganze vorm hardwarekauf zu testen, habe ich die installation und das gui vorher mal virtualisiert getestet.

Ich sync einfach meine ganzen Daten mit unison zwischen drei Rechnern, und die wichtigsten Sachen (also nicht gigabyteweise) noch auf zwei Remote Server.

Auf einem der drei Rechner und einem der Remote Hosts laufen dann noch zusätzlich automatische Backups.

Was einem als Homeuser ein RAID bringen soll, versteh ich ja bis heute nicht. Das ist eh kein Ersatz für ein separates Backup, weil einem theoretisch irgendein fuckup vom RAID-System die Daten auf mehreren redundanten Platten kaputtmachen kann, und die paar Stunden Downtime, eine neue Platte zu kaufen und die Daten vom Backup da wieder einzuspielen, sind im Gegensatz zu einer Firmenumgebung ja daheim ziemlich wurscht... eigentlich erhöht man da nur den Wartungsaufwand, weil man zumindest statistisch öfter mit kaputter Hardware konfrontiert sein wird.

Zitat von Jensi

Ich sync einfach meine ganzen Daten mit unison zwischen drei Rechnern

und das fuehrt bei dir zu keinen problemen? unison ist ja recht heikel was unterschiedliche versionen bei client/server betrifft. irgendwie wollten sich da meine ganzen rechner nie verstehen. hast du ueberall die gleiche OS version oder kompilierst du ueberall die aktuelle unison-version nach?

ich hab mal angefangen mir selber etwas zu schreiben das sich wie git verhaelt und dann im hintergrund mit rsync arbeitet, ist aber noch nicht ganz fertig. (warum nicht gleich git: will keine bin-blobs einchecken und revisionen brauch ich auch nicht. warum nicht nur rsync: weil mir das rumwurschteln mit den in/excludes zu ungeschickt ist). das selbstgebaute hat einen index wie git wo ich init/add/rm/pull/push machen kann und die dateien im index werden dann mit rsync auf die eingetragenen remotes geschaufelt)

Ich hab überall die gleiche unison-Version, ja.

Zitat von Jensi

Was einem als Homeuser ein RAID bringen soll, versteh ich ja bis heute nicht. Das ist eh kein Ersatz für ein separates Backup, weil einem theoretisch irgendein fuckup vom RAID-System die Daten auf mehreren redundanten Platten kaputtmachen kann, und die paar Stunden Downtime, eine neue Platte zu kaufen und die Daten vom Backup da wieder einzuspielen, sind im Gegensatz zu einer Firmenumgebung ja daheim ziemlich wurscht... eigentlich erhöht man da nur den Wartungsaufwand, weil man zumindest statistisch öfter mit kaputter Hardware konfrontiert sein wird.

Ein Raid und ein Backup decken einfach unterschiedliche Risiken ab. Eine Raid deckt den Hardwaredefekt einer Festplatte ab und sorgt für Verfügbarkeit und Minimierung des Datenverlustes. (Und wenn Du Diplomarbeit schreibst kann 1 Tag Verlust schon verdammt viel sein, wenn Du am Vorabend ein Backup gemacht hast und am Nachmittag geht die Platte ein). Nicht abgedeckt durch ein Raid werden logische Fehler und menschliches Versagen (ups, rm -r statt in /home/$USER/snafu in /home/$USER abgesetzt).

Ein "offline" Backup auf externe Medien schützt vor diesen Risiken ist aber auch keine Archivierung.

Archivierung, sprich Langzeitaufbewahrung von Daten, muß auf entsprechenden Medien gemacht werden.

Zitat von pernhard

(Und wenn Du Diplomarbeit schreibst kann 1 Tag Verlust schon verdammt viel sein, wenn Du am Vorabend ein Backup gemacht hast und am Nachmittag geht die Platte ein).

Deshalb sync ich ja mehrere Rechner - das mach ich immer spätestens, wenn ich einen Rechner verlasse (dauert ja nur ein paar Sekunden). Damit hab ich den aktuellen Zustand immer redundant gespeichert.

Für Backup von Daten wie Diplomarbeiten etc. ist ein Backupintervall von 24 h eh lang, da verwend ich sowas wie 3 oder 6 h bei automatischen Backups.

Zitat von pernhard

Mir sind auch schon mehrere Platten eingegangen. Und - wo ist das Problem?

kannst du nicht lesen?

alle daten waren unwiederbringlich weg

Zitat von Kampi

ich hab ein intel essential board verwendet. um genau zu sein das "D945GCLF2D". hardwaremeister wolfibolfi hat mir dann aber gesagt, dass das gar nicht die optimale wahl war, weil sie dort anscheinend nicht den mobile chipsatz verwendet haben. aber auch die variante braucht wenig strom und wenn du doch ein wenig rumschaust, gibt es mittlerweilen sicher noch bessere essential boards. vom preis finde ich die essential boards recht groszartig.

Jop. Ich würd eher dieses hier nehmen. Hat einen Mobile-Chipsatz, braucht allerdings auch Notebook-Ram und ein externes Netzteil (das dafür geräuschlos ist).
Die Boards mit 945GC sind nicht schlecht, aber es ist schade um den Atom. Da verzichtet man auf Leistung, um Strom zu sparen, und der Chipsatz machts zunichte.

Zitat von MrMassaker

kannst du nicht lesen?

alle daten waren unwiederbringlich weg

I stand corrected und beantworte meine rethorische Frage selber.

Dann ist das Problem ein mangelhaftes Backupconcept.

@ Topic:

Ich hab einem "Home-Server" bestehend aus 3 alten Festplatten (16GB bis 80GB), und einem VIA C3 800MHz Prozessor auf einem normalem Pentium 3-Desktop-Mainboard. Der läuft immer und ich mach auf diesen mittels rdiff-backup täglich inkrementelle Backups (also von den einzelnen Desktop-PCs und auch alle Daten von meinem v-Server). In der Nacht startet dann noch ein per Zeitschaltuhr gesteuerter PC macht und macht mittels rsync nochmals ein komplettes Backup vom "Server". Mittels Mail bekomm ich täglich einen Status-Report, damit ich auch mitbekommen wenn etwas nicht funktioniert.

Meine Erfahrung ist: alles was nicht voll automatisch läuft, wird nicht oder nur zu selten gemacht (auch wenn nur ein doppelklick notwendig ist). Wenn dann wirklich was kaputt geht, hat man dann erst wieder kein oder ein veraltetes Backup.

Zitat von Wolfibolfi

Jop. Ich würd eher dieses hier nehmen.

@ OT:
Ich überlege zur Zeit auch meinen in die Jahre gekommenen Server auszutauschen. Und das Board sieht recht interessant aus. Nur frage ich mich welches Gehäuse dazu passt. Alle Mini-ITX Gehäuse die ich finde haben Netzteil mit kompletter ATX Stromversorgung (also dem 24 Poligen Stecker), das sollte bei dem Board ja überflüssig sein!

Mein Bruder und ich sichern unsere Fotos online auf skydrive. Bin nicht sicher ob das Limit von 25GB für Deinen Zweck nicht sowieso von Vornherein ein Knock-Out-Kriterium ist. Skydrive ist ansonsten aber praktisch und imho wirklich recht gut gemacht.

Zitat von gelbasack

Ich versteh' ja die Bedenken, alle Daten an Google weiterzugeben. Aber da hätte ich genauso ein ungutes Gefühl, wenn sie unverschlüsselt zu haus rumliegen. Oder ich eine Platte unverschlüsselt an den Händler zurück gebe wegen Garantieabwicklung...

Genau meine Meinung. Seitdem die Wohnung eines Freundes vollständig abgebrannt ist, halte ich ein Online-Backup der wichtigsten Daten für absolut unerlässlich.
Praktisch finde ich an der Lösung zusätzlich auch noch, die Daten von überall abrufen zu können. (brauche ich wirklich oft)

Zitat von Kampi

ich hab mal angefangen mir selber etwas zu schreiben das sich wie git verhaelt und dann im hintergrund mit rsync arbeitet, ist aber noch nicht ganz fertig. (warum nicht gleich git: will keine bin-blobs einchecken und revisionen brauch ich auch nicht. warum nicht nur rsync: weil mir das rumwurschteln mit den in/excludes zu ungeschickt ist). das selbstgebaute hat einen index wie git wo ich init/add/rm/pull/push machen kann und die dateien im index werden dann mit rsync auf die eingetragenen remotes geschaufelt)

klingt sehr interessant. hast du vor es zu veroeffentlichen?

ich selber verwende ein rsync skript das mir in einem targetverzeichnis (das auf einer externen platte liegt) einen ordner mit aktuellen datum erstellt und darin den stand der eingestellten sourceverzeichnisse speichert. dabei werden nur inkrementellen daten neu hinzugefuegt und fuer unveraenderte daten werden hard-links erzeugt. das is vor allem dann praktisch wenn drauf kommt dass man die datei vor laengerer zeit geloescht hat und jene im aktuellen backup auch nicht mehr vorhanden ist... :shiner:
das original findet man hier auf dem wiki von ubuntuusers. ich hab es fuer mich ein wenig vereinfacht und ausserdem speichere ich mir zusaetzlich die paketliste zu jeden stichtag ab.

diese loesung (mit rsync) gibt es sogar (angepasst bei heise) fuer windows. diese ist schon fast 2 jahre lang am laptop meiner freundin im einsatz.

Wie sieht es eigentlich mit Überprüfung der Backups bei euch aus? Irgendwo kann ja auch mal ein Speicher/Dateisystem/... Probleme machen und Files zerstören. Bei RAID werden ja nicht mal beide Platten gelesen, da kann evtl. gar kein Problem sichtbar sein und auf einer Platte sind durch einen Defekt korrupte Daten. Dann baut sich das RAID von der kaputten Platte neu und überschreibt gleich mit rsync das Backup... Ich hab' mir mal überlegt, von allen Files Indices zu erzeugen inklusive Checksummen und die regelmäßig mit Original/Backup abzugleichen, um korrupte Daten zu erkennen. Macht jemand was in die Richtung bzw. kennt eine saubere Lösung?

Ich mach meine Backups mit rsnapshot, das legt bei jedem Aufruf einen Snapshot an, der mit dem vorherigen verglichen wird, wobei nur die geänderten Dateien neu kopiert werden (die anderen werden hard links). Eigentlich müßte dadurch von einer Datei, die im Backup kaputt ist, beim nächsten Snapshot eh automatisch wieder die aktuelle Version neu gespeichert werden.

Zitat von gelbasack

Macht jemand was in die Richtung bzw. kennt eine saubere Lösung?

Eine sauberere Lösung ist eine andere Backuptechnologie als sich auf einen RAID Verbund verlassen Wenn Dir das RAID eingeht, dann sind alle Verifies, etc. sinnlos wenn sie nicht auf unterschiedlichen Datenträgern gehen. (Analog dazu natürlich auch, wenn Du alles auf nur 1 Magnetband sicherst)

Aber die klassische Variante wär natürlich eine Generationenlösung (Grandfather-Father-Son) und zusätzlich

• Bei Magnetbändern ein Verify Run
• bei optischen Datenträgern redundante Datenträger
• Datenbanken bieten i.A. die Möglichkeit, ein Backup vom Medium gegen das Nul-device einzulesen und so das gesamte Backup zu testen.

Mit Lösungen wie Checksummen, etc erreichst Du wenig, wenn während der Laufzeit des Backups Datenänderungen auftreten. Was evt ginge wär einen tarball nach /tmp machen, denn dann versuchen zu lesen. ihn danach auf Datenträger zu schreiben und dann einen md5 hash über die 2 machen.

Aber ob da nicht eine vernünftige Generationenfolge das effizientere ist?

hth