Discussion:
Medienpool organisieren?
(zu alt für eine Antwort)
Kay Martinen
2017-08-06 13:01:29 UTC
Permalink
Raw Message
Hallo.

Plattenplatz hat man nie genug. Darum grübele ich über einer
Verlässlichen Lösung wie ich den inhalt mehrerer (1-2 TB Großen)
Festplatten möglichst homogen für das LAN-Streaming zu 1-n diversen
Clients verfügbar machen kann. Dabei sind 2-3 derzeit NTFS-Formatiert,
und nur eine mit ext4, evtl. eine Zweite demnächst erst.

Im Moment fällt mir nur eine Lösung als Sinnvoll ein. Die einzelplatten
Thematisch gruppiert und in unterordner hinein mounten. Also z.B. eine 2
TB Platte für Filme in SD, ggf. eine weitere dazu/daneben (dann eben als
/Filme02.SD/ o.ä.), eine 1 TB Platte für Serien, ggf. eine kleinere für
Dokus u.s.w. OBTW, Ziel-OS ist Linux (Eisfair-1)!

RAID ist da eh außen vor da ich dafür mind. die Doppelte Kapazität
bräuchte. Verlust einer Platte muß daher billigend in kauf genommen
werden und lässt sich über die Zeit und die gefühlt häufigere
Wiederholung auf x Kanälen per VDR wieder rein holen.

LVM scheidet m.W. aus weil man zwar aus mehreren PV ein LV bauen kann.
Aber wenn ein PV davon ausfällt ist wohl der Gesamtverbund (LV) auch
beschädigt und nicht mehr nutzbar.

ZFS wird ja gern hoch gelobt, scheint mir hier aber auch nicht
hilfreicher. Und es braucht mehr RAM als ich hätte. Mit anderen
Dateisystemen (wie z.b. xfs) bin ich nicht genug vertraut.

Derzeit ist hier ein kleiner Atom Dualcore mit 1GB RAM und GbE Nic im
Einsatz. Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden, oder über einen PCIeX2 Controller. Wobei die
meisten dieser Art m.W. nur 2 Ports liefern - und das Gehäuse zwar Platz
für 2 HDDs, aber keine Befestigungen dafür bietet.

Hab ich noch eine Möglichkeit übersehen, oder geht nicht mehr?

Kay
Shinji Ikari
2017-08-06 20:31:26 UTC
Permalink
Raw Message
Guten Tag
Post by Kay Martinen
Derzeit ist hier ein kleiner Atom Dualcore mit 1GB RAM und GbE Nic im
Einsatz. Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden, oder über einen PCIeX2 Controller. Wobei die
meisten dieser Art m.W. nur 2 Ports liefern
Reichen 10 Ports ueber PCIe x2?
https://geizhals.de/delock-89384-a1256212.html
Post by Kay Martinen
das Gehäuse zwar Platz
für 2 HDDs, aber keine Befestigungen dafür bietet.
Board in anderes Gehaeuse bauen.
Kay Martinen
2017-08-06 21:44:13 UTC
Permalink
Raw Message
Post by Shinji Ikari
Guten Tag
Post by Kay Martinen
Derzeit ist hier ein kleiner Atom Dualcore mit 1GB RAM und GbE Nic im
Einsatz. Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden, oder über einen PCIeX2 Controller. Wobei die
meisten dieser Art m.W. nur 2 Ports liefern
Reichen 10 Ports ueber PCIe x2?
https://geizhals.de/delock-89384-a1256212.html
Würde sicher reichen. Aber für den Preis bekommt man ja 1-2 Festplatten
- die man dann allerdings an freie ports von client-pc hängen müsste. So
wie ich es im moment leider noch habe.
Post by Shinji Ikari
Post by Kay Martinen
das Gehäuse zwar Platz
für 2 HDDs, aber keine Befestigungen dafür bietet.
Board in anderes Gehaeuse bauen.
Nee, ist beides neu und ein Kompromiss den ich noch nicht ersetzen mag.
Da scheint es mir billiger ein sparsames Board mit mehr SATA Ports in
einem größeren Gehäuse zu planen.

Oder kennst du evtl. einen Plattenrahmen für 2*3.5" disks übereinander
der in einen Netzteilauschnitt der Front eines ITX-Gehäuses passt?

Dann würde ein 2 Port Controller reichen und der vorhandene Platz; mit
insg. 4 Platten ideal genutzt. Denn 2 Stecken schon drin.

Der Punkt dabei ist: Die Platten wären da, ein 2 Port Controller
günstig, nur die sichere Befestigung wäre hier das Problem.

Kay
Shinji Ikari
2017-08-06 21:47:55 UTC
Permalink
Raw Message
Guten Tag
Post by Kay Martinen
Oder kennst du evtl. einen Plattenrahmen für 2*3.5" disks übereinander
der in einen Netzteilauschnitt der Front eines ITX-Gehäuses passt?
Leider weiss ich aktuell nicht wie gross ein solcher
Netzteilausschnitt ist.
Post by Kay Martinen
Der Punkt dabei ist: Die Platten wären da, ein 2 Port Controller
günstig, nur die sichere Befestigung wäre hier das Problem.
Solange ich fuer meine System enichts passendes finde bastele ich auch
Metllbaukaesten oder so etwas temporaeres, bis ich eien bessere
Loesung habe.
Shinji Ikari
2017-08-07 08:14:55 UTC
Permalink
Raw Message
Guten Tag
Post by Kay Martinen
Oder kennst du evtl. einen Plattenrahmen für 2*3.5" disks übereinander
der in einen Netzteilauschnitt der Front eines ITX-Gehäuses passt?
Ich habe mir mal ein par ITX Gehaeuse bei Pollin angesehen:
Netzteilausschnitt in der Front?
Welches gehaeuse hast Du, dass das Netzteil in der Front platziert
werden sollte?
Kay Martinen
2017-08-07 19:23:06 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Kay Martinen
Oder kennst du evtl. einen Plattenrahmen für 2*3.5" disks übereinander
der in einen Netzteilauschnitt der Front eines ITX-Gehäuses passt?
Netzteilausschnitt in der Front?
Welches gehaeuse hast Du, dass das Netzteil in der Front platziert
werden sollte?
Intertech SY-800 Dieses:
https://www.pollin.de/p/pc-gehaeuse-inter-tech-itx-sy-800-mini-itx-703031

Und das ATX-Netzteil KANN in der Front sitzen mit einer beiliegenden
230V Verlängerung Wie auf diesem Bild zu sehen ist:

Loading Image...

Auf diesem Bild siehst du das Netzteil, die flache Adapterplatte und den
Kragen der das alles unten in der Frontwand hält. Da mein Embedded Board
in der ATX-Blende eine 12V Hohlbuchse hat, und ich nun ein Passendes
Externes SNT von Pollin habe ist die Front leer. Und die üblichen Maße
eines ATX-SNT würden für 2 Extra Platten reichen.

Ich weiß eben nur noch nicht womit ich dort welche Sicher befestigen könnte.

ATX-SNT Format lt. Wikipedia: 15 cm × 8,6 cm × 14 cm (Breite × Höhe × Tiefe)

Kay
Shinji Ikari
2017-08-07 23:18:15 UTC
Permalink
Raw Message
Guten Tag
Post by Kay Martinen
https://www.pollin.de/p/pc-gehaeuse-inter-tech-itx-sy-800-mini-itx-703031
https://www.pollin.de/media/image/9b/5e/e2/I703031-9-PC-Gehaeuse-INTER-TECH-ITX-SY-800-Mini-ITX_600x600.jpg
Okay, ich glaube ich habe das Gehaeus enun so halbwegs verstanden.
Post by Kay Martinen
Auf diesem Bild siehst du das Netzteil, die flache Adapterplatte und den
Kragen der das alles unten in der Frontwand hält.
Ich weiss leider nicht, wie tief die HDDs in Deinem Aufbau ins Gehaeus
ehinein ragen duerfen, aber wenn eeine HDD+Anschlusskabel moeglich
ist:
Wenn der Platz also (wie beschrieben) frei ist, brauchst Du nur von
oben herab die vorhandenen Befestigungen mit Metallbauschienen
(Metallbaukasten) nach unten verlaengern. Dann dort einen einfachen
Traeger fuer HDDs einschrauben.
Marcel Mueller
2017-08-06 20:49:32 UTC
Permalink
Raw Message
Post by Kay Martinen
Plattenplatz hat man nie genug. Darum grübele ich über einer
Verlässlichen Lösung wie ich den inhalt mehrerer (1-2 TB Großen)
Festplatten möglichst homogen für das LAN-Streaming zu 1-n diversen
Clients verfügbar machen kann. Dabei sind 2-3 derzeit NTFS-Formatiert,
und nur eine mit ext4, evtl. eine Zweite demnächst erst.
Im Moment fällt mir nur eine Lösung als Sinnvoll ein. Die einzelplatten
Thematisch gruppiert und in unterordner hinein mounten. Also z.B. eine 2
TB Platte für Filme in SD, ggf. eine weitere dazu/daneben (dann eben als
/Filme02.SD/ o.ä.), eine 1 TB Platte für Serien, ggf. eine kleinere für
Dokus u.s.w. OBTW,
Ich würde mich mal mit logischen Volumes oder alternativ mit RAID
vertraut machen.
Post by Kay Martinen
Ziel-OS ist Linux (Eisfair-1)!
Dann verabschiede dich von NTFS für den Mediaserver. Das macht nur
Probleme bei Berechtigungen. Vor allem ist es sehr lahm.
Post by Kay Martinen
RAID ist da eh außen vor da ich dafür mind. die Doppelte Kapazität
bräuchte.
Nein. Es gibt auch noch RAID-0, obgleich ich das nicht empfehlen würde.
Aber RAID-5 oder sogar -6 sind etwas feines.

Wenn man es nicht braucht (im Heimgebrauch durchaus üblich) tut's auch
JBOD oder eben LVM.
Post by Kay Martinen
Verlust einer Platte muß daher billigend in kauf genommen
werden und lässt sich über die Zeit und die gefühlt häufigere
Wiederholung auf x Kanälen per VDR wieder rein holen.
Ich warte auf manche Wiederholungen schon Jahre.
Deshalb habe ich Backups. Auch von Filmen, gleichwohl ich die seltener
auf Vordermann bringe, zumal der meiste Content ja konstant ist.
Post by Kay Martinen
LVM scheidet m.W. aus weil man zwar aus mehreren PV ein LV bauen kann.
Aber wenn ein PV davon ausfällt ist wohl der Gesamtverbund (LV) auch
beschädigt und nicht mehr nutzbar.
Ja. Das ist dem Backup aber eigentlich egal.

Alternativ könntest Du unionfs verwenden, um Verzeichnisse übereinander
zu legen. geschrieben wird dann zwar immer nur in einem, aber das
erleichtert sogar die Backups, weil die geänderten Daten immer auf
demselben Volume liegen. Man muss halt von Zeit zu Zeit mal etwas von
der Schreibplatte auf die nicht direkt schreibbare schaffen.
Post by Kay Martinen
ZFS wird ja gern hoch gelobt, scheint mir hier aber auch nicht
hilfreicher. Und es braucht mehr RAM als ich hätte.
Das ist eher interessant, wenn man der Hardware nicht traut oder
wirklich großes vor hat. Ich habe lieber die 20€ mehr in ECC-RAM investiert.
Post by Kay Martinen
Mit anderen
Dateisystemen (wie z.b. xfs) bin ich nicht genug vertraut.
xfs ist unproblematisch. Außer beim Einrichten ist es aus Anwenderssicht
nicht von z.B. ext4 zu unterscheiden. Und ob ich nun -t ext4 oder -t xfs
angebe, gibt wirklich nichts.
xfs hat wohl Vorteile, wenn man viel mit Erweiterten Attributen (auch
ACLs) schafft, da es das idiotische 4kB-Limit nicht hat.

Es gibt wohl auch Performance-Unterschiede, aber die sind in diesem
Kontext eher akademisch. Kurzum, ext4 ist das Mittel der Wahl, wenn man
nicht mit btrfs und seinen durchaus interessanten Features herumspielen
will. Die Subvolumes und die Reflinks sind schon wirklich interessant.
Letzteres geht allerdings mit neueren Kerneln auch mit xfs.
Post by Kay Martinen
Derzeit ist hier ein kleiner Atom Dualcore mit 1GB RAM und GbE Nic im
Einsatz.
Könnte passieren, dass der GBit über Samba nicht mit voller
Geschwindigkeit auf die Kette bekommt. Online-Transkodierung für DLNA
ist sowieso raus.
Post by Kay Martinen
Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden,
Autsch.
Post by Kay Martinen
oder über einen PCIeX2 Controller. Wobei die
meisten dieser Art m.W. nur 2 Ports liefern - und das Gehäuse zwar Platz
für 2 HDDs, aber keine Befestigungen dafür bietet.
Hab ich noch eine Möglichkeit übersehen, oder geht nicht mehr?
Keine Ahnung. Mit den Hardwarebeschränkungen der Kiste kenne ich mich
nicht aus. Ich habe den Kram nebenbei mit auf dem VM-Server laufen. Der
hat genug Rumms.


Marcel
Kay Martinen
2017-08-06 21:34:49 UTC
Permalink
Raw Message
Post by Marcel Mueller
Post by Kay Martinen
Plattenplatz hat man nie genug. Darum grübele ich über einer
Verlässlichen Lösung wie ich den inhalt mehrerer (1-2 TB Großen)
Festplatten möglichst homogen für das LAN-Streaming zu 1-n diversen
Clients verfügbar machen kann. Dabei sind 2-3 derzeit NTFS-Formatiert,
und nur eine mit ext4, evtl. eine Zweite demnächst erst.
Im Moment fällt mir nur eine Lösung als Sinnvoll ein. Die einzelplatten
Thematisch gruppiert und in unterordner hinein mounten. Also z.B. eine 2
TB Platte für Filme in SD, ggf. eine weitere dazu/daneben (dann eben als
/Filme02.SD/ o.ä.), eine 1 TB Platte für Serien, ggf. eine kleinere für
Dokus u.s.w. OBTW,
Ich würde mich mal mit logischen Volumes oder alternativ mit RAID
vertraut machen.
Sind deine Logische Volumes etwas anderes als ein LVM? Also ein Logical
Volume das aus mehreren Physical Volumes zusammen gestellt ist?
Post by Marcel Mueller
Post by Kay Martinen
Ziel-OS ist Linux (Eisfair-1)!
Dann verabschiede dich von NTFS für den Mediaserver. Das macht nur
Probleme bei Berechtigungen. Vor allem ist es sehr lahm.
Ich bin dabei. Aber die NTFS Platte ist noch zu voll. Ich muss die Daten
erst umkopieren und dazu brauche ich anderswo platz und zeit.
Post by Marcel Mueller
Post by Kay Martinen
RAID ist da eh außen vor da ich dafür mind. die Doppelte Kapazität
bräuchte.
Nein. Es gibt auch noch RAID-0, obgleich ich das nicht empfehlen würde.
Aber RAID-5 oder sogar -6 sind etwas feines.
Wenn man es nicht braucht (im Heimgebrauch durchaus üblich) tut's auch
JBOD oder eben LVM.
Raid 0, Jbod haben aber doch das gleiche Problem. Fällt ein Element aus,
ist der Rest auch nicht mehr lesbar. Genau das will ich doch vermeiden.
Post by Marcel Mueller
Post by Kay Martinen
Verlust einer Platte muß daher billigend in kauf genommen
werden und lässt sich über die Zeit und die gefühlt häufigere
Wiederholung auf x Kanälen per VDR wieder rein holen.
Ich warte auf manche Wiederholungen schon Jahre.
Ich auch, aber nur für bestimmte alte Filme. Und manchmal bekomme ich
das auch nicht rechtzeitig mit wenn die doch mal wieder laufen.
Post by Marcel Mueller
Deshalb habe ich Backups. Auch von Filmen, gleichwohl ich die seltener
auf Vordermann bringe, zumal der meiste Content ja konstant ist.
Ja, aber das Backup Kostet eben auch das Doppelte - an Platz und Geld.
Denn bei den Mengen kommen doch eh nur platten in Frage. Ich kenne
jedenfalls keinen billigen Bandroboter der Terabytes flott genug weg
sichert. Z.B. eine Overland-Library für den Hausgebrauch finde man auch
nicht immer, sofort und an jeder Ecke günstig.
Post by Marcel Mueller
Post by Kay Martinen
LVM scheidet m.W. aus weil man zwar aus mehreren PV ein LV bauen kann.
Aber wenn ein PV davon ausfällt ist wohl der Gesamtverbund (LV) auch
beschädigt und nicht mehr nutzbar.
Ja. Das ist dem Backup aber eigentlich egal.
Schon klar. Aber deine obigen Vorschläge haben doch das gleiche Problem
wie ein LV aus mehreren PV. Oder verstehe ich da was falsch?
Post by Marcel Mueller
Alternativ könntest Du unionfs verwenden, um Verzeichnisse übereinander
zu legen. geschrieben wird dann zwar immer nur in einem, aber das
erleichtert sogar die Backups, weil die geänderten Daten immer auf
demselben Volume liegen. Man muss halt von Zeit zu Zeit mal etwas von
der Schreibplatte auf die nicht direkt schreibbare schaffen.
Das erscheint mir nun für diesen Zweck völlig ungeeignet. Erst wenn es
ein Backup der Mediendaten gäbe sehe ich darin einen Sinn.
Post by Marcel Mueller
Post by Kay Martinen
ZFS wird ja gern hoch gelobt, scheint mir hier aber auch nicht
Das ist eher interessant, wenn man der Hardware nicht traut oder
wirklich großes vor hat. Ich habe lieber die 20€ mehr in ECC-RAM investiert.
Ich hab ja auch noch einen Proliant mit 8 GB ECC RAM. Aber der hat eben
auch nur 3 TB Platz und ist ein Stromverschwender. Der will ich
bestenfalls als sekundäres Backup her nehmen und ihn ansonsten lieber
aus lassen.
Post by Marcel Mueller
Post by Kay Martinen
Dateisystemen (wie z.b. xfs) bin ich nicht genug vertraut.
xfs hat wohl Vorteile, wenn man viel mit Erweiterten Attributen (auch
ACLs) schafft, da es das idiotische 4kB-Limit nicht hat.
Ich dachte eher in richtung LVM-Features ohne die o.g. Probleme die ich
dabei sehe. Aber ich weiß nicht wirklich ob es da etwas besseres gibt.
Darum die Frage.
Post by Marcel Mueller
Es gibt wohl auch Performance-Unterschiede, aber die sind in diesem
Kontext eher akademisch. Kurzum, ext4 ist das Mittel der Wahl, wenn man
nicht mit btrfs und seinen durchaus interessanten Features herumspielen
will. Die Subvolumes und die Reflinks sind schon wirklich interessant.
Letzteres geht allerdings mit neueren Kerneln auch mit xfs.
Keine Ahnung welche du meinst. Aber das werde ich mal nach lesen.
Post by Marcel Mueller
Post by Kay Martinen
Derzeit ist hier ein kleiner Atom Dualcore mit 1GB RAM und GbE Nic im
Einsatz.
Könnte passieren, dass der GBit über Samba nicht mit voller
Geschwindigkeit auf die Kette bekommt. Online-Transkodierung für DLNA
ist sowieso raus.
Letzeres brauche ich eh nicht. Bei Transfers erreiche ich je nach Gerät
zwischen 30-50 Megabyte/s was mir erst mal reicht. Und nachdem ich den
richtigen nic-Treiber aktivierte Streamt der auch ordentlich. Aber
eigentlich benutze ich ihn eh meist per kodi und via smb.
Post by Marcel Mueller
Post by Kay Martinen
Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden,
Autsch.
ITX, günstig bei Pollin. Es KANN natürlich auch ein fetteres ITX Board
in das (neue) Gehäuse (Würfelform, ähnlich ReadyNAS nur flacher und Tief).
Post by Marcel Mueller
nicht aus. Ich habe den Kram nebenbei mit auf dem VM-Server laufen. Der
hat genug Rumms.
Ja, das war auch noch so eine Idee. Hast du den Fileserver-Job nativ auf
dem Host laufen, oder dafür eine eigene/spezialisierte VM eingerichtet.

Ich finde ja z.b. openmediavault in einer VM die auf einem Server läuft
der HW-Raid hat hochgradig unsinnig. Leider hat mein VM-Server zwar 8
Kerne, aber nur 4 Disks / 2 Raidvolumes und der alte hat zwar 18 Disks/
etliche Raidvolumes aber nur 4 kerne und statt vt-x nur HT.
Marcel Mueller
2017-08-07 07:46:06 UTC
Permalink
Raw Message
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Verlust einer Platte muß daher billigend in kauf genommen
werden und lässt sich über die Zeit und die gefühlt häufigere
Wiederholung auf x Kanälen per VDR wieder rein holen.
Ich warte auf manche Wiederholungen schon Jahre.
Ich auch, aber nur für bestimmte alte Filme. Und manchmal bekomme ich
das auch nicht rechtzeitig mit wenn die doch mal wieder laufen.
Erwähntest Du nicht vdr? Der macht das doch von alleine. Filmtitel in
Suchtimer und fertig.
Post by Kay Martinen
Post by Marcel Mueller
Deshalb habe ich Backups. Auch von Filmen, gleichwohl ich die seltener
auf Vordermann bringe, zumal der meiste Content ja konstant ist.
Ja, aber das Backup Kostet eben auch das Doppelte - an Platz und Geld.
Nicht unbedingt. Aber viel fehlt in der Praxis nicht.
Ich habe mir vor wenigen Jahren für den Preis von etwa 3 mittleren
Platten eine Ultrium Tape Library nebst Zubehör geschossen. Da gehen
schon ein paar Tera drauf und dank wechselbaren Bändern skaliert das
auch ganz gut (ca. 10€/TB). Erst wenn die Laufzeiten inakzeptabel werden
ist das Konzept am Ende.
Post by Kay Martinen
Denn bei den Mengen kommen doch eh nur platten in Frage. Ich kenne
jedenfalls keinen billigen Bandroboter der Terabytes flott genug weg
sichert. Z.B. eine Overland-Library für den Hausgebrauch finde man auch
nicht immer, sofort und an jeder Ecke günstig.
Overland ist natürlich der Mercedes. Aber wenn's auch Dell o.ä. sein
darf, geht da schon was. LTO-3 und LTO-4 fliegt derzeit in den RZs
reihenweise raus. Und da Privatkunden selten die sperrigen Libraries
haben wollen, sind die oft günstiger als einzelne Laufwerke.
Das teuerste sind bei LTO-4 noch sie sch*** SAS Controller. Meine Kiste
kann Gott sei dank noch SCSI. PCI SCSI Controller sind dagegen Schüttgut
für nicht wesentlich mehr als 0€.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
LVM scheidet m.W. aus weil man zwar aus mehreren PV ein LV bauen kann.
Aber wenn ein PV davon ausfällt ist wohl der Gesamtverbund (LV) auch
beschädigt und nicht mehr nutzbar.
Ja. Das ist dem Backup aber eigentlich egal.
Schon klar. Aber deine obigen Vorschläge haben doch das gleiche Problem
wie ein LV aus mehreren PV. Oder verstehe ich da was falsch?
Nein, das ist korrekt.
Post by Kay Martinen
Post by Marcel Mueller
Alternativ könntest Du unionfs verwenden, um Verzeichnisse
übereinander zu legen. geschrieben wird dann zwar immer nur in einem,
aber das erleichtert sogar die Backups, weil die geänderten Daten
immer auf demselben Volume liegen. Man muss halt von Zeit zu Zeit mal
etwas von der Schreibplatte auf die nicht direkt schreibbare schaffen.
Das erscheint mir nun für diesen Zweck völlig ungeeignet. Erst wenn es
ein Backup der Mediendaten gäbe sehe ich darin einen Sinn.
Wieso? Deine Bedingung, eine Platte nimmt nur ihre Daten ins Grab wäre
damit erfüllt.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
ZFS wird ja gern hoch gelobt, scheint mir hier aber auch nicht
Das ist eher interessant, wenn man der Hardware nicht traut oder
wirklich großes vor hat. Ich habe lieber die 20€ mehr in ECC-RAM investiert.
Ich hab ja auch noch einen Proliant mit 8 GB ECC RAM. Aber der hat eben
auch nur 3 TB Platz und ist ein Stromverschwender.
Ja ... die alten HP-Server. Habe vor einer Weile bei einem Kumpel in der
Firma auch so ein Teil durch (neue) Amateurklassen-Hardware abgelöst.
Ergebnis von 260W auf 60W runter und die Kiste ist noch dazu schneller
dazu. Invest vielleicht 300€.
Post by Kay Martinen
Der will ich
bestenfalls als sekundäres Backup her nehmen und ihn ansonsten lieber
aus lassen.
Verständlich. Als Backupserver wäre aber OK. Vielleicht hat er sogar
SCSI oder SAS.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Dateisystemen (wie z.b. xfs) bin ich nicht genug vertraut.
xfs hat wohl Vorteile, wenn man viel mit Erweiterten Attributen (auch
ACLs) schafft, da es das idiotische 4kB-Limit nicht hat.
Ich dachte eher in richtung LVM-Features ohne die o.g. Probleme die ich
dabei sehe. Aber ich weiß nicht wirklich ob es da etwas besseres gibt.
Darum die Frage.
Für lvm brauchst Du kein xfs. Der arbeitet eine Ebene tiefer.
Post by Kay Martinen
Post by Marcel Mueller
Es gibt wohl auch Performance-Unterschiede, aber die sind in diesem
Kontext eher akademisch. Kurzum, ext4 ist das Mittel der Wahl, wenn
man nicht mit btrfs und seinen durchaus interessanten Features
herumspielen will. Die Subvolumes und die Reflinks sind schon wirklich
interessant.
Letzteres geht allerdings mit neueren Kerneln auch mit xfs.
Keine Ahnung welche du meinst. Aber das werde ich mal nach lesen.
Reflinks ist faktisch Copy on Write, heißt beim Kopieren von Dateien
wird kein Platz verbraucht, erst beim überschreiben.
Technisch ist das wie ein Hardlink, der aber bei Schreibzugriffen in
einer Kopie endet. Dadurch können sich die Links nicht mehr gegenseitig
beeinflussen.

Damit ist Deduplication möglich. Man kann ab und an mal mit fdupes nach
Doubletten suchen und sie durch Reflinks ersetzen, dann wird der
redundante Speicher freigegeben. Bei Filmen hätte ich allerdings die
Hoffnung, dass sich die Redundanzen in Grenzen halten. Auf von mehreren
Usern genutzten Servern bringt das aber zum Teil erhebliche Mengen.
Bei uns in der Firma war wohl mit Deduplication ein Faktor 3 drin. Aber
nicht mit btrfs, sondern einem Profi-SAN.
Daheim habe ich auch schon viele GB an Potential erkundet. Nur ist mein
Debian Wheezy weit von Reflink-Unterstützung entfernt. :-( Und um mich
mit systemd herumzuschlagen, habe ich gerade keine Lust.
Post by Kay Martinen
Post by Marcel Mueller
Könnte passieren, dass der GBit über Samba nicht mit voller
Geschwindigkeit auf die Kette bekommt. Online-Transkodierung für DLNA
ist sowieso raus.
Letzeres brauche ich eh nicht. Bei Transfers erreiche ich je nach Gerät
zwischen 30-50 Megabyte/s was mir erst mal reicht.
Ja, das sind wenigstens etwa 50% vom Maximum. Viel mehr als 70MB kommen
ja meist doch nicht raus.
Post by Kay Martinen
Und nachdem ich den
richtigen nic-Treiber aktivierte Streamt der auch ordentlich. Aber
eigentlich benutze ich ihn eh meist per kodi und via smb.
Bei Kodi sollte doch auch NFS4 gehen, oder läuft der unter Win? AFAIK
ist das Ressourcenschonender als SMB. Ich habe jedenfalls alles was geht
per NFS angebunden und es nicht bereut.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Aber da das ein Embedded Board ist lassen sich weitere Platten
dort nur per USB anbinden,
Autsch.
ITX, günstig bei Pollin. Es KANN natürlich auch ein fetteres ITX Board
in das (neue) Gehäuse (Würfelform, ähnlich ReadyNAS nur flacher und Tief).
Ich stelle so Zeug in den Keller in eine Ecke, wo es keiner sieht. Da
ist mir das Gehäuse und ggf. auch der Lärm total egal. Irgendein
abgehalftertes ATX Gehäuse aus den 90-ern und gut ist's. OK, sinnvolle
Einbaumöglichkeiten für die SSD fehlten, aber Gefrierbeutel und
Klebeband tun's auch; die Dinger werden eh nicht warm.
Post by Kay Martinen
Post by Marcel Mueller
nicht aus. Ich habe den Kram nebenbei mit auf dem VM-Server laufen.
Der hat genug Rumms.
Ja, das war auch noch so eine Idee. Hast du den Fileserver-Job nativ auf
dem Host laufen, oder dafür eine eigene/spezialisierte VM eingerichtet.
Der läuft nativ. Vorteile einer VM sehe ich da eher nicht, außer man
steht auf erhöhten Speicherverbrauch.
vdr wollte ich aus Sicherheitsgründen eigentlich in einer VM laufen
lassen. Allerdings nur so lange, bis ich feststellte, dass zwar die CPU
IOMMU kann, aber nicht der Chipsatz auf dem Board. Fairerweise sei
angemerkt, dass der V4L-Treiber den Server niemals beeinträchtigt hat.
Allerdings muss ich nach jedem Kernel-Update den Treiber für die Karte
wieder selber mit reinkompilieren, weil die erst von viel neueren
Kerneln unterstützt wird. Solche Probleme hätte ich bei PCI Pass-Through
nicht gehabt.
Post by Kay Martinen
Ich finde ja z.b. openmediavault in einer VM die auf einem Server läuft
der HW-Raid hat hochgradig unsinnig.
?
Post by Kay Martinen
Leider hat mein VM-Server zwar 8 Kerne,
So viel habe ich gar nicht. Die brauchen nur Strom.
Und laut aktueller Statistik langweilen sich die 4 auch nur. Derzeit
Post by Kay Martinen
97% auf niedrigster Taktstufe. Ich hatte aber auch schon Werte >99%.
aber nur 4 Disks / 2 Raidvolumes und der alte hat zwar 18 Disks/
Und die brauchen noch mehr Strom!
Ich habe immer nur eine SSD und eine Platte drin. Die Platte ist nur für
Filme und ein paar automatische Zwischenbackups von den VMs. Der Rest
ist auf der SSD. Die muss halt alle paar Jahre mal durch ein größeres
Modell ersetzt werden. Die dabei harauspurzelnden eignen sich
hervorragend, um alten Notebooks in der Familie Beine zu machen.
Post by Kay Martinen
etliche Raidvolumes aber nur 4 kerne und statt vt-x nur HT.
Ohne VT-x kannst Du Virtualisierung vergessen.


Marcel
Kay Martinen
2017-08-13 17:26:08 UTC
Permalink
Raw Message
Post by Marcel Mueller
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Verlust einer Platte muß daher billigend in kauf genommen
werden und lässt sich über die Zeit und die gefühlt häufigere
Wiederholung auf x Kanälen per VDR wieder rein holen.
Deshalb habe ich Backups. Auch von Filmen, gleichwohl ich die seltener
auf Vordermann bringe, zumal der meiste Content ja konstant ist.
Ja, aber das Backup Kostet eben auch das Doppelte - an Platz und Geld.
Nicht unbedingt. Aber viel fehlt in der Praxis nicht.
Verständlich. Als Backupserver wäre aber OK. Vielleicht hat er sogar
SCSI oder SAS.
Der VM-Server ist ein Gen 5 mit SATA. Der Backup-Fileserver ein Gen.4
mit Ächtem SCSI U320

Im Moment bin ich froh ihn zu haben und die Mediendateien darauf noch
nicht verschoben, sondern nur kopiert zu haben.

Denn meine 2 TB USB-Platte hat nach einem missglückten Runterfahren von
Win 7 urplötzlich einen Defekten Bootsektor und die MFT streikt.

Ich wollte 22 GB Serien von diesem Fileserver auf diese Platte kopieren
und das kopieren schien nicht in gang kommen zu wollen. Stand
minutenlang bei "berechne...". Dann wollte ich es abbrechen was auch
nicht ging. Dann wollte ich den PC neu starten was auch nicht ging. Da
hing er minutenlang beim Abmelden und ich hab ihn dann per Powertaste
aus geschaltet. Aber offenbar war er da dann doch inzwischen munter am
Schreiben auf diese NTFS-Formatierte Platte. Was ich aber nicht erkennen
konnte.

Tja, was nun. Partition wird als RAW angezeigt, chkdsk /f meldet den
bootsektor als beschädigt, nimmt den zweiten bootsektor, findet die MFT
beschädigt und scheitert beim Versuch sie von der platte wieder her zu
stellen. Testdisk 7 soll angeblich in Advanced eine Funktion zum Lesen
der Reserve-MFT haben, die finde ich nur nicht.

Im moment macht es seit ca. 3 Std. Check MFT auf dieser Platte und war
vorhin bei ca. 320 Million von 1,8 Milliarden Sektoren. Bei dem Tempo
dauert das die Ganze Nacht.

Und ich frage mich ob das überhaupt noch sinn macht. Einfacher und
schneller wäre es wohl die Platte mit ext4 an meinem Mediaserver neu zu
formatieren, sie dann an den Fileserver zu hängen und von dort alle
Filme rüber zu kopieren. Dann hätte ich nur die Filme verloren die ich
zuletzt nicht mehr auf den Mediaserver schob, sondern auf diese Externe
Platte.

Wie kann es eigentlich sein das beim Schreiben auf eine Platte beim
runterfahren der Bootsektor kaputt geht. Ist das nicht broken by Design?
Post by Marcel Mueller
Bei Kodi sollte doch auch NFS4 gehen, oder läuft der unter Win? AFAIK
ist das Ressourcenschonender als SMB. Ich habe jedenfalls alles was geht
per NFS angebunden und es nicht bereut.
Probiere ich derzeit ein wenig aus. SMB macht auch grade wieder Zicken.
Post by Marcel Mueller
Der läuft nativ. Vorteile einer VM sehe ich da eher nicht, außer man
...
Allerdings muss ich nach jedem Kernel-Update den Treiber für die Karte
wieder selber mit reinkompilieren, weil die erst von viel neueren
Kerneln unterstützt wird. Solche Probleme hätte ich bei PCI Pass-Through
nicht gehabt.
DAS wäre für mich ein Vorteil der VM. Denn meine Skystar wird erst ab
einer bestimmten Kernel-version (IMHO 4.2x) unterstützt.
Post by Marcel Mueller
Post by Kay Martinen
Ich finde ja z.b. openmediavault in einer VM die auf einem Server läuft
der HW-Raid hat hochgradig unsinnig.
?
Openmediavault kennst du nicht? Ist die Linux-Variante von FreeNAS (BSD).
Post by Marcel Mueller
Post by Kay Martinen
Leider hat mein VM-Server zwar 8 Kerne,
Und laut aktueller Statistik langweilen sich die 4 auch nur. Derzeit
Post by Kay Martinen
97% auf niedrigster Taktstufe. Ich hatte aber auch schon Werte >99%.
Ja, ich hab auch noch nicht alle VMs in Betrieb. Daher langweilt meiner
sich auch. Wenn er aber 4-8 Physische Maschinen ersetzt wäre damit
effektiv strom gespart.
Post by Marcel Mueller
Post by Kay Martinen
aber nur 4 Disks / 2 Raidvolumes und der alte hat zwar 18 Disks/
Und die brauchen noch mehr Strom!
Die 18 Disks? Ja, sicher. Aber dafür sind dort jeweils 3 Disks zu einem
Raid 5 gebunden, und 4 dieser Raid 5 zu einem LVM verbunden. Macht
zusammen ca. 3 TB plus ca. 130 GB des Internen Arrays.

Theoretisch können also 4-5 Disks ausfallen (in jedem R5 eine) bevor das
LVM ein Problem bekommt.
Post by Marcel Mueller
Ich habe immer nur eine SSD und eine Platte drin. Die Platte ist nur für
Filme und ein paar automatische Zwischenbackups von den VMs. Der Rest
Kann man auch so machen, klar. Aktuell bin ich froh das ich auf dem
Großen Server noch Filme liegen habe. S.O.
Post by Marcel Mueller
Post by Kay Martinen
etliche Raidvolumes aber nur 4 kerne und statt vt-x nur HT.
Ohne VT-x kannst Du Virtualisierung vergessen.
Ich weiß.

Kay
Marcel Mueller
2017-08-15 01:23:49 UTC
Permalink
Raw Message
Post by Kay Martinen
Post by Marcel Mueller
Verständlich. Als Backupserver wäre aber OK. Vielleicht hat er sogar
SCSI oder SAS.
Der VM-Server ist ein Gen 5 mit SATA. Der Backup-Fileserver ein Gen.4
mit Ächtem SCSI U320
Da bekommt man zumindest Problemlos bis LTO-3 dran. Und die eher
seltenen LTO-4 auch (meist haben die SAS).

[Tote Platte]
Post by Kay Martinen
Aber offenbar war er da dann doch inzwischen munter am
Schreiben auf diese NTFS-Formatierte Platte. Was ich aber nicht erkennen
konnte.
Ja, das hatte wir schon im anderen Thread. Ist aber unwahrscheinlich,
dass es /daran/ lag.
Post by Kay Martinen
Wie kann es eigentlich sein das beim Schreiben auf eine Platte beim
runterfahren der Bootsektor kaputt geht. Ist das nicht broken by Design?
Das dürfte nicht die Ursache sein. Ich tippe eher auf einen
Treiberfehler (mglw. in der USB-Bridge Firmware) oder einen
Hardwareausfall, wie z.B. überhitzter Plattencontroller.
Post by Kay Martinen
Post by Marcel Mueller
Bei Kodi sollte doch auch NFS4 gehen, oder läuft der unter Win? AFAIK
ist das Ressourcenschonender als SMB. Ich habe jedenfalls alles was
geht per NFS angebunden und es nicht bereut.
Probiere ich derzeit ein wenig aus. SMB macht auch grade wieder Zicken.
Ja, SMB ist unter Linux nicht so der Brüller. Als Server läuft das top,
aber als Client nicht so gut.
Post by Kay Martinen
Post by Marcel Mueller
Der läuft nativ. Vorteile einer VM sehe ich da eher nicht, außer man
...
Allerdings muss ich nach jedem Kernel-Update den Treiber für die Karte
wieder selber mit reinkompilieren, weil die erst von viel neueren
Kerneln unterstützt wird. Solche Probleme hätte ich bei PCI
Pass-Through nicht gehabt.
DAS wäre für mich ein Vorteil der VM. Denn meine Skystar wird erst ab
einer bestimmten Kernel-version (IMHO 4.2x) unterstützt.
Ja, korrekt. Die Karte habe ich auch, nur halt mit Kernel 3.2.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Ich finde ja z.b. openmediavault in einer VM die auf einem Server läuft
der HW-Raid hat hochgradig unsinnig.
?
Openmediavault kennst du nicht? Ist die Linux-Variante von FreeNAS (BSD).
Ich habe eher den Zusammenhang zum HW-Raid nicht verstanden.
Post by Kay Martinen
Post by Marcel Mueller
Post by Kay Martinen
Leider hat mein VM-Server zwar 8 Kerne,
Und laut aktueller Statistik langweilen sich die 4 auch nur. Derzeit
Post by Kay Martinen
97% auf niedrigster Taktstufe. Ich hatte aber auch schon Werte >99%.
Ja, ich hab auch noch nicht alle VMs in Betrieb. Daher langweilt meiner
sich auch. Wenn er aber 4-8 Physische Maschinen ersetzt wäre damit
effektiv strom gespart.
Wenn sie vorher 24/7 liefen, definitiv!
Post by Kay Martinen
Post by Marcel Mueller
Ich habe immer nur eine SSD und eine Platte drin. Die Platte ist nur
für Filme und ein paar automatische Zwischenbackups von den VMs. Der Rest
Kann man auch so machen, klar. Aktuell bin ich froh das ich auf dem
Großen Server noch Filme liegen habe. S.O.
Ich habe praktisch alle Filme zusätzlich auf mindestens verschiedenen 3
LTOs. (3 Backupgenerationen) Da ist es mir relativ egal, ob da eine
Platte oder was auch immer verreckt.


Marcel

Marc Stibane
2017-08-07 13:47:17 UTC
Permalink
Raw Message
Post by Kay Martinen
Ich hab ja auch noch einen Proliant mit 8 GB ECC RAM. Aber der hat eben
auch nur 3 TB Platz und ist ein Stromverschwender. Der will ich
bestenfalls als sekundäres Backup her nehmen und ihn ansonsten lieber
aus lassen.
Genau so mache ich das auch. Mein 24/7 NAS ist ein ReadyNAS Duo mit zwei
8TB-Platten als RAID-0. Also brutto wie netto 16 TB. Braucht relativ
wenig Strom und ist auch ziemlich leise.
Da ich dort keinerlei Redundanz habe gibt es als Backup noch einen unter
FreeNAS laufenden HP N54L mit 8GB ECC RAM mit sechs 4TB-Platten als
raidz2 (entspricht RAID-6). Brutto 24 TB, netto 16 TB (wie das Duo). Den
HP schalte ich ca. 1mal pro Woche ein und fahre ein Backup vom Duo...
--
In a world without walls and fences,
who needs windows and gates?
Loading...