Discussion:
Ultra DMA CRC Error Count
(zu alt für eine Antwort)
Detlef Wirsing
2017-06-29 13:09:16 UTC
Permalink
Raw Message
Hallo,

worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Eine meiner Platten wurde in den letzten Tagen dreimal mitten im
Betrieb nicht mehr gefunden, der Wert stieg auf 3 mit einer Warnung
von Crystal Disk Info und HD Tune. Steht Datenverlust ins Haus, oder
kann es auch einfach ein schlecht sitzendes Kabel sein?

Mit freundlichen Grüßen
Detlef Wirsing
Michael Limburg
2017-06-29 14:27:35 UTC
Permalink
Raw Message
Post by Detlef Wirsing
Hallo,
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Kabel-/Steckverbinder und drumherum.

MfG
Detlef Wirsing
2017-06-29 14:39:09 UTC
Permalink
Raw Message
Post by Michael Limburg
Post by Detlef Wirsing
Hallo,
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Kabel-/Steckverbinder und drumherum.
Danke, dann werde ich das mal ändern. Mir gehen eh die Ports aus,
deshalb habe ich gerade bei Ebay einen 3Ware 9650 12ML mit zwei
Vierfach-Kabeln bestellt. Der steckt schon in meinem HTPC und ist für
Datengräber perfekt.

Mit freundlichen Grüßen
Detlef Wirsing
Michael Limburg
2017-06-29 16:36:30 UTC
Permalink
Raw Message
Post by Detlef Wirsing
Post by Michael Limburg
Post by Detlef Wirsing
Hallo,
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Kabel-/Steckverbinder und drumherum.
Danke, dann werde ich das mal ändern. Mir gehen eh die Ports aus,
Manchmal reicht aber schon ab und erneutes Anstecken der Kabel.
Wenn da nichts hilft, als nächster Schritt dann Kabeltausch.

MfG
Detlef Wirsing
2017-06-29 17:05:03 UTC
Permalink
Raw Message
Post by Michael Limburg
Post by Detlef Wirsing
Post by Michael Limburg
Post by Detlef Wirsing
Hallo,
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Kabel-/Steckverbinder und drumherum.
Danke, dann werde ich das mal ändern. Mir gehen eh die Ports aus,
Manchmal reicht aber schon ab und erneutes Anstecken der Kabel.
Wenn da nichts hilft, als nächster Schritt dann Kabeltausch.
Ja, sicher, zumal ich reichlich Kabel da habe. Aber ein Umbau ist
wegen fehlender Ports eh nötig. Im Moment betreibe ich 2 Platten
extern an USB 3.0 - eine SSD und eine WD30EURS. Wenn ich die einbauen
will, was eigentlich schon lange überfällig ist, muss ich den
gesteckten eSATA-Controller mit 2 Ports auf intern umstellen und habe
sofort wieder keinen Port mehr frei. Da ich mit dem 9650 in meinem
HTPC ausgesprochen gute Erfahrungen gemacht habe und er bei Ebay
gebraucht für 55 Euro zu haben war, schien mir das die bessere Lösung.

Mit freundlichen Grüßen
Detlef Wirsing
Shinji Ikari
2017-06-29 18:56:16 UTC
Permalink
Raw Message
Guten Tag
Post by Detlef Wirsing
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Meist Verkabelungsprobleme.
Post by Detlef Wirsing
Eine meiner Platten wurde in den letzten Tagen dreimal mitten im
Betrieb nicht mehr gefunden, der Wert stieg auf 3 mit einer Warnung
von Crystal Disk Info und HD Tune. Steht Datenverlust ins Haus, oder
kann es auch einfach ein schlecht sitzendes Kabel sein?
zweiteres. Alternativ gealtertes und defektes Kabel, Steckkontakte in
Wechelramen, etc.....
Detlef Wirsing
2017-06-29 21:16:27 UTC
Permalink
Raw Message
Post by Shinji Ikari
Guten Tag
Post by Detlef Wirsing
worauf lassen steigende Werte bei Ultra DMA CRC Error Count schließen?
Meist Verkabelungsprobleme.
Post by Detlef Wirsing
Eine meiner Platten wurde in den letzten Tagen dreimal mitten im
Betrieb nicht mehr gefunden, der Wert stieg auf 3 mit einer Warnung
von Crystal Disk Info und HD Tune. Steht Datenverlust ins Haus, oder
kann es auch einfach ein schlecht sitzendes Kabel sein?
zweiteres. Alternativ gealtertes und defektes Kabel, Steckkontakte in
Wechelramen, etc.....
Danke, bin schon dran. Ein 3Ware 9650 12ML ist bestellt. Bei der
Gelegenheit wird auch das Datenkabel ausgetauscht. Sollte es das
Stromkabel sein, merke ich das während des Umbaus. Das ist
wahrscheinlicher, denn die Platte funktioniert entweder normal oder
wird vom System nicht erkannt. Eigentlich ungewöhnlich, weil sie
jahrelang völlig unauffällig lief. Das Gehäuse ist groß und solide, da
wackelt und rappelt nichts. Platz für die Kabel ist auch reichlich da.

Mit freundlichen Grüßen
Detlef Wirsing
Detlef Paschke
2017-07-18 11:07:10 UTC
Permalink
Raw Message
Am 29.06.2017 um 23:16 schrieb Detlef Wirsing:
Hallo Detlef,
Post by Detlef Wirsing
Post by Detlef Wirsing
Eine meiner Platten wurde in den letzten Tagen dreimal mitten im
Betrieb nicht mehr gefunden, der Wert stieg auf 3 mit einer Warnung
von Crystal Disk Info und HD Tune. Steht Datenverlust ins Haus, oder
kann es auch einfach ein schlecht sitzendes Kabel sein?
Danke, bin schon dran. Ein 3Ware 9650 12ML ist bestellt. Bei der
Gelegenheit wird auch das Datenkabel ausgetauscht.
ich hatte bei einem Raid-5 an einem 3ware 9500S-12 auch das Problem und
als Ursache haben sich selbst neue SATA-Kabel herausgestellt.
Seit dem ich alle getauscht habe gibt es dahingehend keine Probleme.
Empfehlen kann ich DELOCK Kabel SATA FLEXI 6Gb/s die zwar ein klein
wenig teurer als die SATA-Kabel aus der Wühlkiste sind aber sie sind gut
zu verlegen und vor allem zuverlässig.

http://www.delock.de/produkte/G_83503/merkmale.html

Bei SCSI und PATA gab es da deutlich weniger - bis nie - Probleme, SATA
ist was Kabel angeht recht wabbelig gebaut.
Post by Detlef Wirsing
Mit freundlichen Grüßen
Detlef Wirsing
Viele Grüße
Detlef Paschke
--
registered Fli4l-User #00000209
Das "Zitat des Augenblicks" gibt es nur auf
http://www.schabau.goip.de
Shinji Ikari
2017-07-18 12:28:30 UTC
Permalink
Raw Message
Guten Tag
Post by Detlef Paschke
Post by Detlef Wirsing
Danke, bin schon dran. Ein 3Ware 9650 12ML ist bestellt. Bei der
Gelegenheit wird auch das Datenkabel ausgetauscht.
ich hatte bei einem Raid-5 an einem 3ware 9500S-12 auch das Problem und
als Ursache haben sich selbst neue SATA-Kabel herausgestellt.
Seit dem ich alle getauscht habe gibt es dahingehend keine Probleme.
Empfehlen kann ich DELOCK Kabel SATA FLEXI 6Gb/s...
http://www.delock.de/produkte/G_83503/merkmale.html
..die zwar nicht an den 3Ware 9650 12ML kontroller anschliessbar sind,
aber ansoinsten sehr kurz und nett anzuschauen sind.
Ansicht der Anschluesse eines 3Ware 9650 12ML:
Loading Image...
Hier zur verdeutlichung noch einmal ein Bild bei einem 16Fach 9650SE
16ML Kontroller:
Loading Image...
Post by Detlef Paschke
Bei SCSI und PATA gab es da deutlich weniger - bis nie - Probleme, SATA
ist was Kabel angeht recht wabbelig gebaut.
Weshalb man bei den SFF-8087 basierten Anschluessen der 9650SE -ML
Kontrollern einen metallenen Verriegelungsclip nutzt.
Detlef Wirsing
2017-07-18 14:01:21 UTC
Permalink
Raw Message
Post by Shinji Ikari
Guten Tag
Post by Detlef Paschke
Post by Detlef Wirsing
Danke, bin schon dran. Ein 3Ware 9650 12ML ist bestellt. Bei der
Gelegenheit wird auch das Datenkabel ausgetauscht.
ich hatte bei einem Raid-5 an einem 3ware 9500S-12 auch das Problem und
als Ursache haben sich selbst neue SATA-Kabel herausgestellt.
Seit dem ich alle getauscht habe gibt es dahingehend keine Probleme.
Empfehlen kann ich DELOCK Kabel SATA FLEXI 6Gb/s...
http://www.delock.de/produkte/G_83503/merkmale.html
..die zwar nicht an den 3Ware 9650 12ML kontroller anschliessbar sind,
aber ansoinsten sehr kurz und nett anzuschauen sind.
20 cm würden bei meinen Riesen-Towern im Leben nicht reichen.
Post by Shinji Ikari
http://www.bpai.us/edd/9650SE_1.JPG
Davon habe ich inzwischen zwei. Einer läuft prima im HTPC, einer muss
noch ich meinen Arbeitsrechner eingebaut werden. Das wird
voraussichtlich noch 1-2 Wochen dauern. Ich muss vorher einige
Vorkehrungen treffen, im Wesentlichen umkopieren und Daten sichern.
Bei so großen Datenmengen dauert das ewig, vor allem mit Platten und
CRC-Test usw.
Post by Shinji Ikari
Hier zur verdeutlichung noch einmal ein Bild bei einem 16Fach 9650SE
http://www.notebook-service.biz/bilder/Controller/3Ware/AMCC_3Ware_9650SE_12_16ML_2.jpg
Diese Kabel gibt es in verschiedenen Belegungen, was ich auch erst
lernte, nachdem ich das erste Kabel bestellt hatte. Für Platten direkt
an Controller passt z.B.
http://www.ebay.de/itm/75cm-inline-sas-anschlusskabel-mini-sas-sff8087-an-4x-sata-crossover-ocf/131762978252

Eine der typischen Bezeichnungen für diese Belegung ist "crossover".
Leider gibt es mehrere, die alle dasselbe bedeuten. Alternativ gibt es
1:1 durchverbundene Kabel, z.B. für diverse Backplanes.
Post by Shinji Ikari
Post by Detlef Paschke
Bei SCSI und PATA gab es da deutlich weniger - bis nie - Probleme, SATA
ist was Kabel angeht recht wabbelig gebaut.
Weshalb man bei den SFF-8087 basierten Anschluessen der 9650SE -ML
Kontrollern einen metallenen Verriegelungsclip nutzt.
Deshalb mache ich da jetzt auch keinen Aufstand mehr. Die eine Platte,
welche immer wieder besagte Fehler aufwies, läuft im Moment normal. In
1-2 Wochen fliegen alle Kabel raus und der Controller wird durch den
9650SE ersetzt. Spätestens dann sollte das Problem behoben sein.

Mit freundlichen Grüßen
Detlef Wirsing
Shinji Ikari
2017-07-18 19:33:13 UTC
Permalink
Raw Message
Guten Tag
Post by Detlef Wirsing
Post by Shinji Ikari
http://www.bpai.us/edd/9650SE_1.JPG
Davon habe ich inzwischen zwei.
Ich hatte mehrere 9650basierte Kontroller in einem System und als
Backup vergleichbares auch in einem anderen System.
Das lief wunderbar.
Wenn ich nicht auf 9750-SAS-Kontroller umgestellt haette, liefen die
noch heute, aber ich wollte eben mehr. Doch leider habe ich mit den
9750 aktuell Probleme, so dass ich einen Megaraid 9271 erworben habe
und damit experimentiere.
Leider sind die zwar technisch verwandt, aber bedienungstechnisch doch
sehr unerschiedlich zu den 3Wares. Die haetten den
Software/Firmwareprogrammierer von 3Ware uebernehmen sollen. Wer auch
immer bei dem Megaraid die Firmware+Software verbrochen hat, wurde
voin mir schon mehrfach in die Programmiererhoelle verwuenscht.
Post by Detlef Wirsing
Ich muss vorher einige
Vorkehrungen treffen, im Wesentlichen umkopieren und Daten sichern.
Bei so großen Datenmengen dauert das ewig, vor allem mit Platten und
CRC-Test usw.
Ja, bei meinen Tests des Megaraid hantiere ich gerade auch mit sehr
grossen Nutkapazitaeten und das zu kopieren/ueberpruefen, etc.. dauert
sehr lange. Aber ich will den Kontroller erst ausreichend verstehen,
bevor ich dem System meine Nutzdaten anvertraue.
Um aber mit den Datenmengen in (fuer mich) akzeptablen Zeiten
umzugehen habe ich das Netzwerk zu dem Testrechner nun auch
aufgeruestet und meinen flottesten Skylake als Untersatz hingestellt.
Frank Möller
2017-07-25 12:17:54 UTC
Permalink
Raw Message
Post by Shinji Ikari
Ich hatte mehrere 9650basierte Kontroller in einem System und als
Backup vergleichbares auch in einem anderen System.
Das lief wunderbar.
Wenn ich nicht auf 9750-SAS-Kontroller umgestellt haette, liefen die
noch heute, aber ich wollte eben mehr. Doch leider habe ich mit den
9750 aktuell Probleme...
Was für welche sind das?
Post by Shinji Ikari
... so dass ich einen Megaraid 9271 erworben habe
und damit experimentiere.
Leider sind die zwar technisch verwandt, aber bedienungstechnisch doch
sehr unerschiedlich zu den 3Wares. Die haetten den
Software/Firmwareprogrammierer von 3Ware uebernehmen sollen. Wer auch
immer bei dem Megaraid die Firmware+Software verbrochen hat, wurde
voin mir schon mehrfach in die Programmiererhoelle verwuenscht.
Ja, die Bedienung der LSI ist ziemlich "speziell". Allerdings sind
Controller dieser Art mit 8 Ports und 6G pro Port AFAIS praktisch nur noch
von LSI zu bekommen, zumindest in der Bucht.

Apropos: Wie kühlst Du diese Controller?

Mein Intel RS2BL080 (faktisch ein LSI MegaRAID SAS 9260-8i) ist den
Hitzetod gestorben. Es gab einen 120er Lüfter mit 800 U/min in der
Seitenwand. Das war wohl definitiv zu mager, zumal die Seitenwand ja nur
gelöchert ist und auf der Innenseiter noch ein Lüftergitter davorhing. Der
übriggebliebene geringe Luftstrom war somit offensichtlich nicht
ausreichend.

Zu dem 120er mit 800 Touren ist zwar nun noch ein weiterer 120er mit 1200
Touren dazugekommen, genau auf Höhe des Controllers, allerdings plane ich
trotzdem, eine 3er Batterie mit 40er Noctuas (3 x Noctua NF-A4x20 FLX)
direkt neben dem Controller-Kühlkörper zu platzieren. Das wird eine lustige
Nummer mit Gummistrapsen, aber lieber klotzen, als nochmal so einen schönen
IOPS-Brummer wie einen nun anrollenden 9270-8i sich selber grillen zu
lassen.

Ein zwischenzeitlich montierter HighPoint RocketRAID 2720SGL fliegt wieder
raus, die IOPS des Marvell 88SE9485 sind _merklich_ magerer. Heiß wird das
Teil aber auch.

--
Shinji Ikari
2017-07-25 13:38:34 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Post by Shinji Ikari
Doch leider habe ich mit den
9750 aktuell Probleme...
Was für welche sind das?
Ich habe sehr viele Platten dran haengen (soll ja bis 128 Stueck
verwalten koennen).
Also habe ich ueber SAS- Expander viele HDDBackplanes angebunden, die
ich nach Bedarf bestuecke.
So werden aus kleinen Raid5-Verbuenden im Laufe der Zeit groessere.
Aufgrund des sehr guten Preis-/Groessenverhaeltnisses verwende ich bei
Neueinsatz Seagate 8TB Archive-Platten.
So sind schon sehr viele zusammen gekommen.

Doch bemerkte ich bei einem Backupsystem, dass ich bei Erweiterung
eine solche Platte hinzu steckte (Computer war ausgeschaltet) und beim
Booten der Kontroller auf einmal einen Grossteil der Platten nicht
wieder fand oder unterscheiden konnte. Diverse LEDs der Schaechte
gigen gleichzeitig an, was beim Booten nicht ueblich ist.

Diverse dahingehende Tests mit anderen zugesteckten 8TB
Archive-Platten brachten den Kontroller ebenfalls durcheinander.
Auch die Platten in andere Einschuebe zu stecken brachte nichts.

Die Platten sind uebrigens vorher alle Single in einem Skylake-System
getestet worden (einmal voll schreiben und einmal alles lesen).

Es ist also kein Platten- und kein BackplaneFehler.
Die Platten laufen auch im Raid5 aktuell in anderen Systemen
einwandfrei.
Sobald die neu zugesteckten Platten wieder entfernt wurden, hat der
Kontroller des backupsystemes beim naechsten Booten wieder alles
gefunden und es gab keinen Datenverlust (in einem ca. 1 woechigen
Checksummenprueflauf ueberprueft!).

Und dann erinnert eich mich daran, dass ich vergleichbares auch schon
bei einem anderen 9750 in einem WirkSystem aber mit aehnlichem Aufbau
hatte. Auch eine Archive 8TB dazu gesteckt und alle Raids waren beim
Booten degraded und nicht auslesbar. ich hatte es auf eine defekte
Platte geschoben, doch die war da auch bei anderen tests okay.

bei dem System hatte ich die raids dann aufgeloest, alles neu
konfiguriert nd sortiert,. Raids neu aufgebaut und Backup ueber
Netzwerk eingespeilt. (Gott sei Dank hatte ich das vor einiger zeit
dahingehend beschleunigt).

Deshalb hatte ich die 8TB Archive markert als "vertraegt sich nicht
mit 3ware" und dann eben in einem NAS eingesetzt.

Nachdem dies aber nun schon in 2 Systemen passiert ist schliesse ich
daraus, dass die 9750 nicht mit 'zu vielen' Archive 8TB gleichzeitig
umgehen koennen.
Eine feste Grenze kann da aber nicht sein, denn in dem Backupsystem
waren es nur geschaetzt 13 oder 14 Stueck, als das Problem auftragt,
bei dem Wirksystem laufen aktuell geschaetzt 20 Stueck.

Ich erhoffe mir mit dem unten erwaehnten Megaraid da ein stabileres
Verhalten und lasse es gerade mit 15 8TB Platten (meist Archiv-Typen,
aber auch eine HGST und 2 Stueck Seagate Desktop) ueber SAS-Expander
laufen/testen.
Naja, meine vorlaeufige Meinung zu dem Megaraid kann man unten ja
lesen. Bisher laeuft der Kontroller mit den Platten gut, aber nach ca.
3Tagen ausserbetriebnahme fand er auf einmal 3 der Raid-Platten nicht
wieder, meldte aber 3 Platten, als vorhanden aber unzugehoerend.
ich verstehe den irgendwie noch nicht und die Dokumentation ist leider
sehr veraltet.
Post by Frank Möller
Post by Shinji Ikari
... so dass ich einen Megaraid 9271 erworben habe
und damit experimentiere.
Leider sind die zwar technisch verwandt, aber bedienungstechnisch doch
sehr unerschiedlich zu den 3Wares. Die haetten den
Software/Firmwareprogrammierer von 3Ware uebernehmen sollen. Wer auch
immer bei dem Megaraid die Firmware+Software verbrochen hat, wurde
voin mir schon mehrfach in die Programmiererhoelle verwuenscht.
Ja, die Bedienung der LSI ist ziemlich "speziell". Allerdings sind
Controller dieser Art mit 8 Ports und 6G pro Port AFAIS praktisch nur noch
von LSI zu bekommen, zumindest in der Bucht.
Ich habe auch mit SAS12GB (kompatibel zu SATA6GB) keine Probleme.
Sollte ich mit dem megaraid nicht klar kommen, ueberlege ich mal einen
Adaptec auszuprobieren, aber der liegt neu bei ca. 8-900 Euro und fuer
einen evtl. schief gehenden Langzeitteist ist mir das aktuell doch
viel Geld.
Post by Frank Möller
Apropos: Wie kühlst Du diese Controller?
Mit einem 12cm Quirl, der langsam von oben auf die Slots faechelt.
Da dort auch die 10G Netzwerkkarten, eine aktiv zu kuehlende
grafikkarte und mindestens ein
LueftersteuerungsTransistorKuehlkoerper platziert sind, passt das ganz
gut.
Post by Frank Möller
Mein Intel RS2BL080 (faktisch ein LSI MegaRAID SAS 9260-8i) ist den
Hitzetod gestorben. Es gab einen 120er Lüfter mit 800 U/min in der
Seitenwand.
hat er den direkt angeblasen? Ja, schon die 3are 9750 udn auch die
Vorgaenger werden warm. Aber entsprechende Warungen ueber "Enviroment"
hatte ich damals in den Dokumentationen gelesen und auch nach ersten
tests entschieden: ohne direkt dafuier vorgesehenen Kuehler wird das
nix.
Post by Frank Möller
Der
übriggebliebene geringe Luftstrom war somit offensichtlich nicht
ausreichend.
Hast Du mal die Temperatur an der Stelle im laufenden Betrieb
gemessen? (Ich habe mir mal fuer etwas mehr als 10 Euro ein
Temperurmessgeraet mit laserstrahl geholt. Es mag zwar nicht sehr
praezise sen, aber um sowas abschaetzen zu koennen ohne sich die
Finger zu verbrennen ist es super. 8))
Post by Frank Möller
Zu dem 120er mit 800 Touren ist zwar nun noch ein weiterer 120er mit 1200
Touren dazugekommen, genau auf Höhe des Controllers, allerdings plane ich
trotzdem, eine 3er Batterie mit 40er Noctuas (3 x Noctua NF-A4x20 FLX)
direkt neben dem Controller-Kühlkörper zu platzieren.
Da meien gehaeuse 19Zoll 4HE sind, it sowieso ein gewisser Luftstrom
durch das Gehaeuse vorhanden (sonst wuerden die Platten auch nicht
signifikant unter 50Grad bleiben). In so fern habe ich schin etwas
Luftbewegung, aber fuer den Kontroller waere das zu wenig.
Post by Frank Möller
Das wird eine lustige
Nummer mit Gummistrapsen, aber lieber klotzen, als nochmal so einen schönen
IOPS-Brummer wie einen nun anrollenden 9270-8i sich selber grillen zu
lassen.
Ja, auch wenn sie guenstig zu haben sind, so billig sind sie auch
wieder nicht 8)
hast Du eine BBu angeschlossen?
Ich habe aktuell noch keien dran, befurchte aber da deshalb das System
bei dem 3taegigen Ausschalten irgendwas nicht mitbekommen und die 3
Platten vergessen hat. Die 3Ware 9750 und Vorgaenger sind da robuster.
Die habe einen ordentlichen Computer Shutdown mitbekommen und
problemlos danach (auch nach Tagen) gestartet.
Frank Möller
2017-07-25 16:20:22 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Doch leider habe ich mit den
9750 aktuell Probleme...
Was für welche sind das?
Ich habe sehr viele Platten dran haengen (soll ja bis 128 Stueck
verwalten koennen).
Also habe ich ueber SAS- Expander viele HDDBackplanes angebunden, die
ich nach Bedarf bestuecke.
So werden aus kleinen Raid5-Verbuenden im Laufe der Zeit groessere.
Aufgrund des sehr guten Preis-/Groessenverhaeltnisses verwende ich bei
Neueinsatz Seagate 8TB Archive-Platten.
So sind schon sehr viele zusammen gekommen.
Doch bemerkte ich bei einem Backupsystem, dass ich bei Erweiterung
eine solche Platte hinzu steckte (Computer war ausgeschaltet) und beim
Booten der Kontroller auf einmal einen Grossteil der Platten nicht
wieder fand oder unterscheiden konnte. Diverse LEDs der Schaechte
gigen gleichzeitig an, was beim Booten nicht ueblich ist.
Diverse dahingehende Tests mit anderen zugesteckten 8TB
Archive-Platten brachten den Kontroller ebenfalls durcheinander.
Auch die Platten in andere Einschuebe zu stecken brachte nichts.
[...]
Hm, ich weiß nur, daß die LSI sehr gerne ihre Platten "kennen" wollen, man
nach Umbauen/Umstecken von angeschlossenen Einzelplatten also neu
initialisieren muß. Bei Verwendung von SAS-Expandern könnte das vielleicht
ganz ähnlich oder auch noch schlimmer sein, daß der Controller solche
dynamischen Änderungen an den Volumes halt nicht mag und nicht gut genug
handhaben kann. Ist nur vermutet, da ich Expander nicht verwende, aber es
scheint mir plausibel zu sein.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
... so dass ich einen Megaraid 9271 erworben habe
und damit experimentiere.
Leider sind die zwar technisch verwandt, aber bedienungstechnisch doch
sehr unerschiedlich zu den 3Wares. Die haetten den
Software/Firmwareprogrammierer von 3Ware uebernehmen sollen. Wer auch
immer bei dem Megaraid die Firmware+Software verbrochen hat, wurde
voin mir schon mehrfach in die Programmiererhoelle verwuenscht.
Ja, die Bedienung der LSI ist ziemlich "speziell". Allerdings sind
Controller dieser Art mit 8 Ports und 6G pro Port AFAIS praktisch nur noch
von LSI zu bekommen, zumindest in der Bucht.
Ich habe auch mit SAS12GB (kompatibel zu SATA6GB) keine Probleme.
Sollte ich mit dem megaraid nicht klar kommen, ueberlege ich mal einen
Adaptec auszuprobieren, aber der liegt neu bei ca. 8-900 Euro und fuer
einen evtl. schief gehenden Langzeitteist ist mir das aktuell doch
viel Geld.
Neu wären diese Schätzchen außerhalb meiner Reichweite.
Post by Shinji Ikari
Post by Frank Möller
Apropos: Wie kühlst Du diese Controller?
Mit einem 12cm Quirl, der langsam von oben auf die Slots faechelt.
Bei 19"-Gehäusen ist das wohl dasselbe wie bei einem Tower von der Seite.
Post by Shinji Ikari
Da dort auch die 10G Netzwerkkarten, eine aktiv zu kuehlende
grafikkarte und mindestens ein
LueftersteuerungsTransistorKuehlkoerper platziert sind, passt das ganz
gut.
Post by Frank Möller
Mein Intel RS2BL080 (faktisch ein LSI MegaRAID SAS 9260-8i) ist den
Hitzetod gestorben. Es gab einen 120er Lüfter mit 800 U/min in der
Seitenwand.
hat er den direkt angeblasen?
Jein. Der Lüfter war zwar auf der Höhe des Controllers, hatte aber ein
Lüftergitter davor. Und dann waren noch ca. 5 cm Luft bis zum Controller.
Das war wohl zuwenig Luftstrom und auch nicht zielgerichtet genug.

_Daß_ es ein Hitzetod des Controllers war, hat man aber deutlich gerochen
und auch gesehen. Fehlender Kontakt des Kühlkörpers zum Chip war es
hingegen nicht, denn der Kühlkörper war bis zuletzt sehr heiß.
Post by Shinji Ikari
Ja, schon die 3are 9750 udn auch die
Vorgaenger werden warm. Aber entsprechende Warungen ueber "Enviroment"
hatte ich damals in den Dokumentationen gelesen und auch nach ersten
tests entschieden: ohne direkt dafuier vorgesehenen Kuehler wird das
nix.
Ich hab jetzt wie gesagt einen zusätzlichen 120er, der auch mit 1200 statt
800 U/min dreht. Vor allem aber kommt zusätzlich noch die 3er Batterie von
3 40er Noctuas direkt neben den Controller. Da kommt dann der Luftstrom für
den Controller stärker und auch zielgenau ausgerichtet und aus direkter
Nähe, das sollte dann in Kombination (hoffentlich) reichen.
Post by Shinji Ikari
Post by Frank Möller
Der
übriggebliebene geringe Luftstrom war somit offensichtlich nicht
ausreichend.
Hast Du mal die Temperatur an der Stelle im laufenden Betrieb
gemessen?
Nein, nur Fingerprobe. Ich dachte halt, es sollte mit dem 120er Lüfter mit
800 Touren reichen, denn laut Spec durfte der Controller bis 60 °C
Umgebungstemp. im Betrieb haben, die aber auch bei den Hitzewellen im
Hochsommer im Gehäuse nie erreicht wurden.
Post by Shinji Ikari
Post by Frank Möller
Zu dem 120er mit 800 Touren ist zwar nun noch ein weiterer 120er mit 1200
Touren dazugekommen, genau auf Höhe des Controllers, allerdings plane ich
trotzdem, eine 3er Batterie mit 40er Noctuas (3 x Noctua NF-A4x20 FLX)
direkt neben dem Controller-Kühlkörper zu platzieren.
Da meien gehaeuse 19Zoll 4HE sind, it sowieso ein gewisser Luftstrom
durch das Gehaeuse vorhanden (sonst wuerden die Platten auch nicht
signifikant unter 50Grad bleiben). In so fern habe ich schin etwas
Luftbewegung, aber fuer den Kontroller waere das zu wenig.
Jep, der Luftstrom von den normalen Gehäuselüftern reicht da nicht. Meine
Platten und auch die SSDs haben alle eigenen Luftstrom von entsprechenden
Noctua-Lüftern.
Post by Shinji Ikari
Post by Frank Möller
Das wird eine lustige
Nummer mit Gummistrapsen, aber lieber klotzen, als nochmal so einen schönen
IOPS-Brummer wie einen nun anrollenden 9270-8i sich selber grillen zu
lassen.
Ja, auch wenn sie guenstig zu haben sind, so billig sind sie auch
wieder nicht 8)
Eben. Geld ist eine endliche Entität. ;->
Post by Shinji Ikari
hast Du eine BBu angeschlossen?
Nein. So selten, wie Stromausfälle hier sind, spare ich mir das Geld dafür,
zumal die ja altern und nach gewisser Zeit erneuert werden müssen.

Auch habe ich nur einzelne Platten ohne Expander an den Ports; die wurden
und werden beim Herunterfahren immer sauber geflusht, das paßt so weit.
Post by Shinji Ikari
Ich habe aktuell noch keien dran, befurchte aber da deshalb das System
bei dem 3taegigen Ausschalten irgendwas nicht mitbekommen und die 3
Platten vergessen hat. Die 3Ware 9750 und Vorgaenger sind da robuster.
Die habe einen ordentlichen Computer Shutdown mitbekommen und
problemlos danach (auch nach Tagen) gestartet.
Mit solchen Expandern wie bei Dir habe ich keine Erfahrung; ich könnte mir
aber vorstellen, daß da ohne BBU vielleicht wirklich nicht immer alles so
rundläuft wie gewünscht.

--
Shinji Ikari
2017-07-26 00:52:27 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Post by Shinji Ikari
Diverse dahingehende Tests mit anderen zugesteckten 8TB
Archive-Platten brachten den Kontroller ebenfalls durcheinander.
Auch die Platten in andere Einschuebe zu stecken brachte nichts.
[...]
Hm, ich weiß nur, daß die LSI sehr gerne ihre Platten "kennen" wollen,
Ja, das ist mir bei dem LSI Megaraid 9271-8i auch aufgefallen. Die
3Ware 9750-8i sind dahingehend unempfindlich. Bei anderen Plattentypen
habe ich mehrere Raids mit bis zu 14 Platten an den 9750 haengen und
die sind im Laufe der Jahre immer wiederum eine Platte bis dahin
gewachsen. Die Kapazitaetserweiterungen haben die jeweils neuen
Platten problemlos eingebunden udn finden sie auch problemlos wieder,
wenn sie an dem Krontroller ihre Anschlussposition veraendern.

Der Megaraid scheint da sehr viel empfindlicher zu sein 8((
Post by Frank Möller
Post by Shinji Ikari
Ich habe auch mit SAS12GB (kompatibel zu SATA6GB) keine Probleme.
Sollte ich mit dem megaraid nicht klar kommen, ueberlege ich mal einen
Adaptec auszuprobieren, aber der liegt neu bei ca. 8-900 Euro und fuer
einen evtl. schief gehenden Langzeitteist ist mir das aktuell doch
viel Geld.
Neu wären diese Schätzchen außerhalb meiner Reichweite.
Ich wuede sie auch gerne guenstiger gebraucht kaufen,. aber bei 3ware
bin ich mit den 9750-8I am Ende angekommen und habe eben das
beschreibne problem gefunden, welches ich umgehen will, bei Megaraid
stoesst mich die Software (Firmware+Windowssoftware) nich sehr stark
ab und danach scheine ich wohl bei Adpatech (oder deren
Nachfolgefirma) eine der wenigen alternativen zu haben.
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Apropos: Wie kühlst Du diese Controller?
Mit einem 12cm Quirl, der langsam von oben auf die Slots faechelt.
Bei 19"-Gehäusen ist das wohl dasselbe wie bei einem Tower von der Seite.
Bei mir in den 19Zoll Gehaeusen ist es direkt blasend auf den
Kuehlkoperper der Steckkarte(n)
Post by Frank Möller
Post by Shinji Ikari
hat er den direkt angeblasen?
Jein. Der Lüfter war zwar auf der Höhe des Controllers, hatte aber ein
Lüftergitter davor. Und dann waren noch ca. 5 cm Luft bis zum Controller.
Das war wohl zuwenig Luftstrom und auch nicht zielgerichtet genug.
Du hast also die Luft auf die karte draufgepresst (gestaut) und nicht
laengs der Karte abgleiten lassen?
Post by Frank Möller
Post by Shinji Ikari
Ja, auch wenn sie guenstig zu haben sind, so billig sind sie auch
wieder nicht 8)
Eben. Geld ist eine endliche Entität. ;->
Ja, und wenn ich sehe, dass jede 8TB Platte aktuell mit 210 Euro zu
Buche schlaegt sind die Kontroller zwar nicht zuuu teuer, aber billig
snd sie auch nicht 8)
Post by Frank Möller
Post by Shinji Ikari
Ich habe aktuell noch keien dran, befurchte aber da deshalb das System
bei dem 3taegigen Ausschalten irgendwas nicht mitbekommen und die 3
Platten vergessen hat. Die 3Ware 9750 und Vorgaenger sind da robuster.
Die habe einen ordentlichen Computer Shutdown mitbekommen und
problemlos danach (auch nach Tagen) gestartet.
Mit solchen Expandern wie bei Dir habe ich keine Erfahrung; ich könnte mir
aber vorstellen, daß da ohne BBU vielleicht wirklich nicht immer alles so
rundläuft wie gewünscht.
Wie schon erwaehnt: mit den 3Wares klappt es dahingehend problemlos.
Mit dem Megaraid war das Raid degraded, weil 3 Platten weg waren.
An den Expandern liegt es nicht.
Abgesehen davon wuerde ich ohne Expander nicht auskommen, da ich eben
mehr als 8, oder auch 16 HDDs nutzen will.
Beim HauptSystem hat aktuell 32HDDs und 5 SSD drin.
Vor den 9750-8i mit SAS Expandern habe ich mit insgesamt 3 STueck
3Ware 9650 in einem System das bewerkstelligt, aber da stiess ich auch
bald an Grenzen, die mich stoerten.
Frank Möller
2017-07-26 12:03:36 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Diverse dahingehende Tests mit anderen zugesteckten 8TB
Archive-Platten brachten den Kontroller ebenfalls durcheinander.
Auch die Platten in andere Einschuebe zu stecken brachte nichts.
[...]
Hm, ich weiß nur, daß die LSI sehr gerne ihre Platten "kennen" wollen,
Ja, das ist mir bei dem LSI Megaraid 9271-8i auch aufgefallen. Die
3Ware 9750-8i sind dahingehend unempfindlich. Bei anderen Plattentypen
habe ich mehrere Raids mit bis zu 14 Platten an den 9750 haengen und
die sind im Laufe der Jahre immer wiederum eine Platte bis dahin
gewachsen. Die Kapazitaetserweiterungen haben die jeweils neuen
Platten problemlos eingebunden udn finden sie auch problemlos wieder,
wenn sie an dem Krontroller ihre Anschlussposition veraendern.
Der Megaraid scheint da sehr viel empfindlicher zu sein 8((
Es ist zwar lästig, aber mit Backups schon handhabbar. Ist alles erst mal
eingerichtet, läuft's dann schon. Entschädigt wird man halt mit einer
"seidigen" Performance, die man sonst eben nicht bekommt.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Ich habe auch mit SAS12GB (kompatibel zu SATA6GB) keine Probleme.
Sollte ich mit dem megaraid nicht klar kommen, ueberlege ich mal einen
Adaptec auszuprobieren, aber der liegt neu bei ca. 8-900 Euro und fuer
einen evtl. schief gehenden Langzeitteist ist mir das aktuell doch
viel Geld.
Neu wären diese Schätzchen außerhalb meiner Reichweite.
Ich wuede sie auch gerne guenstiger gebraucht kaufen,. aber bei 3ware
bin ich mit den 9750-8I am Ende angekommen und habe eben das
beschreibne problem gefunden, welches ich umgehen will, bei Megaraid
stoesst mich die Software (Firmware+Windowssoftware) nich sehr stark
ab und danach scheine ich wohl bei Adpatech (oder deren
Nachfolgefirma) eine der wenigen alternativen zu haben.
Na ja, wenn Du es nicht (siehe unten) langfristig vordefinieren willst,
mußt Du wohl wirklich nach entsprechenden und vielleicht auch teureren
Controllern suchen, die mit den gewünschten dynamischen Größenänderungen
umgehen können.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
hat er den direkt angeblasen?
Jein. Der Lüfter war zwar auf der Höhe des Controllers, hatte aber ein
Lüftergitter davor. Und dann waren noch ca. 5 cm Luft bis zum Controller.
Das war wohl zuwenig Luftstrom und auch nicht zielgerichtet genug.
Du hast also die Luft auf die karte draufgepresst (gestaut) und nicht
laengs der Karte abgleiten lassen?
Nö. Die Luft geht schon in die Lücken zwischen den Steckkarten. Die
Controller-Karte ist nicht die einzige. Nur haben die 800 U/min des Lüftres
keine Turbinengewalt und ein vormontiertes Lüftergitter reduziert halt
zusätzlich. Der verbleibende Luftstrom ist also eher diffus fächerartig und
nur schwach. Dann eben auch noch Abstand zwischen Lüfter und Steckkarten,
und schon kommt nur noch ein recht schwaches Lüftlein dort an, was dann
kaum noch in die Schlitze zwischen den Steckkarten vordringt.

Ich dachte halt fälschlicherweise, es würde dennoch reichen, da der
Controller ja bis 60 °C Umgebungstemp. haben darf. Nun weiß ich's besser
und sorge für mehr und für besser zielgerichteten Luftstrom auf den LSI und
in die Lücken zwischen den Steckkarten hinein.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Ja, auch wenn sie guenstig zu haben sind, so billig sind sie auch
wieder nicht 8)
Eben. Geld ist eine endliche Entität. ;->
Ja, und wenn ich sehe, dass jede 8TB Platte aktuell mit 210 Euro zu
Buche schlaegt sind die Kontroller zwar nicht zuuu teuer, aber billig
snd sie auch nicht 8)
Tja, und dann sollte man vielleicht auch Ersatzplatten und -Controller
vorhalten. Zumindest bei den Platten mache ich das auch bei meinen
vergleichsweise mickrigen Datenmengen, da die WD VelociRaptoren so langsam
aussterben.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Ich habe aktuell noch keien dran, befurchte aber da deshalb das System
bei dem 3taegigen Ausschalten irgendwas nicht mitbekommen und die 3
Platten vergessen hat. Die 3Ware 9750 und Vorgaenger sind da robuster.
Die habe einen ordentlichen Computer Shutdown mitbekommen und
problemlos danach (auch nach Tagen) gestartet.
Mit solchen Expandern wie bei Dir habe ich keine Erfahrung; ich könnte mir
aber vorstellen, daß da ohne BBU vielleicht wirklich nicht immer alles so
rundläuft wie gewünscht.
Wie schon erwaehnt: mit den 3Wares klappt es dahingehend problemlos.
Mit dem Megaraid war das Raid degraded, weil 3 Platten weg waren.
An den Expandern liegt es nicht.
Abgesehen davon wuerde ich ohne Expander nicht auskommen, da ich eben
mehr als 8, oder auch 16 HDDs nutzen will.
Beim HauptSystem hat aktuell 32HDDs und 5 SSD drin.
Vor den 9750-8i mit SAS Expandern habe ich mit insgesamt 3 STueck
3Ware 9650 in einem System das bewerkstelligt, aber da stiess ich auch
bald an Grenzen, die mich stoerten.
Einen Tip kann ich da nicht wirklich geben, außer vielleicht die
Kapazitäten/Plattenanzahl möglichst langfristig zu planen und gleich von
vornherein_sehr_ großzügig zu dimensionieren, wenn man schon mit solchen
Datenmengen in der Größenordnung eines mittleren Rechenzentrums jongliert.
;->

Dadurch sind dann nur selten Anpassungen nötig und diese sollte man dann
wohl auch gleich gezielt am Controller bekanntmachen/einrichten, bevor er
sich wieder beim Booten verschluckt.

Wenn man im Endeffekt dann vielleicht nur alle 5 Jahre dem Controller ein
RAID neu beibiegen und wieder -zig TB aus dem Backup zurückspielen muß,
kann man das ja eher planvoll handhaben, als wenn man alle paar
Wochen/Monate irgendwelche Zicken und Standzeiten hat.

Die Allianz hat übrigens in der Nähe von Garmisch weitverteilte Systeme
unterirdisch in den Bergen, wo die Daten _redundant_ auf ca. 2 Dutzend
_verschiedenen_ Mainframe- und Clustersystemen gehalten werden. Jedes
System hat verschiedene Hardware und verschiedene Topologien. Fällt eines
aus, haben sie noch 23 andere Systeme, von denen die Daten wiedergeholt
werden können. _Das_ ist echte Redundanz. :-))

--
Shinji Ikari
2017-07-26 21:58:59 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Eben. Geld ist eine endliche Entität. ;->
Ja, und wenn ich sehe, dass jede 8TB Platte aktuell mit 210 Euro zu
Buche schlaegt sind die Kontroller zwar nicht zuuu teuer, aber billig
snd sie auch nicht 8)
Tja, und dann sollte man vielleicht auch Ersatzplatten und -Controller
vorhalten.
Ja.
Ein Coldspare 9750-8i liegt im Regal,
SAS-Ersatzkabel liegen im Regal,
(andere) SAS-Expanderkarten liegen im Regal,
19Zoll-Ersatzgehaeuse wuerde 'im Regal' liegen, wenn ich damit nicht
gerade die Megaraid-tests machen wuerde,
Ersatznetzteil, Motherboard+CPU+RAM laegen normalerweise Coldspare
herum, wenn sie nicht auch gerade am Megaraidtest teilnehmen wuerden
und mindestens 1 HDD jeder verwendeten Kapazitaet (oder hoeher) liegt
bereit,fuer den Notfall.
Wobei ich eben 13 der 8TB HDDs aktuell fuer den Megaraidtest nutze.
Sollten die Wirk-/Backupsysteme bei mir nun in diesem Moment Probleme
bekommen, wird der Megaraidtest abgebrochen und ich habe da alles
schoen vorgewaermt um es in die Wirk-/Backupsysteme reinzustecken. 8)
Ja, ich bin gebranntes Kind: gerade an Wochenenden oder Feiertagen
treten gerne Probleme auf, die ich dann doch gerne schnell geloest
habe. Deswegen nutze ich Wirksysteme, Backupsysteme und fuer den
Notfall ein Rudel kompatible Hardware. Selbst die Software liegt
gedoppelt mit anderen Lizenznummern bereit. Man weiss ja nie 8))
Post by Frank Möller
Post by Shinji Ikari
Beim HauptSystem hat aktuell 32HDDs und 5 SSD drin.
Einen Tip kann ich da nicht wirklich geben, außer vielleicht die
Kapazitäten/Plattenanzahl möglichst langfristig zu planen
Deshalb war ich ja froh, als ich die Planung fuer den 9750-8i mit SAS
in die Realitaet umgesetzt hatte.
Urspruenglich hatte ich Raids aus kleinen HDD-Kapazitaeten zusammen
gesetzt (250GB, 2TB, 3TB, 4TB). Diese wurden/werden nun Stueck fuer
Stueck auf 8TB Platten umgesetzt (um eben mehr Platz und weniger HDDs
zu haben = Stromersparnis) und diese Konstellation mit 19" Gehaeusen
und SAS ermoeglicht mir aktuell max. 51HDDs und 6 SSD mechanisch
ausreichend luftig in je einem System unter zu bringen. Diverse der
Backplaneschaechte sind aktuell noch frei.
Und im Zuge der Erweiterungen (einfach neue HDD reinsteken, Software
einstellen, etwas warten und fertig) ist mir eben genau dieses Problem
mit 'zu vielen' 8TB Archive und den 3Ware 9750-8i aufgefallen. 8(

Eigentlich dachte ich, das sich mit dem Hardwareaufbau nun fuer die
naechsten dutzend Jahre gewapnet waere (sofern ich nicht updaten
wolle). Aber nun beisst mich ein solch unvorhergesehenes Problem in
den Hintern. 8(
Achja, ich hatte uebrigens auch Seagate angeschrieben, weil ich
vermute, dass das Problem nicht allein in den 3Ware liegt, sondern
diese bei dem Probkem die Platten zu unterscheiden moeglicherweise in
der Seagate-Firmware auf zu aehnlche/gleiche Strings/Nummern/IDs
stossen. Seaagte hat pauschal nur geantwortet: es gibt keien andere
Firmware. Fallback auf aeltere firmwaere sei nicht moeglich. Und das
wars. 8(

Aktuell (in Wirk- und Backupsystemen) umgehe ich das Problem der
zusaetzlichen Archiobe an den 3Ware, indem ich die ebenfalls im Preis
gefallenen alernativen HDDs dazu stecke.
Zur Zeit werden eine HGST 8TB NAS Platte und eine Toshiba 8TB
zusaetzlich eingebunden. Dennoch teste ich weiter mal mit dem Megaraid
ob ich da auch auf entsprechende Probleme stosse oder mit der Software
warm genug werde um es in den Wirkbetrieb zu ueberfuehren.
Post by Frank Möller
Dadurch sind dann nur selten Anpassungen nötig
.. bis man auf einen solchen Bug/Problem stoesst, wie ich.
Ich hatte das System (als ist das esrte dieser Art testete) im (fast)
Vollausbau mit wirklich 51HDDs (alles moegliche drin, von 400GB bis
3TB HDDs waren alle Kapazitzeten drin. alle meine alten und Ersatz-
HDDs) und 2 SSD mehrere Wochen getestet: keine Probleme.
Und nun faellt das Problem auf, dass ab einer unspezifischen Menge von
diesen Plattentypen an dem Kontrollertyp die Platten nicht mehr sauber
voneinander getrennt erkannt werden koennen. 8(
Soviel Geld hatte ich damals nicht, dass ich es zu dem Zeitpunkt mit
51 der Archive-Platten haette testen koennen Naja. damals waren die
Archive-Platten auch noch gar nicht auf dem Markt 8))
Post by Frank Möller
Wenn man im Endeffekt dann vielleicht nur alle 5 Jahre dem Controller ein
RAID neu beibiegen und wieder -zig TB aus dem Backup zurückspielen muß,
kann man das ja eher planvoll handhaben, als wenn man alle paar
Wochen/Monate irgendwelche Zicken und Standzeiten hat.
Naja, eigentlich muss ich eher jedes Quartal eien neue HDD dazu
stecken nd eien Online-Kapazitaetserweiterung starten. Und wenn das
in den Wirksystemen gelaufen ist, muessen die Backups logischerweise
auch wachsen. Also jahrelanger Stillstand ist bei aktuellen
Plattenkapaziotaeten nicht drin.
Post by Frank Möller
Die Allianz hat übrigens in der Nähe von Garmisch weitverteilte Systeme
unterirdisch in den Bergen, wo die Daten _redundant_ auf ca. 2 Dutzend
_verschiedenen_ Mainframe- und Clustersystemen gehalten werden.
Ja, die haben ja auch sehr viel mehr Geld und wenn die Daten
verlieren, verlieren dei schlkimmstenfalls ihre Einnahmen. Dann sollte
man das sowieso noch groesser aufziehen. Mir reicht es zu jedem
Hauptsystem ein vergleichbar aufgebautes/leistungsfaehiges
Backupsystem zu haben, die ich mit wenige Aufwand manuell wechslen
kann. Solte ein Hauptsystem ausfallen, kann ich mit wenig Datenverlust
und geschaetzt ein paar Stunden das zugehoerende Backupsystem
aktiieren und darauf zugreifen. Solange schlafen die Backupsysteme
getrennt vom Strom (um auch Standbystrom der Systeme auszuschliessen).
Frank Möller
2017-08-03 09:51:58 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Eben. Geld ist eine endliche Entität. ;->
Ja, und wenn ich sehe, dass jede 8TB Platte aktuell mit 210 Euro zu
Buche schlaegt sind die Kontroller zwar nicht zuuu teuer, aber billig
snd sie auch nicht 8)
Tja, und dann sollte man vielleicht auch Ersatzplatten und -Controller
vorhalten.
Ja.
Ein Coldspare 9750-8i liegt im Regal,
SAS-Ersatzkabel liegen im Regal,
(andere) SAS-Expanderkarten liegen im Regal,
19Zoll-Ersatzgehaeuse wuerde 'im Regal' liegen, wenn ich damit nicht
gerade die Megaraid-tests machen wuerde,
Ersatznetzteil, Motherboard+CPU+RAM laegen normalerweise Coldspare
herum, wenn sie nicht auch gerade am Megaraidtest teilnehmen wuerden
und mindestens 1 HDD jeder verwendeten Kapazitaet (oder hoeher) liegt
bereit,fuer den Notfall.
Wobei ich eben 13 der 8TB HDDs aktuell fuer den Megaraidtest nutze.
Sollten die Wirk-/Backupsysteme bei mir nun in diesem Moment Probleme
bekommen, wird der Megaraidtest abgebrochen und ich habe da alles
schoen vorgewaermt um es in die Wirk-/Backupsysteme reinzustecken. 8)
Ja, ich bin gebranntes Kind: gerade an Wochenenden oder Feiertagen
treten gerne Probleme auf, die ich dann doch gerne schnell geloest
habe. Deswegen nutze ich Wirksysteme, Backupsysteme und fuer den
Notfall ein Rudel kompatible Hardware. Selbst die Software liegt
gedoppelt mit anderen Lizenznummern bereit. Man weiss ja nie 8))
Das ist bei Deinem Rechenzentrum auch nicht verkehrt. Ich habe nur ein paar
VelociRaptoren (300 GB und 1 TB) und noch eine 500er Hitachi in Reserve,
das muß reichen. Der Rest müßte halt bei Bedarf beschafft werden.
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Beim HauptSystem hat aktuell 32HDDs und 5 SSD drin.
Einen Tip kann ich da nicht wirklich geben, außer vielleicht die
Kapazitäten/Plattenanzahl möglichst langfristig zu planen
Deshalb war ich ja froh, als ich die Planung fuer den 9750-8i mit SAS
in die Realitaet umgesetzt hatte.
Urspruenglich hatte ich Raids aus kleinen HDD-Kapazitaeten zusammen
gesetzt (250GB, 2TB, 3TB, 4TB). Diese wurden/werden nun Stueck fuer
Stueck auf 8TB Platten umgesetzt (um eben mehr Platz und weniger HDDs
zu haben = Stromersparnis) und diese Konstellation mit 19" Gehaeusen
und SAS ermoeglicht mir aktuell max. 51HDDs und 6 SSD mechanisch
ausreichend luftig in je einem System unter zu bringen. Diverse der
Backplaneschaechte sind aktuell noch frei.
Und im Zuge der Erweiterungen (einfach neue HDD reinsteken, Software
einstellen, etwas warten und fertig) ist mir eben genau dieses Problem
mit 'zu vielen' 8TB Archive und den 3Ware 9750-8i aufgefallen. 8(
Eigentlich dachte ich, das sich mit dem Hardwareaufbau nun fuer die
naechsten dutzend Jahre gewapnet waere (sofern ich nicht updaten
wolle). Aber nun beisst mich ein solch unvorhergesehenes Problem in
den Hintern. 8(
Tja.
Post by Shinji Ikari
Achja, ich hatte uebrigens auch Seagate angeschrieben, weil ich
vermute, dass das Problem nicht allein in den 3Ware liegt, sondern
diese bei dem Probkem die Platten zu unterscheiden moeglicherweise in
der Seagate-Firmware auf zu aehnlche/gleiche Strings/Nummern/IDs
stossen. Seaagte hat pauschal nur geantwortet: es gibt keien andere
Firmware. Fallback auf aeltere firmwaere sei nicht moeglich. Und das
wars. 8(
Aktuell (in Wirk- und Backupsystemen) umgehe ich das Problem der
zusaetzlichen Archiobe an den 3Ware, indem ich die ebenfalls im Preis
gefallenen alernativen HDDs dazu stecke.
Zur Zeit werden eine HGST 8TB NAS Platte und eine Toshiba 8TB
zusaetzlich eingebunden. Dennoch teste ich weiter mal mit dem Megaraid
ob ich da auch auf entsprechende Probleme stosse oder mit der Software
warm genug werde um es in den Wirkbetrieb zu ueberfuehren.
Ich finde es ja schon beachtlich, daß der Controller überhaupt so viele
Platten, die hinter Expandern hängen, behandeln kann. Wie gesagt, ich würde
wohl die RAIDs so aufbauen, daß jahrelang nix dran zu ändern ist.
Post by Shinji Ikari
Post by Frank Möller
Dadurch sind dann nur selten Anpassungen nötig
.. bis man auf einen solchen Bug/Problem stoesst, wie ich.
Du willst ja auch immer kurzfristig erweitern.
Post by Shinji Ikari
Ich hatte das System (als ist das esrte dieser Art testete) im (fast)
Vollausbau mit wirklich 51HDDs (alles moegliche drin, von 400GB bis
3TB HDDs waren alle Kapazitzeten drin. alle meine alten und Ersatz-
HDDs) und 2 SSD mehrere Wochen getestet: keine Probleme.
Und nun faellt das Problem auf, dass ab einer unspezifischen Menge von
diesen Plattentypen an dem Kontrollertyp die Platten nicht mehr sauber
voneinander getrennt erkannt werden koennen. 8(
Soviel Geld hatte ich damals nicht, dass ich es zu dem Zeitpunkt mit
51 der Archive-Platten haette testen koennen Naja. damals waren die
Archive-Platten auch noch gar nicht auf dem Markt 8))
Post by Frank Möller
Wenn man im Endeffekt dann vielleicht nur alle 5 Jahre dem Controller ein
RAID neu beibiegen und wieder -zig TB aus dem Backup zurückspielen muß,
kann man das ja eher planvoll handhaben, als wenn man alle paar
Wochen/Monate irgendwelche Zicken und Standzeiten hat.
Naja, eigentlich muss ich eher jedes Quartal eien neue HDD dazu
stecken nd eien Online-Kapazitaetserweiterung starten. Und wenn das
in den Wirksystemen gelaufen ist, muessen die Backups logischerweise
auch wachsen. Also jahrelanger Stillstand ist bei aktuellen
Plattenkapaziotaeten nicht drin.
Du gehst halt zur Bank, nimmst eine Hypothek auf Dein Rechenzentrum und
einen Kredit auf Deine Dose auf, kaufst 500 8-TB-Platten, baust damit Deine
RAIDs für "zeitlose" Benutzung neu auf - und hast dann doch Ruhe. ;->
Post by Shinji Ikari
Post by Frank Möller
Die Allianz hat übrigens in der Nähe von Garmisch weitverteilte Systeme
unterirdisch in den Bergen, wo die Daten _redundant_ auf ca. 2 Dutzend
_verschiedenen_ Mainframe- und Clustersystemen gehalten werden.
Ja, die haben ja auch sehr viel mehr Geld und wenn die Daten
verlieren, verlieren dei schlkimmstenfalls ihre Einnahmen.
Die könnten dann einfach zusperren, fertig.

--
Shinji Ikari
2017-08-03 10:16:42 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Ich finde es ja schon beachtlich, daß der Controller überhaupt so viele
Platten, die hinter Expandern hängen, behandeln kann.
Ja, ich musste ich auch erst in diese SAS-technik etwas reinfuchsen
und war dann begeistert, dass da gerne HDD Mengen von ca. 64, 128 oder
gar 256 moeglich gemacht werden. Deshalb der Umbau von mehreren
SATA-Kontrollern in einem Computergehaeuse zu einem einzigen
SAS-Kontroller, der ggf. sogar mehrere Gehaeuse versorgen kann.
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Dadurch sind dann nur selten Anpassungen nötig
.. bis man auf einen solchen Bug/Problem stoesst, wie ich.
Du willst ja auch immer kurzfristig erweitern.
Naja, als ich das System 2015 aufgebaut habe, waren 8TB HDDs nicht
wirklich in Breiter Menge und zu den Preisen verfuegbar.
Auch haette die aktuell genutze Kapazitaet mich aufgrund der preise
damals auf einen Schlag sehr viel mehr Geld gekostet als eben jetzt
mit den Schritten ueber Stueckweisen Austausch und die
Kapazitaetserweiterung (die aber auch bei den Mengen und Platten schon
mal so 3 Wochen dauert, bis alles erweitert ist).
Post by Frank Möller
Post by Shinji Ikari
Naja, eigentlich muss ich eher jedes Quartal eien neue HDD dazu
stecken nd eien Online-Kapazitaetserweiterung starten. Und wenn das
in den Wirksystemen gelaufen ist, muessen die Backups logischerweise
auch wachsen. Also jahrelanger Stillstand ist bei aktuellen
Plattenkapaziotaeten nicht drin.
Du gehst halt zur Bank, nimmst eine Hypothek auf Dein Rechenzentrum und
einen Kredit auf Deine Dose auf, kaufst 500 8-TB-Platten, baust damit Deine
RAIDs für "zeitlose" Benutzung neu auf - und hast dann doch Ruhe. ;->
Und dann merke ich, dass beim Einstecken der 18ten Platte der
Kontroller da das beschrieben problem zeigt. Dann habe ich 482 Platten
fuer den Muell oder Gebrauchtverkauf. 8)
Frank Möller
2017-08-03 10:41:10 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Frank Möller
Ich finde es ja schon beachtlich, daß der Controller überhaupt so viele
Platten, die hinter Expandern hängen, behandeln kann.
Ja, ich musste ich auch erst in diese SAS-technik etwas reinfuchsen
und war dann begeistert, dass da gerne HDD Mengen von ca. 64, 128 oder
gar 256 moeglich gemacht werden. Deshalb der Umbau von mehreren
SATA-Kontrollern in einem Computergehaeuse zu einem einzigen
SAS-Kontroller, der ggf. sogar mehrere Gehaeuse versorgen kann.
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Dadurch sind dann nur selten Anpassungen nötig
.. bis man auf einen solchen Bug/Problem stoesst, wie ich.
Du willst ja auch immer kurzfristig erweitern.
Naja, als ich das System 2015 aufgebaut habe, waren 8TB HDDs nicht
wirklich in Breiter Menge und zu den Preisen verfuegbar.
Auch haette die aktuell genutze Kapazitaet mich aufgrund der preise
damals auf einen Schlag sehr viel mehr Geld gekostet als eben jetzt
mit den Schritten ueber Stueckweisen Austausch und die
Kapazitaetserweiterung (die aber auch bei den Mengen und Platten schon
mal so 3 Wochen dauert, bis alles erweitert ist).
Post by Frank Möller
Post by Shinji Ikari
Naja, eigentlich muss ich eher jedes Quartal eien neue HDD dazu
stecken nd eien Online-Kapazitaetserweiterung starten. Und wenn das
in den Wirksystemen gelaufen ist, muessen die Backups logischerweise
auch wachsen. Also jahrelanger Stillstand ist bei aktuellen
Plattenkapaziotaeten nicht drin.
Du gehst halt zur Bank, nimmst eine Hypothek auf Dein Rechenzentrum und
einen Kredit auf Deine Dose auf, kaufst 500 8-TB-Platten, baust damit Deine
RAIDs für "zeitlose" Benutzung neu auf - und hast dann doch Ruhe. ;->
Und dann merke ich, dass beim Einstecken der 18ten Platte der
Kontroller da das beschrieben problem zeigt.
Du erweiterst halt nicht zur Laufzeit, sondern steckst die alle vor dem
Einschalten an und sagst ihm dann nach dem Einschalten, er soll mal das
RAID erkennen und "initialisieren". Geht das nicht? Bei Einzelplatten ohne
Expander geht das.
Post by Shinji Ikari
Dann habe ich 482 Platten fuer den Muell oder Gebrauchtverkauf. 8)
Nö, dann nimmst Du einfach noch einen Kredit auf die Katze oder die
Goldfische auf - und kaufst ausreichend verschiedene Controller, bis es
halt doch paßt. ;->

--
Shinji Ikari
2017-08-04 08:06:40 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Du gehst halt zur Bank, nimmst eine Hypothek auf Dein Rechenzentrum und
einen Kredit auf Deine Dose auf, kaufst 500 8-TB-Platten, baust damit Deine
RAIDs für "zeitlose" Benutzung neu auf - und hast dann doch Ruhe. ;->
Und dann merke ich, dass beim Einstecken der 18ten Platte der
Kontroller da das beschrieben problem zeigt.
Du erweiterst halt nicht zur Laufzeit, sondern steckst die alle vor dem
Einschalten an
... wie ich es ja bei dem backupsystem gemacht habe, als ich eben ein
Raid bestehend aus 3Tb Plattengegen ein raid bestehend aus 3Tb Platten
austauschen wollte und dann feststellte, dass der Kontroller beim
Einschalten anscheiennd die 8TB-Platten nicht mehr auseinander halten
konnte.
Post by Frank Möller
und sagst ihm dann nach dem Einschalten, er soll mal das
RAID erkennen und "initialisieren".
Wenn er beim Erkennen die Platten alle unterscheiden koennte, kann man
bei den 3Ware ins 'BIOS' und dort die erkannten Platten anwaehlen und
als Raid definieren.
Aber bis dahin kommt der Kontroller ja nicht. Er kann die Platten
nicht unterscheiden und nach einer hohen defaulttime bricht er ab.
Wenn ich dann das 3Ware-BIOS betrete sehe ich nur einen Teil der
Platten. Eine danach vom BIOS aus zu startende Erkennung zu forcieren
ist nicht vorgesehen.

Spaeter versuche mit HotPlugging bleiben dann bei einem spaeteren
System Coldstart stecken. Und die Systeem dann Permanent laufen zu
lassen bis zur verschrottung ist eher unrealistisch 8))
Post by Frank Möller
Post by Shinji Ikari
Dann habe ich 482 Platten fuer den Muell oder Gebrauchtverkauf. 8)
Nö, dann nimmst Du einfach noch einen Kredit auf die Katze oder die
Goldfische auf - und kaufst ausreichend verschiedene Controller, bis es
halt doch paßt. ;->
An der Stelle bin ich ja jetzt (nur ohne Kredite). nachd en
urspruenglichen 3ware teste ich ja gerade den Megaraid mit 3 Platten.
Wenn das auch nichts wird, kommt ggf, ein Adaptec ran.
Frank Möller
2017-08-05 08:20:35 UTC
Permalink
Raw Message
Post by Shinji Ikari
Post by Frank Möller
Post by Shinji Ikari
Post by Frank Möller
Du gehst halt zur Bank, nimmst eine Hypothek auf Dein Rechenzentrum und
einen Kredit auf Deine Dose auf, kaufst 500 8-TB-Platten, baust damit Deine
RAIDs für "zeitlose" Benutzung neu auf - und hast dann doch Ruhe. ;->
Und dann merke ich, dass beim Einstecken der 18ten Platte der
Kontroller da das beschrieben problem zeigt.
Du erweiterst halt nicht zur Laufzeit, sondern steckst die alle vor dem
Einschalten an
... wie ich es ja bei dem backupsystem gemacht habe, als ich eben ein
Raid bestehend aus 3Tb Plattengegen ein raid bestehend aus 3Tb Platten
austauschen wollte und dann feststellte, dass der Kontroller beim
Einschalten anscheiennd die 8TB-Platten nicht mehr auseinander halten
konnte.
Tja, ich kann Dir da nix empfehlen, ich kenne das Problem selber nicht. Ich
würde vielleicht noch versuchen, andere Expander zu probieren.

Ansonsten wäre halt wohl doch ein anderer und vor allem aktueller
Controller nötig. Als der 3ware 9750 und der LSI 9270 erschienen, gab es
AFAIR noch gar keine 8-TB-Platten. Vielleicht spielt ja auch deswegen noch
irgendein seltsamer Voodoo-Effekt mit rein.

Jedenfalls wird wohl im Endeffekt nix anderes als Trial and Error
übrigbleiben.

--
Shinji Ikari
2017-08-08 11:16:36 UTC
Permalink
Raw Message
Guten Tag
Post by Frank Möller
Tja, ich kann Dir da nix empfehlen, ich kenne das Problem selber nicht. Ich
würde vielleicht noch versuchen, andere Expander zu probieren.
Schon ausprobiert.
Normalerweise im Einsatz INTEL Expander 6GBSAS RES2CV360
Als Alternative habe ich auch HP 24-Bay PCIE SAS-Expander-Card
468406-B21 (3GB/s) probiertt.
Post by Frank Möller
Als der 3ware 9750 und der LSI 9270 erschienen, gab es
AFAIR noch gar keine 8-TB-Platten.
naja, mit meinem MEGARAID LSI 9271-8i (welcher j aktuell noch
unterstuetzt wird und nicht als/ausgelaufen ist) gehe ich schion davon
aus, dass er es kann.
und bei den 3Ware 9750 geht es grundlegend ja auch 8)

Ja, ich weiss, solche Probleme zeigen sich eben erst, wenn es dazu
kommt. Vorher weiss man es eben nicht.
Post by Frank Möller
Vielleicht spielt ja auch deswegen noch
irgendein seltsamer Voodoo-Effekt mit rein.
Garantiert! Da ich die Dinger auf Standard-PC hardware (und nicht
dafuer vorgesehenen Serverboards) einsetze, sind dahingehend auch noch
Beeinflussungen moeglich.
Ich muss eben weiter suchen/experimentieren.
Einerseits macht es Spass, andererseite brauche ich ab und zu den
erweiterten Platz. habe mir nun auch schon meine erste 10TB HDD
zugelegt. Ich hoffe, dass ich spaeter damit nichta uch wieder auf
solche Probleme stosse.
Post by Frank Möller
Jedenfalls wird wohl im Endeffekt nix anderes als Trial and Error
übrigbleiben.
leider ist es wohl so.
Oder dick im Lotto gewinnen und bei einem Systemhaus einmal ein 200TB
Rack ordern und in den keller stellen 8)) Dann haet eich erst einmal
genug Platz.

Detlef Paschke
2017-07-19 17:15:44 UTC
Permalink
Raw Message
Am 18.07.2017 um 16:01 schrieb Detlef Wirsing:

Hallo Detlef,
Post by Detlef Wirsing
Post by Shinji Ikari
..die zwar nicht an den 3Ware 9650 12ML kontroller anschliessbar sind,
aber ansoinsten sehr kurz und nett anzuschauen sind.
20 cm würden bei meinen Riesen-Towern im Leben nicht reichen.
das "ML" habe ich in der Tat überlesen somit haben sich diese Kabel für
Dich natürlich erledigt - die es aber nicht nur in 20cm gibt.
Post by Detlef Wirsing
Mit freundlichen Grüßen
Detlef Wirsing
Viele Grüße
Detlef Paschke
--
registered Fli4l-User #00000209
Das "Zitat des Augenblicks" gibt es nur auf
http://www.schabau.goip.de
Detlef Wirsing
2017-07-19 17:46:06 UTC
Permalink
Raw Message
Post by Detlef Paschke
Hallo Detlef,
Post by Detlef Wirsing
Post by Shinji Ikari
..die zwar nicht an den 3Ware 9650 12ML kontroller anschliessbar sind,
aber ansoinsten sehr kurz und nett anzuschauen sind.
20 cm würden bei meinen Riesen-Towern im Leben nicht reichen.
das "ML" habe ich in der Tat überlesen somit haben sich diese Kabel für
Dich natürlich erledigt - die es aber nicht nur in 20cm gibt.
Der obere Absatz des Zitats stammt nicht von mir. Ich hatte ML nicht
erwähnt, weil ich davon ausging, dass es die 3Ware 9650 nur als
Multilane gibt und es deshalb offensichtlich ist.

Mit freundlichen Grüßen
Detlef Wirsing
Peter Sauter
2017-07-19 04:05:04 UTC
Permalink
Raw Message
Am 18.07.2017 um 13:07 schrieb Detlef Paschke:
ich hatte bei einem Raid-5 an einem 3ware 9500S-12 auch das Problem und
Post by Detlef Paschke
als Ursache haben sich selbst neue SATA-Kabel herausgestellt.
Seit dem ich alle getauscht habe gibt es dahingehend keine Probleme.
Empfehlen kann ich DELOCK Kabel SATA FLEXI 6Gb/s die zwar ein klein
wenig teurer als die SATA-Kabel aus der Wühlkiste sind aber sie sind gut
zu verlegen und vor allem zuverlässig.
http://www.delock.de/produkte/G_83503/merkmale.html
Bei SCSI und PATA gab es da deutlich weniger - bis nie - Probleme,
Kann ich nicht bestätigen. Auch bei SCSI gabs mit falschen oder billigen
Kabeln durchaus Problem. Insbesondere bei Utra-Wide SCSI oder Ultra320
SCSI. DAhingehend gabs auch Murks auf dem Markt. Ich nöcht auch nicht
wissen, welche Murkskabel sich so auf dem Amazon Marktplace bei
Chinaimporten tummeln. Das kennt man schon bei US3.0-Kabel aktuell.
Detlef Paschke
2017-07-19 17:31:32 UTC
Permalink
Raw Message
Am 19.07.2017 um 06:05 schrieb Peter Sauter:

Hallo Peter,
Post by Peter Sauter
Post by Detlef Paschke
Bei SCSI und PATA gab es da deutlich weniger - bis nie - Probleme,
Kann ich nicht bestätigen. Auch bei SCSI gabs mit falschen oder billigen
Kabeln durchaus Problem. Insbesondere bei Utra-Wide SCSI oder Ultra320
SCSI. DAhingehend gabs auch Murks auf dem Markt. Ich nöcht auch nicht
wissen, welche Murkskabel sich so auf dem Amazon Marktplace bei
Chinaimporten tummeln. Das kennt man schon bei US3.0-Kabel aktuell.
das ging oder geht bei SCSI dann aber mehr in Richtung Leistungseinbuße
und nicht Ausfall, die Stecker sitzen konstruktionsbedingt fest und das
Kabel als solches ist sehr genügsam.

Seit SATA erlebe ich selbst und höre auch immer mal wieder von Problemen
mit den Kabeln. Wackeln, abrutschen, schlechter Kontakt, nur sporadisch
passende Clips.

Und wie gesagt, jedem der brauchbare Kabel zu einem noch vernünftigen
Preis sucht dem kann ich nur die DELOCK SATA FLEXI empfehlen.

Viele Grüße
Detlef Paschke
--
registered Fli4l-User #00000209
Das "Zitat des Augenblicks" gibt es nur auf
http://www.schabau.goip.de
Loading...