In diesem Artikel wollen wir rausfinden, was unser 4WD NAS nach 6 Jahren im Betrieb für Wartung benötigt und knüpfen an die Projekt Artikelserie aus 2018 an.
Der Anfang von hardwarepoint.net in 2013 wurde damals mit dem ersten NAS-Bau eingeläutet. Ein selbst designtes und gebautes Gehäuse aus Luftfahrt Aluminium – NAS Al-Cube war der Rufname. Ein schlichter und quadratischer Würfel, damals mit FreeNAS als Betriebssystem.
Nach mehreren Ausbaustufen wurde 2018 das Projekt 4WD NAS gestartet. Serverhardware sollte her, mehr Speicherplatz und ein erhöhter Funktionsumfang. Damals haben uns bei dem Vorhaben Crucial, Noctua, Plex, D-Link, Fractal Design und Caseking unterstütz – vielen Dank nochmal dafür. Alle Informationen zum Nachbau immer noch auf FreeNAS Basis gibt es auf der Projekt Seite. Das eigene Netflix feeling durch Plex und eine eigene Cloud mittels owncloud waren die zusätzlichen Features neben reinen Backup Funktionen.
Jetzt 6 Jahre später ist natürlich einiges passiert. Die Hardware ist zwar gleich geblieben, aber auf der Softwareseite hat sich einiges getan in den letzten Jahren. Wir haben schon mehrere Jahre FreeNAS durch TrueNAS Core ersetzt. Für den Kenner klar, handelt es sich immer noch um die Software von iX Systems. ownCloud wich der nextCloud, Plex blieb.
So langsam erreichten wir aber die Kapazitätsgrenzen und das Supportende von TrueNAS Core näherte sich auch langsam. Der Switch von Core auf FreeBSD Basis hin zu TrueNAS Scale auf Linux Basis sollte zusammen mit einem dicken Festplatten-Upgrade passieren. Ein Grund mehr zu schauen was 6 Jahre Betrieb mit so einem System macht – haben wir Verluste?!
Tatsächlich hatten wir im August 2023 den ersten Festplatten-Ausfall. Nach über 10 Jahren Dauerbetrieb fiel eine WD Red mit Fehlern aus. Dank Raid Z1, ähnlich Raid 5 nur im ZFS Dateisystem, konnte nach Tausch alles wiederhergestellt werden. Automatisch, ohne Zutun, ohne Datenverlust. TrueNAS hat sich um alles gekümmert – soweit so gut.
Wie sieht jetzt aber das System generell 6 Jahre nach Bau aus:
Vor allem verstaubt – der von Supermicro vorinstallierte Lüfter war mir schon immer ein Dorn im Auge. Als das Mainboard noch neu war, gab es erst Probleme mit der Regelung über das IPMI, die Drehzahl und damit die Lautstärke sind immens hoch gewesen und vor allem konnte man ihn nicht tauschen. Die Schrauben die den Lüfter halten, sind von innen befestigt und die Winkel wiederum, die alles am Kühlkörper in Position bringen waren verdeckt von z.B. dem M2 Slot. Als die Wärmeleitpaste noch fabrikneuen Zustand besaß, hielt sie zusätzlich wie ein Kleber – Resultat: man musste mit dem Lüfter leben, die Lautstärke hat ein Noctua Widerstand geregelt. Jetzt etwas gealtert, bröckelig und direkt im warmen Zustand, ließ die Wärmeleitpaste nach und es konnte doch alles demontiert werden.
Das musste jetzt auch endlich sein, da der Lüfter einen Lagerschaden entwickelt hat. Die drei Noctua NF-S12A Lüfter hingegen arbeiten wir am ersten Tag und sorgen immer noch perfekt für die Festplatten und allgemeine Gehäuse Kühlung.
Um jetzt den CPU Lüfter zu ersetzen ein kurzer Besuch auf Makerworld für ein Adapter 50 mm auf 60 mm und schon war ein Grund gefunden, den 3D Drucker zu starten. Farblich sind wir bei dem NAS sowieso völlig frei, von daher der Lüfteradapter auch aus weißem PETG gefertigt werden konnte. Somit kann sich nun auch ein Noctua NF-A6x25 anstelle des Supermicro Lüfters einfinden. Zusammen mit neuer Thermal Grizzly Kryonaut Paste, findet der Noctua 60 mm Lüfter auf dem Intel CPU Platz, auch wenn es das Bild vielleicht anders vermuten lässt, ohne Kontakt mit umliegenden Komponenten.
Das restliche System wurde gründlich gereinigt und weiter gings mit neuer Hardware, denn das Platzproblem ist noch nicht behoben. Dafür sollten diese „neuen“ Seagate Enterprise Capacity 12 TB Festplatten sorgen. Es ging damals durch die Nachrichten, genau in dem Zeitraum in dem ich auch diese Festplatten erwarb… trotz Bestätigung des Händlers waren diese leider nicht neu. Eine hatte extrem viele Stunden, die anderen immerhin wohl überholt. Interessanterweise hat der Händler im Anschluss auch die Anzeige geändert und die Festplatten als von Seagate generalüberholt eingestellt. Nach einigen Wochen des Testens sahen eigentlich alle HDDs einsatzbereit aus. Die FARM Werte ließen sich durch die alte TrueNAS Software nicht auslesen, aber der Verdacht mit den vielen Betriebssstunden sollte sich bald bestätigen. Erstmal konnte jetzt der Umzug beginnen.
TrueNAS Core zu TrueNAS Scale – zur Installation will ich gar nichts weiter schreiben, es gibt sehr viele, gute Videos und Artikel zu diesem Thema. Falls ihr da in die richtige Richtung gedrückt werden wollt, schreibt es in die Kommentare. Herunterladen könnt ihr euch das Image auf der TrueNAS Website. Die dazugehörige Dokumentations-Website hatte bis zuletzt für die gängigen Apps bzw. Plugins einzelne Artikel. Jetzt gibt es einen KI Assistenten, den ihr links oben über die „AI powered Search“ befragen könnt. Gegenüber früher braucht es fast nicht mehr in etlichen Foren zu suchen, die Installation der vielen, bereits ab Werk, verfügbaren Apps geht ohne zusätzliches Coding. Die auf Docker basierenden Module bieten alle einen ähnlichen Configurations-Assistenten, der einmal verstand, relativ leicht anpassbar ist. Das TrueNAS Forum ist natürlich weiterhin ein guter Anlaufpunkt für eine erste Suche oder Fragen zu eurem Vorhaben.
Für das 4WD NAS sollte es eine komplette Neuinstallation werden, einmal sauber um softwareseitig keine Altlasten mitzuschleppen. Der bisherige Festplatten Pool lässt sich einfach wieder importieren und somit lief eigentlich nach kurzer Zeit bereits wieder das Grundsystem. Für den Umzug von den 5x 2 TB WD Green und Red im Mix auf die neuen 3x 12 TB Festplatten habe ich erst einen Pool erstellt und mittels „Replication“ Task die entsprechenden Datasets kopieren lassen. Dies ging erstaunlich schnell, 7 TB Daten waren so in wenigen Stunden transferiert.
Damit Apps wie Plex, nextCloud, Home Assistant, Nginx Reverse Proxy oder Cloudflare Tunnels noch deutlich performanter laufen, kamen zwei SATA 2,5″ SSDs im Mirror zum Einsatz. Lediglich die reinen Daten der Cloud werden auf den normalen HDDs gespeichert, alles andere an zusätzlicher Software läuft auf den SSDs.
Nach kurzer Zeit meldete sich allerdings bereits die erste Seagate Festplatte mit SMART- und Lese-Fehlern. Jetzt mit neuster TrueNAS Software ließen sich auch die FARM Werte auslesen und siehe da, etliche Stunden Laufzeit, die Zahl war so hoch, dass sie gar nicht stimmen konnte. Aufgrund der vielen Fehler, habe ich die Festplatte auf Garantie eingeschickt. Mit der Prämisse nach 4-6 Wochen eine reparierte oder neue Festplatte zu erhalten. Der Händler wusste aber scheinbar selbst nicht wie eine solche Retoure zu bearbeiten ist und versicherte mir, sogar bis Stand heute, dass ich einen Ersatz bekomme. Nachdem aber das Geld bereits zurück gezahlt wurde und Wochenlang keine Festplatte in Sicht war, bestellt ich mir einfach eine Weitere.
Hier als Beispiel ein Auszug der FARM Werte, der defekten HDD. Spinle Power on Hours und Head Flight Hours scheinen unplausibel, zusätzlich zu den Lesefehlern, die der SMART Test konstant auswarf:
FARM Log Page 1: Drive Information
Number of Heads: 16
Device Form Factor: 3.5 inches
Rotation Rate: 7200 rpm
Firmware Rev: G005
ATA Security State (ID Word 128): 0x01621
ATA Features Supported (ID Word 78): 0x0168cc
ATA Features Enabled (ID Word 79): 0x0000000000000044
Power on Hours: 24122
Spindle Power on Hours: 577863287022
Head Flight Hours: 577863287020
Head Load Events: 45
Power Cycle Count: 18
Hardware Reset Count: 2
Als Beispiel ein weiterer Auszug von FARM Werten einer anderen Seagate HDD, die im 4WD NAS verbaut ist:
FARM Log Page 1: Drive Information
Number of Heads: 16
Device Form Factor: 3.5 inches
Rotation Rate: 7200 rpm
Firmware Rev: G005
ATA Security State (ID Word 128): 0x01621
ATA Features Supported (ID Word 78): 0x0168cc
ATA Features Enabled (ID Word 79): 0x0000000000000044
Power on Hours: 30803
Spindle Power on Hours: 365
Head Flight Hours: 364
Head Load Events: 19
Power Cycle Count: 39
Hardware Reset Count: 12Nach Erhalt der nächsten Seagate Enterprise Festplatte und deren Einbau, dauerte die Pool Wiederherstellung ganze 5 Stunden. Dies ist auch etwas das Problem, wenn man nur drei solcher großen Festplatten im Raid Z1 betreibt. Ein Ausfall verkraftet das System, aber wenn bei der Wiederherstellung eine weitere Festplatte den Geist aufgibt, sind alle Daten verloren. Bei 12 TB kann dies theoretisch den halben Tag mit dauerhafter Belastung bedeuten. Damit dies kein Einfluss auf die wirklich wichtigen Dokumente und Familienfotos hat, kamen zwei der „alten“ WD Reds als gespiegelter Pool wieder zurück ins System. Täglich werden diese Daten, die nur einen kleinen Teil der Datenmenge ausmachen, ebenfalls per „Replication“-Tasks und Snapshots transferiert.
Somit sind bei dem Umbau jetzt 5x 2TB Festplatten heraus gekommen, 3x 12 TB + 2x 2 TB HDDs und 2x 240 GB SSDs wieder hinein gewandert. Die drei übrigen 2 TB WD Reds lege ich mir zur Seite, sodass bei Bedarf genug Ersatz für den Backup Pool vorhanden ist. Zu Backup Strategien möchte ich nicht weiter ausschweifen, aber zusätzlich zu dem internen Backup kommt noch eine weitere Instanz an einem ganz anderen Ort dazu, sodass man auch z.B. ein Feuer abgesichert hat.
Insgesamt hat sich das Upgrade aber gelohnt. Nicht nur ist der Server wieder leiser, da der Lüfter Lagerschaden behoben ist, wenn auch die Seagate Enterprise Festplatten deutlich lauter an die Arbeit gehen, als noch die WD Reds. Gefühlt haben die SSDs aber auch dafür gesorgt, das die Plugins bzw. deren Webinterfaces deutlich schneller laden und Cloudübertragungen auch die volle Bandbreite der 275 Mbit/s Verbindung (Up-& Download) ausreizen – dies war aus der Erinnerung heraus, vorher nicht der Fall. Ebenso ist jetzt mit 24 TB nutzbarer Speicher, wieder viel Luft nach oben vorhanden für alle weiteren hardwarepoint Projekte. Home Assistant war vorher kein Teil unserer Installation, aber in das Rabbithole steigen wir jetzt gerade erst ab.
Seit ein paar Tagen ist die TrueNAS Community Version 25.04.2 erschienen und bringt wieder virtuelle Maschinen zurück. Somit ist jetzt der nächste Auftrag ein System für Home Assistant OS aufzusetzen, damit auch die Addons genutzt werden, die leider in der Docker Container Version von Home Assistant nicht nutzbar sind. Vielleicht gibt es später dazu auch einen folge Artikel – bis dahin.
Die ersten Systeme laufen bereits:
