5 1 0:Verwaltung eines Si3 NG Deduplication Store
Übersicht
|
Unter SEP sesam YouTube Channel finden Sie aktuelle Videos und Webinare. |
|
Unter FAQ finden Sie Antworten auf die häufigsten Fragen. |
|
Im Problemfall nutzen Sie den Troubleshooting Guide. |
|
Falls Sie eine ältere SEP sesam Version verwenden, schauen Sie bitte ins Dokumentationsarchiv. |
Der Si3 NG Datenspeicher wird auf einem dedizierten Linux-Server mit installiertem SEP sesam eingerichtet. SEP sesam bietet Befehlshilfsprogramme für die Konfiguration und Verwaltung von Si3 NG-Datenspeichern.
Die wichtigsten Wartungsaufgaben für den Si3 NG-Datenspeicher sind die "Garbage Collection" (gc) und der "Dateiensystem-Check" (fsck). Diese Aufgaben laufen automatisch. Die Garbage collection (gc) wird gestartet während SEP sesam newday. Der Dateiensystem-Check (fsck) immer wieder in regulären Intervallen und auch nach jedem Backup durchgeführt.
Si3 NG verfügt über zwei Arten von Dateisystemprüfungen: Objektprüfung, die prüft, ob der Si3 NG-Datenteil noch lesbar ist, und Seitenprüfung, die die physischen Daten auf der Festplatte prüft. Alle Prozesse können gleichzeitig ablaufen.
SEP sesam bietet das sm_dedup_interface Dienstprogramm zur Konfiguration und Verwaltung von Si3 NG Datenspeichern und zur Wiederherstellung von beschädigten Si3 NG Datenspeichern.
|
Anmerkung |
Sie müssen SEP sesam Administratorrechte haben, um SEP sesam CLI Befehle auszuführen und die Eingabeaufforderung als Administrator zu verwenden. Alle Befehle werden aus dem <SESAM_ROOT>/bin/sesam/ Verzeichnis ausgeführt. Wenn Sie SEP sesam Befehle global (und nicht aus dem aktuellen Ausführungsverzeichnis) ausführen wollen, setzen Sie das SEP sesam Profil wie in Was passiert wenn ich ein Profil setze? beschrieben.
|
Verwalten des Si3 NG-Datenspeichers
Um administrative Aufgaben durchzuführen und den Si3 NG-Datenspeicher zu verwalten, können Sie das Dienstprogramm sm_dedup_interface verwenden. Im Folgenden finden Sie eine Liste einiger Befehle und deren Verwendung.
Die allgemeine Syntax für die sm_dedup_interface Befehle ist:
sm_dedup_interface -d <datastore> <command>
Die folgenden Befehle sind verfügbar:
- purge - objectinfo <remote filename> - put <input filename> <dest filename> - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]] - delete <remote filename> [<filename 2>]* - getlabel - getuuid - list - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>] - gc <start|stop|status|result> - key <set <key> <value>|get <key>|list> - log@server <msg> - propose serverconfig <repository netto GiB> - propose jvmconfig (see Notea) - snapshot - replicate from [-f] <remote hostname> <remote port> <remote filename> - replicate show - replicate abort <task id>
Um herauszufinden, wie viel RAM bei welcher Kapazität von Si3-NG benötigt wird, verwenden Sie den folgenden Befehl:
sm_dedup_interface -T dedup2 propose jvmconfig <Si3NG_capacity>
Die Ausgabe von MaxDirectMemorySize ist der erforderliche RAM-Wert.
Beachten Sie jedoch, dass SEP sesam den RAM-Verbrauch berechnet und diese Befehle im Hintergrund verwendet. Ein manuelles Einstellen der Werte ist in der Regel nicht erforderlich. Diese manuellen Änderungen werden mit der nächsten Laufwerkskonfiguration überschrieben.
Die Indexberechnung ist ebenfalls mit dem Befehl verbunden. Wenn der Index wächst und zu 95% voll ist, können keine Sicherungen mehr durchgeführt werden. Der RAM muss den gesamten Index (beschrieben durch max_pages) im Speicher halten. Die MaxDirectMemorySize hängt direkt von max_pages ab. Um die Probleme mit dem wachsenden Index zu lösen, lesen Sie bitte Si3 Deduplication Problembehebung.Spezifische Optionen
Die meisten Parameter sind nur für den internen Gebrauch bestimmt.
- status
- Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.
Si3 NG Statusausgabe Beispiel
sm_dedup_interface -d 3 status Server Status: Repository information: 2022-03-07 16:01:31 Start time: 2022-02-22 16:32:15 Server: localhost:11704 Path: /srv/single_disk/Si3-NG-b11 Version: Version: Si3-NG Branch: 4321a7ba7bafbfb7e9a186a3821b0e0bf08d19bc Build: 4321a7b Commit: 2022-02-09 15:37:49 Build date: 2022-02-09 15:41:18 UUID: 5e999930-bd3f-11ea-8471-b79d351122df Label: Si3-NG-b11 PCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:48 (Started: 2022-03-07 16:00:48) OCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:47 (Started: 2022-03-07 16:00:47) GC process status: not running: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]: Stop time: 2022-03-07 10:00:15 (Started: 2022-03-07 08:10:56) Bytes in repository: 534.49 GiB Bytes delete pending: 159.60 GiB Pages dir size: 534.42 GiB Object dir size: 0.45 GiB Trash dirs size: 159.60 GiB Active tasks: All: 0, Backup: 0, Restore: 0, GC: 0, OCCK: 0, PCCK: 0 Sanity state: OK JVM arguments: -Xmx3335M, -Dlogback.configurationFile=/var/opt/sesam/var/ini/sm_sdslog2.xml, -Dgv_rw_stpd=/var/opt/sesam/var/log/sms, -Dlogs.dir=/var/opt/sesam/var/log/sms, -Ddrive_num=3, -Dconfig.inifile=/var/opt/sesam/var/ini/stpd_conf/Si3-NG-b11_3.ini Recommended JVM arguments: -Xmx3312M Si3-storage: Bytes All: 1999421108224, Use: 736072216576, Free: 1263348891648, Used: 36% Index information: Size: 0.34 GiB Utilization: 57.35% (32890421/57344000) Reindex: - Object information: Objects stored: 36090 Data before deduplication: 10.66 TiB Overall DeDup ratio: 1 / 20.32 Saved storage space: 95.08 % S3 information: State: OFF Bucket:
Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.
- gc start
- Startet Garbage Collection.
- Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
- Wird von SEP sesam mit sm_start gestartet.
- gc stop
- Stoppt Garbage Collection.
- Kann später wieder gestartet werden.
- gc status
Si3 NG Statusausgabe Beispiel
sm_dedup_interface -d 3 gc status Current gc status: State: Finished Started: 2022-03-07 08:10:56 Ended: 2022-03-07 10:00:15 Message: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0] STATUS=SUCCESS MSG=Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
- get
- Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDIN zu spezifizieren.
- put
- Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDOUT zu spezifizieren.
- fsck
- Startet eine Datenspeicherprüfung.
- Muss manuell gestartet werden.
- Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
- fsck status
- Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.
Die neue Generation des Si3 Deduplication Store, Si3 NG, verfügt über zwei Arten der Dateisystemprüfung (fsck): der Object Check (Objektprüfung occk), der prüft, ob der Si3-Datenteil noch lesbar ist, und der Page Check (Seitenprüfung pcck), der die physischen Daten auf der Festplatte überprüft. Alle Prozesse können gleichzeitig ablaufen.
Si3 NG fsck Status output Beispiel
sm_dedup_interface -d 3 fsck status Current occk status: Mode: Incremental. Since 2022-03-07 09:18:25 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 10:41:20 Message: No items found to process Previous error: - Current pcck status: Mode: Incremental. Since 2022-03-07 09:58:48 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 11:58:25 Message: No items found to process Previous error: -
- purge
- Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
- Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
- getlabel und getuuid können durch status ersetzt werden.
Reparieren eines beschädigten Si3 NG-Datenspeichers
Sie können den Si3 NG Speicher reparieren, wenn Seiten oder Objekte beschädigt werden.
- Bestimmen Sie zunächst das Ausmaß der Beschädigung:
- Um die Liste der beschädigten Objekte zu erhalten, verwenden Sie:
sm_dedup_interface -d <datastore> corruptedobjects
- Um die Liste der beschädigten Seiten zu erhalten, verwenden Sie:
sm_dedup_interface -d <datastore> corruptedpages
- Um die Liste der beschädigten Objekte zu erhalten, verwenden Sie:
- Verwenden Sie den folgenden Befehl, um die Seiten im Verzeichnis /pages durch eine ältere Version aus dem Verzeichnis /pages-trash zu ersetzen:
sm_dedup_interface -d <datastore> repair pages
Die Seiten im Papierkorb enthalten alle Chunks, die mit der vorherigen GC gelöscht wurden. Die älteste Version einer Seite hat Vorrang. - Verwenden Sie den folgenden Befehl, um die fehlenden Chunks im Verzeichnis /pages-trash zu suchen und wiederherzustellen:
sm_dedup_interface -d <datastore> repair start
Während des Reparaturvorgangs wird eine neue Seite erstellt, die alle Chunks der aktuellen Seite (Seite, die vom Problem der fehlenden Chunks betroffen ist) und alle Chunks, die im Papierkorb gefunden wurden, enthält.
Bereinigung eines nicht wiederherstellbaren Si3 NG Speichers
|
Achtung |
| Sie sollten die in diesem Abschnitt beschriebenen Befehle nur dann verwenden, wenn der beschädigte Speicher nicht wiederhergestellt werden kann. |
Wenn Beschädigungen im Si3 NG Speicher fortbestehen, wurde die ursprüngliche Seitenversion bereits aus dem Papierkorb gelöscht, oder es gab fatale Fehler während der Sicherung oder Rücksicherung. In diesem Fall können beschädigte Seiten oder fehlende Chunks nicht wiederhergestellt werden.
Die Bereinigung kann durch manuelles Löschen von nicht wiederherstellbaren Objekten oder durch die automatische Bereinigungsfunktion erfolgen.
- Löschen von Objekten
Wenn es nur wenige nicht wiederherstellbare Objekte gibt, löschen Sie jedes Objekt mit den folgenden Befehlen:
sm_dedup_interface -d <datastore> delete corruted_object_id_1 ... sm_dedup_interface -d <datastore> delete corruted_object_id_Nth
Bei vielen Beschädigungen können Sie alle beschädigten Objekte mit dem folgenden Befehl löschen:
sm_dedup_interface -d <datastore> fsck purge
- Garbage collection
Wenn Sie alle nicht wiederherstellbaren Objekte gelöscht haben, führen Sie die Garbage Collection (gc) aus:
sm_dedup_interface -d <datastore> gc start
- Automatische Bereinigungsfunktion
Um eine automatische Bereinigungsfunktion zu starten, verwenden Sie den folgenden Befehl:
sm_dedup_interface ... fsck purge auto
Die automatische Bereinigungsfunktion führt die folgende Befehlssequenz aus: PCCK Start -> OCCK Start -> Löschen aller beschädigten Objekte -> GC Start.
Protokolle
Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.
- Protokollinformation
- gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
- /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
- sm_dedup_server_info-<drive>.log: Protokollstufe INFO und höher.
- sm_dedup_server-<drive>.log: Protokollstufe DEBUG und höher. Diese Datei kann sehr groß werden.
- sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
- sm_dedup_fsck-<drive>.log: Dateisystemprüfungsprotokoll.
- Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.
Dateien und Verzeichnisse
- Objekte
Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 NG Store gespeichert:
- <ssid>.data
- <ssid>.info
- <ssid>.info2
Die Dateien .data und .info sind identisch mit denen eines normalen Datenspeichers. Die Datei .info2 wird für die Daten benötigt, die an ein Si3-Objekt angehängt werden sollen. In diese Datei werden alle Datenbankinformationen geschrieben, die vor Abschluss einer Sicherung nicht verfügbar sind.
- Verzeichnisse
Siehe auch
Konfiguration eines Si3 Deduplication Store – Replication - SEP Si3 quellseitige Deduplizierung – Si3 Deduplication Problembehebung – Lizenzierung