5 1 0: Konfiguration und Verwaltung von Si3 Deduplication Store mit Hilfe des CLI
Übersicht
SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.
Sowohl Si3T als auch Si3S benötigen einen konfigurierten Si3 Deduplication Store. Ab SEP sesam V. 5.0.0 Jaglion kann ein Deduplication Store der neuen Generation Si3 verwendet werden. Im Vergleich zum alten Si3-V1-Speichertyp bietet Si3 eine deutlich höhere Performance für Sicherung, Rücksicherung und Migration sowie direkte Sicherung auf S3 Cloud, was zu einer verbesserten Performance, Skalierung und Ressourceneinsparung führt.
Normalerweise kann nur ein Si3 Deduplication Store auf einem Server konfiguriert werden. Da jedoch ein direktes Upgrade von der alten Si3 V1 auf Si3 nicht unterstützt wird, können Sie von Si3 V1 auf Si3 replizieren. Zu diesem Zweck können Sie auch einen neuen Si3 und einen alten Si3 V1 parallel auf demselben Host konfigurieren, indem Sie den Schlüssel enable_gui_allow_multi_dedup aktivieren. Details dazu finden Sie unter Aktivieren des Si3-Setups auf demselben Host.
- Für jeden Si3-Deduplizierungsspeicher ist eine gültige Lizenz erforderlich.
- Für einen detaillierten Vergleich von Si3 V1 und Si3, siehe Vergleich von Si3 V1 und Si3.
- Informationen zur Konfiguration des Si3-Deduplizierungsspeichers über die GUI finden Sie unter Konfiguration eines Si3 Deduplication Store.
Veralteter Si3 V1 Datenspeicher (deprecated)
Anmerkung | |
Der Si3 V1-Deduplizierungsspeicher der alten Generation ist veraltet. Das bedeutet, dass die alte Generation Si3 V1 nicht mehr weiterentwickelt wird, aber bis auf Weiteres noch unterstützt wird. SEP empfiehlt dringend, stattdessen den neuen Si3-Datenspeicher zu verwenden, insbesondere wenn die Daten in der S3 Cloud gespeichert werden sollen. |
- Wenn Sie einen Si3 V1-Deduplizierungsspeicher der alten Generation mit S3 verwenden, können Sie nicht über die GUI aus S3 rücksichern.
- Sie können einen neuen Si3 und einen alten Si3 V1 parallel auf demselben Host konfigurieren und vom alten Si3 V1 auf den Si3-Speicher replizieren. Details dazu finden Sie unter Konfiguration des Si3 Deduplication Store.
Voraussetzungen
Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplication Server gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.
Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplication Store zu konfigurieren.
- Für die minimalen Si3/Si3-NG Hardware Anforderungen die für den SEP sesam Si3/Si3-NG Deduplizierungsserver gelten, siehe Hardware Anforderungen.
- Details zur benötigten Java-Version finden Sie unter Java Compatibility Matrix. Si3 ist nicht obligatorisch, daher gibt es keine Abhängigkeitsregel in den RPM/DEB-Paketen für Si3.
- Wenn Sie die maximale Größe für einen Si3 Deduplication Store abschätzen möchten, müssen Sie sicherstellen, dass auch genügend Platz für den Si3 Reparaturbereich vorhanden ist. Andernfalls hat der Si3 Deduplication Store zu wenig Platz für einen einwandfreien Betrieb. Der benötigte Speicherplatz sollte anhand der Größe einer FULL-Sicherung aller erforderlichen Daten berechnet und um weitere 50% (dieser Datenmenge) vergrößert werden. Dies ergibt eine Abschätzung für den insgesamt benötigten Speicherplatz.
Festplattenanbindung und Protokolle
Si3/Si3-NG unterstützt jede Form von direkt angeschlossenem Plattenspeicher, wie Serial Attached SCSI (SAS), Serial ATA (SATA) und Fibre Channel (FC)/LUN.
Hinweis zur Leistungssteigerung
Gilt nur für Windows: SEP AG empfiehlt die Verwendung des Leistungsplans High Performance, um die Leistung Ihrer Sicherungen zu erhöhen. Beachten Sie, dass Windows-Systeme standardmäßig den Leistungsplan Balanced verwenden, deshalb sollte in diesem Fall auf den Leistungsplan High Performance umgestellt werden. Auf diese Weise verbraucht Ihr Windows-System zwar mehr Strom, aber der Si3 kann dann die volle Leistung verwenden.
- Öffnen Sie die Energieoptionen in der Systemsteuerung und ändern Sie die Einstellung auf High Performance.
Einschränkungen
- Der Si3 NG Deduplication Store wird für NSS- und MooseFS-Volumes nicht unterstützt.
- Um Probleme zu vermeiden, die sich aus der Kombination von zu großen Si3-Deduplizierungsspeichern und ineffizienter Hardware ergeben, ist die maximale anfängliche Größe des Si3/Si3-NG-Deduplizierungsspeichers auf 40 TB beschränkt. Wenn Sie diese Grenze erhöhen müssen, wenden Sie sich an SEP Support. Diese Einschränkung ist beim Erstellen eines neuen Si3/Si3-NG-Deduplizierungsspeichers in der GUI gültig.
Anmerkung | |
Es wird empfohlen, die Si3-Deduplizierung (SEP sesam Server oder RDS) auf dem physischen Host zu betreiben. Es ist auch möglich, sie auf einer virtuellen Maschine auszuführen. In diesem Fall ist zu beachten, dass die Deduplizierung viele Serverressourcen für das Lesen, Verarbeiten und Schreiben der deduplizierten Daten sowie für einige andere Deduplizierungsaufgaben wie Housekeeping und verschiedene Prüfungen verbraucht. Dies erfordert eine große Menge an IO und eine große Menge an Speicher. Die Leistung von Si3 kann durch andere virtuelle Maschinen, die auf demselben Host laufen, beeinträchtigt werden. Wenn Sie Si3 auf einer VM betreiben, sollten Sie sich daher über mögliche Engpässe und Schwachpunkte im Klaren sein. |
Benötigte zusätzliche Menge an RAM und CPU-Kernen
Die Speicheranforderungen hängen von der Anzahl der gleichzeitigen Datenströme und der erwarteten Arbeitslast ab. Die folgenden Tabellen zeigen die empfohlene minimale zusätzliche Menge an RAM und CPU-Kernen (Cores) für einen Si3/Si3-NG-Datenspeicher, um eine gute Leistung zu gewährleisten. Der TB-Wert entspricht der Kapazität des Si3/Si3-NG-Datenspeichers.
Anmerkung | |
Beachten Sie, dass die angegebenen Anforderungen nur die Forderung nach Deduplizierung repräsentieren. Zusätzlich zu diesen Anforderungen sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden. |
Kapazität des Si3/Si3-NG-Datenspeichers (bitte beachten Sie die anfängliche Größenbeschränkung) |
RAM |
---|---|
<20 TB | mindestens 16 GiB |
20-40 TB | mindestens 32 GiB |
Die folgende Tabelle zeigt die Anzahl der benötigten CPU-Kerne für einen Si3/Si3-NG-Datenspeicher. Der TB-Wert ist die Menge der gesicherten Daten (vor der Deduplizierung)!
Gesicherte Daten (vor Deduplizierung) | CPU Kerne Anmerkung |
---|---|
10 TB | 4 |
20 TB | 4 |
40 TB | 8 |
Dies ist die Mindestanzahl, um eine gute Leistung zu gewährleisten. Je nach Anzahl der gleichzeitigen Streams können mehr Kerne erforderlich sein.
Verwendung der CLI für die Si3 Datenspeicherkonfiguration
SEP sesam bietet Befehlshilfsprogramme für die Konfiguration und Verwaltung von Si3 Datenspeichern. Der folgende Abschnitt enthält einige Beispiele für Befehle und Syntax.
Anmerkung | |
Sie müssen SEP sesam Administratorrechte haben, um SEP sesam CLI-Befehle ausführen und die Eingabeaufforderung als Administrator verwenden zu können. Alle Befehle werden aus dem Verzeichnis <SESAM_ROOT>/bin/sesam/ ausgeführt. Wenn Sie SEP sesam Befehle global (und nicht aus dem eigentlichen run-Verzeichnis) ausführen möchten, setzen Sie das SEP sesam Profil wie in Wie setze ich ein Profil? beschrieben.
|
Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Datenspeichers, da beide Parameter beim Anlegen benutzt werden.
Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Deduplication Store zu konfigurieren. Weitere Details finden Sie weiter unten im Abschnitt sm_dedup_interface.
stpd_conf
Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf
gespeichert.
Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.
bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini [DEDUP] Backend=dedup Hostname=localhost defaultRepoPath="/datastore/ds1/ds1" maxPages=481900 port=11703 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M" [DISK_STORE] Storage_Location=/datastore/ds1/ds1 Size=1000GB backend=dedup hostname=localhost port=11703
sm.ini
Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.
Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl java -XX:+PrintFlagsFinal aus und suchen Sie nach MaxHeapSize (-> Xmx) und InitialHeapSize (-> Xms).
max_pages
Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.
Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert. Wenn Sie Probleme mit dem Index haben, wenden Sie sich bitte an SEP sesam Support.
Fortgeschrittene CLI Administration
Die beiden wichtigsten Wartungsaufgaben von Si3 sind die Garbage Collection (Aufräumprozess gc) und der File System Check (Dateisystemüberprüfung fsck) und laufen automatisch. Die Garbage Collection wird vom sm_start während des SEP sesam Tageswechsel gestartet. Der File System Check (fsck) wird in regelmäßigen Abständen (immer wieder) und automatisch bei jeder Sicherung durchgeführt.
Die neue Generation des Si3 Deduplication Store verfügt über zwei Arten der Dateisystemprüfung (fsck): der Object Check (Objektprüfung occk), der prüft, ob der Si3-Datenteil noch lesbar ist, und der Page Check (Seitenprüfung pcck), der die physischen Daten auf der Festplatte überprüft. Alle Prozesse können gleichzeitig ablaufen.
Sie können deren Status überprüfen oder die Aufträge manuell starten/stoppen.
sm_dedup_interface
Dies ist das wichtigste Dienstprogramm für die Konfiguration und Verwaltung von Datenspeichern. Nachstehend finden Sie eine Liste einiger Befehle und ihrer Verwendung.
Anmerkung | |
Je nach verwendetem Deduplizierungsspeicher, Si3-V1 oder Si3, können einige der Befehle leicht unterschiedlich sein. Wenn es relevant ist, werden beide Befehlsversionen beschrieben. |
sm_dedup_interface -d <Datenspeicher> <Befehl>
- purge - objectinfo <Remote Dateiname> - put <Eingabe Dateiname> <Ziel Dateiname> - get <Remote Dateiname> <Ziel Dateiname> [<Bytes zu überspringen> [<am Anfang gelesene Bytes>]] - delete <Remote Dateiname> [<Dateiname 2>]* - getlabel - getuuid - list - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <Datei>|fsck incr start from <Datei>] - gc <start|stop|status|result> - key <set <Schlüssel> <Wert>|get <Schlüssel>|list> - log@server <msg> - propose serverconfig <Repository Netto GiB> - propose jvmconfig <Repository Netto GiB> (für den Si3 V1 Speicher; leicht abweichende Verwendung für Si3, siehe Anmerkunga) - snapshot - replicate from [-f] <Remote Hostname> <Remote Port> <Remote Dateiname> - replicate show - replicate abort <Auftrags-ID>
Je nach verwendetem Deduplizierungsspeicher, Si3 V1 oder Si3, unterscheidet sich der Befehl leicht, mit dem Sie herausfinden können, wie viel RAM bei welcher Kapazität benötigt wird. Beispiel:
- Si3
- Verwenden Sie den Befehl
sm_dedup_interface -T dedup2 propose jvmconfig <Si3_Kapazität>
. - Si3 V1
- Verwenden Sie den Befehl
sm_dedup_interface propose jvmconfig <Si3_ Kapazität>
.
Die Ausgabe von MaxDirectMemorySize ist der erforderliche RAM-Wert.
Beachten Sie jedoch, dass SEP sesam den RAM-Verbrauch berechnet und diese Befehle im Hintergrund verwendet. Ein manuelles Einstellen der Werte ist in der Regel nicht erforderlich. Diese manuellen Änderungen werden mit der nächsten Laufwerkskonfiguration überschrieben.
Die Indexberechnung ist ebenfalls mit dem Befehl verbunden. Wenn der Index wächst und zu 95% voll ist, können keine Sicherungen mehr durchgeführt werden. Der RAM muss den gesamten Index (beschrieben durch max_pages) im Speicher halten. Die MaxDirectMemorySize hängt direkt von max_pages ab. Um die Probleme mit dem wachsenden Index zu lösen, lesen Sie bitte Si3 Deduplication Problembehebung.
Besondere Optionen
Die meisten Parameter sind nur für den internen Gebrauch bestimmt.
- status
Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.
sm_dedup_interface -d ds1_2 status INFO Successfully initialized i2dedup library version v2.1.0-SNAPSHOT5 Server Status: Repository information: Version: 2.1.1 UUID: 3b9ec2ae-34e1-11e3-b88b-001b2146 Label: ds1 Max Pages: 481900 Max Pages recommended: 154100 (-Xmx1010M -XX:MaxDirectMemorySize=603M) GC process status: not running: GC finished. Fsck process status: not running: Fsck finished. Interrupted: false. Total Runtime: 1296.68s Bytes in repository: 259.02 GB Bytes delete pending: 9.18 GB Object information: Objects stored: 258 Data before deduplication: 1541.56 GB Data after deduplication: 58.94 GB Overall DeDup ratio: 96.18 % Key-Values: No keys stored. |
sm_dedup_interface -d 3 status Server Status: Repository information: 2022-03-07 16:01:31 Start time: 2022-02-22 16:32:15 Server: localhost:11704 Path: /srv/single_disk/Si3-NG-b11 Version: Version: Si3-NG Branch: 4321a7ba7bafbfb7e9a186a3821b0e0bf08d19bc Build: 4321a7b Commit: 2022-02-09 15:37:49 Build date: 2022-02-09 15:41:18 UUID: 5e999930-bd3f-11ea-8471-b79d351122df Label: Si3-NG-b11 PCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:48 (Started: 2022-03-07 16:00:48) OCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:47 (Started: 2022-03-07 16:00:47) GC process status: not running: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]: Stop time: 2022-03-07 10:00:15 (Started: 2022-03-07 08:10:56) Bytes in repository: 534.49 GiB Bytes delete pending: 159.60 GiB Pages dir size: 534.42 GiB Object dir size: 0.45 GiB Trash dirs size: 159.60 GiB Active tasks: All: 0, Backup: 0, Restore: 0, GC: 0, OCCK: 0, PCCK: 0 Sanity state: OK JVM arguments: -Xmx3335M, -Dlogback.configurationFile=/var/opt/sesam/var/ini/sm_sdslog2.xml, -Dgv_rw_stpd=/var/opt/sesam/var/log/sms, -Dlogs.dir=/var/opt/sesam/var/log/sms, -Ddrive_num=3, -Dconfig.inifile=/var/opt/sesam/var/ini/stpd_conf/Si3-NG-b11_3.ini Recommended JVM arguments: -Xmx3312M Si3-storage: Bytes All: 1999421108224, Use: 736072216576, Free: 1263348891648, Used: 36% Index information: Size: 0.34 GiB Utilization: 57.35% (32890421/57344000) Reindex: - Object information: Objects stored: 36090 Data before deduplication: 10.66 TiB Overall DeDup ratio: 1 / 20.32 Saved storage space: 95.08 % S3 information: State: OFF Bucket: |
Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.
- gc start
- Startet Garbage Collection.
- Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
- Wird von SEP sesam mit sm_start gestartet.
- gc stop
- Stoppt Garbage Collection.
- Kann später wieder gestartet werden.
- gc status
- Beispiel einer Si3 GC Statusausgabe
sm_dedup_interface -d 3 gc status Current gc status: State: Finished Started: 2022-03-07 08:10:56 Ended: 2022-03-07 10:00:15 Message: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0] STATUS=SUCCESS MSG=Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
- get
- Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDIN zu spezifizieren.
- put
- Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDOUT zu spezifizieren.
- fsck
- Startet eine Datenspeicherprüfung.
- Muss manuell gestartet werden.
- Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
- fsck status
- Zeigt den aktuellen Status oder den Status der letzten Datenspeicherprüfung an.
Der Si3 Deduplication Store verfügt über zwei Arten von fsck: der Object Check (Objektprüfung occk), der prüft, ob der Si3-Datenteil noch lesbar ist, und der Page Check (Seitenprüfung pcck), der die physischen Daten auf der Festplatte überprüft. Alle Prozesse (gc, occk und pcck) können gleichzeitig ablaufen.
si3fix:/var/opt/sesam/var/log/sms # sm_dedup_interface -d Si3_5 fsck status INFO Successfully initialized i2dedup library version v2.0.0-beta2 Current fsck status: Message: Logfile check progress: Bytes: 1270925865083/1512422546049 Throughput: 91.25 MiB/s Running: yes Started: 2018-05-29 20:57:17 Ended: - Bytes Checked: 0 Bytes Lost: 0 Objects checked: |
sm_dedup_interface -d 3 fsck status Current occk status: Mode: Incremental. Since 2022-03-07 09:18:25 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 10:41:20 Message: No items found to process Previous error: - Current pcck status: Mode: Incremental. Since 2022-03-07 09:58:48 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 11:58:25 Message: No items found to process Previous error: - |
- purge
- Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
- Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
- getlabel und getuuid können durch status ersetzt werden
Protokollierung
Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.
- Info Protokollierung
- gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
- /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
- sm_dedup_server_info-<drive>.log: INFO Protokollstufe und höher.
- sm_dedup_server-<drive>.log: DEBUG und höher. Diese Datei kann sehr groß werden.
- sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
- sm_dedup_fsck-<drive>.log: Dateisystem-Prüfprotokoll.
- Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.
Dateien und Verzeichnisse
- Objekt
Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:
- <ssid>.data
- <ssid>.info
- <ssid>.info2
Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.
- Verzeichnisse
Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam Datenspeicher und hat nichts mit dem Si3 Deduplication Store zu tun. Er wird in einer zukünftigen Version entfernt werden.
Wie geht's weiter?
Nach Konfiguration des Si3/Si3 NG Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre |Sicherungs-Strategie aufsetzen.
Siehe auch
Konfiguration eines Si3 Deduplication Store – SEP Si3 quellseitige Deduplizierung – Replikation – Si3 Deduplication Problembehebung – SEP Tachometer