5 1 0: Konfiguration und Verwaltung von Si3 Deduplication Store mit Hilfe des CLI

From SEPsesam
This page is a translated version of the page 5 1 0:Configuring and Administering Si3 Deduplication Store by using CLI and the translation is 100% complete.
Other languages:


Docs latest icon.png Willkommen in der aktuellsten Version der SEP sesam Dokumentation 5.1.0 Apollon. Frühere Versionen der Dokumentation finden Sie hier: Documentation Archiv.


Übersicht


SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.

Sowohl Si3T als auch Si3S benötigen einen konfigurierten Si3 Deduplication Store. Ab SEP sesam V. 5.0.0 Jaglion kann ein Deduplication Store der neuen Generation Si3 verwendet werden. Im Vergleich zum alten Si3-V1-Speichertyp bietet Si3 eine deutlich höhere Performance für Sicherung, Rücksicherung und Migration sowie direkte Sicherung auf S3 Cloud, was zu einer verbesserten Performance, Skalierung und Ressourceneinsparung führt.

Normalerweise kann nur ein Si3 Deduplication Store auf einem Server konfiguriert werden. Da jedoch ein direktes Upgrade von der alten Si3 V1 auf Si3 nicht unterstützt wird, können Sie von Si3 V1 auf Si3 replizieren. Zu diesem Zweck können Sie auch einen neuen Si3 und einen alten Si3 V1 parallel auf demselben Host konfigurieren, indem Sie den Schlüssel enable_gui_allow_multi_dedup aktivieren. Details dazu finden Sie unter Aktivieren des Si3-Setups auf demselben Host.

  • Für jeden Si3-Deduplizierungsspeicher ist eine gültige Lizenz erforderlich.

Veralteter Si3 V1 Datenspeicher (deprecated)

Information sign.png Anmerkung
Der Si3 V1-Deduplizierungsspeicher der alten Generation ist veraltet. Das bedeutet, dass die alte Generation Si3 V1 nicht mehr weiterentwickelt wird, aber bis auf Weiteres noch unterstützt wird. SEP empfiehlt dringend, stattdessen den neuen Si3-Datenspeicher zu verwenden, insbesondere wenn die Daten in der S3 Cloud gespeichert werden sollen.
  • Wenn Sie einen Si3 V1-Deduplizierungsspeicher der alten Generation mit S3 verwenden, können Sie nicht über die GUI aus S3 rücksichern.
  • Sie können einen neuen Si3 und einen alten Si3 V1 parallel auf demselben Host konfigurieren und vom alten Si3 V1 auf den Si3-Speicher replizieren. Details dazu finden Sie unter Konfiguration des Si3 Deduplication Store.

Voraussetzungen

Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplication Server gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.

Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplication Store zu konfigurieren.


  • Für die minimalen Si3/Si3-NG Hardware Anforderungen die für den SEP sesam Si3/Si3-NG Deduplizierungsserver gelten, siehe Hardware Anforderungen.
  • Details zur benötigten Java-Version finden Sie unter Java Compatibility Matrix. Si3 ist nicht obligatorisch, daher gibt es keine Abhängigkeitsregel in den RPM/DEB-Paketen für Si3.
  • Wenn Sie die maximale Größe für einen Si3 Deduplication Store abschätzen möchten, müssen Sie sicherstellen, dass auch genügend Platz für den Si3 Reparaturbereich vorhanden ist. Andernfalls hat der Si3 Deduplication Store zu wenig Platz für einen einwandfreien Betrieb. Der benötigte Speicherplatz sollte anhand der Größe einer FULL-Sicherung aller erforderlichen Daten berechnet und um weitere 50% (dieser Datenmenge) vergrößert werden. Dies ergibt eine Abschätzung für den insgesamt benötigten Speicherplatz.

Festplattenanbindung und Protokolle

Si3/Si3-NG unterstützt jede Form von direkt angeschlossenem Plattenspeicher, wie Serial Attached SCSI (SAS), Serial ATA (SATA) und Fibre Channel (FC)/LUN.

Hinweis zur Leistungssteigerung

Gilt nur für Windows: SEP AG empfiehlt die Verwendung des Leistungsplans High Performance, um die Leistung Ihrer Sicherungen zu erhöhen. Beachten Sie, dass Windows-Systeme standardmäßig den Leistungsplan Balanced verwenden, deshalb sollte in diesem Fall auf den Leistungsplan High Performance umgestellt werden. Auf diese Weise verbraucht Ihr Windows-System zwar mehr Strom, aber der Si3 kann dann die volle Leistung verwenden.

  • Öffnen Sie die Energieoptionen in der Systemsteuerung und ändern Sie die Einstellung auf High Performance.

Einschränkungen

  • Der Si3 NG Deduplication Store wird für NSS- und MooseFS-Volumes nicht unterstützt.
  • Um Probleme zu vermeiden, die sich aus der Kombination von zu großen Si3-Deduplizierungsspeichern und ineffizienter Hardware ergeben, ist die maximale anfängliche Größe des Si3/Si3-NG-Deduplizierungsspeichers auf 40 TB beschränkt. Wenn Sie diese Grenze erhöhen müssen, wenden Sie sich an SEP Support.
  • Diese Einschränkung ist beim Erstellen eines neuen Si3/Si3-NG-Deduplizierungsspeichers in der GUI gültig.
Information sign.png Anmerkung
Es wird empfohlen, die Si3-Deduplizierung (SEP sesam Server oder RDS) auf dem physischen Host zu betreiben. Es ist auch möglich, sie auf einer virtuellen Maschine auszuführen. In diesem Fall ist zu beachten, dass die Deduplizierung viele Serverressourcen für das Lesen, Verarbeiten und Schreiben der deduplizierten Daten sowie für einige andere Deduplizierungsaufgaben wie Housekeeping und verschiedene Prüfungen verbraucht. Dies erfordert eine große Menge an IO und eine große Menge an Speicher. Die Leistung von Si3 kann durch andere virtuelle Maschinen, die auf demselben Host laufen, beeinträchtigt werden. Wenn Sie Si3 auf einer VM betreiben, sollten Sie sich daher über mögliche Engpässe und Schwachpunkte im Klaren sein.

Benötigte zusätzliche Menge an RAM und CPU-Kernen

Die Speicheranforderungen hängen von der Anzahl der gleichzeitigen Datenströme und der erwarteten Arbeitslast ab. Die folgenden Tabellen zeigen die empfohlene minimale zusätzliche Menge an RAM und CPU-Kernen (Cores) für einen Si3/Si3-NG-Datenspeicher, um eine gute Leistung zu gewährleisten. Der TB-Wert entspricht der Kapazität des Si3/Si3-NG-Datenspeichers.

Information sign.png Anmerkung
Beachten Sie, dass die angegebenen Anforderungen nur die Forderung nach Deduplizierung repräsentieren. Zusätzlich zu diesen Anforderungen sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.
Kapazität des Si3/Si3-NG-Datenspeichers

(bitte beachten Sie die anfängliche Größenbeschränkung)

RAM
<20 TB mindestens 16 GiB
20-40 TB mindestens 32 GiB

Die folgende Tabelle zeigt die Anzahl der benötigten CPU-Kerne für einen Si3/Si3-NG-Datenspeicher. Der TB-Wert ist die Menge der gesicherten Daten (vor der Deduplizierung)!

Gesicherte Daten (vor Deduplizierung) CPU Kerne Anmerkung
10 TB 4
20 TB 4
40 TB 8
Anmerkung

Dies ist die Mindestanzahl, um eine gute Leistung zu gewährleisten. Je nach Anzahl der gleichzeitigen Streams können mehr Kerne erforderlich sein.


Verwendung der CLI für die Si3 Datenspeicherkonfiguration

SEP sesam bietet Befehlshilfsprogramme für die Konfiguration und Verwaltung von Si3 Datenspeichern. Der folgende Abschnitt enthält einige Beispiele für Befehle und Syntax.

Information sign.png Anmerkung
Sie müssen SEP sesam Administratorrechte haben, um SEP sesam CLI-Befehle ausführen und die Eingabeaufforderung als Administrator verwenden zu können. Alle Befehle werden aus dem Verzeichnis <SESAM_ROOT>/bin/sesam/ ausgeführt. Wenn Sie SEP sesam Befehle global (und nicht aus dem eigentlichen run-Verzeichnis) ausführen möchten, setzen Sie das SEP sesam Profil wie in Wie setze ich ein Profil? beschrieben.

Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Datenspeichers, da beide Parameter beim Anlegen benutzt werden.

Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Deduplication Store zu konfigurieren. Weitere Details finden Sie weiter unten im Abschnitt sm_dedup_interface.

stpd_conf

Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf gespeichert.

Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.

bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini
 [DEDUP]
 Backend=dedup
 Hostname=localhost
 defaultRepoPath="/datastore/ds1/ds1"
 maxPages=481900
 port=11703
 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M"

 [DISK_STORE]
 Storage_Location=/datastore/ds1/ds1
 Size=1000GB
 backend=dedup
 hostname=localhost
 port=11703
sm.ini

Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.

Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl java -XX:+PrintFlagsFinal aus und suchen Sie nach MaxHeapSize (-> Xmx) und InitialHeapSize (-> Xms).

max_pages

Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.

Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert. Wenn Sie Probleme mit dem Index haben, wenden Sie sich bitte an SEP sesam Support.

Fortgeschrittene CLI Administration

Die beiden wichtigsten Wartungsaufgaben von Si3 sind die Garbage Collection (Aufräumprozess gc) und der File System Check (Dateisystemüberprüfung fsck) und laufen automatisch. Die Garbage Collection wird vom sm_start während des SEP sesam Tageswechsel gestartet. Der File System Check (fsck) wird in regelmäßigen Abständen (immer wieder) und automatisch bei jeder Sicherung durchgeführt.

Die neue Generation des Si3 Deduplication Store verfügt über zwei Arten der Dateisystemprüfung (fsck): der Object Check (Objektprüfung occk), der prüft, ob der Si3-Datenteil noch lesbar ist, und der Page Check (Seitenprüfung pcck), der die physischen Daten auf der Festplatte überprüft. Alle Prozesse können gleichzeitig ablaufen.

Sie können deren Status überprüfen oder die Aufträge manuell starten/stoppen.

sm_dedup_interface

Dies ist das wichtigste Dienstprogramm für die Konfiguration und Verwaltung von Datenspeichern. Nachstehend finden Sie eine Liste einiger Befehle und ihrer Verwendung.

Information sign.png Anmerkung
Je nach verwendetem Deduplizierungsspeicher, Si3-V1 oder Si3, können einige der Befehle leicht unterschiedlich sein. Wenn es relevant ist, werden beide Befehlsversionen beschrieben.

sm_dedup_interface -d <Datenspeicher> <Befehl>

  - purge
  - objectinfo <Remote Dateiname>
  - put <Eingabe Dateiname> <Ziel Dateiname>
  - get <Remote Dateiname> <Ziel Dateiname> [<Bytes zu überspringen> [<am Anfang gelesene Bytes>]]
  - delete <Remote Dateiname> [<Dateiname 2>]*
  - getlabel
  - getuuid
  - list
  - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <Datei>|fsck incr start from <Datei>]
  - gc <start|stop|status|result>
  - key <set <Schlüssel> <Wert>|get <Schlüssel>|list>
  - log@server <msg>
  - propose serverconfig <Repository Netto GiB>
  - propose jvmconfig <Repository Netto GiB> (für den Si3 V1 Speicher; leicht abweichende Verwendung für Si3, siehe Anmerkunga)
  - snapshot
  - replicate from [-f] <Remote Hostname> <Remote Port> <Remote Dateiname>
  - replicate show
  - replicate abort <Auftrags-ID>
Anmerkunga

Je nach verwendetem Deduplizierungsspeicher, Si3 V1 oder Si3, unterscheidet sich der Befehl leicht, mit dem Sie herausfinden können, wie viel RAM bei welcher Kapazität benötigt wird. Beispiel:

Si3
Verwenden Sie den Befehl sm_dedup_interface -T dedup2 propose jvmconfig <Si3_Kapazität>.
Si3 V1
Verwenden Sie den Befehl sm_dedup_interface propose jvmconfig <Si3_ Kapazität>.

Die Ausgabe von MaxDirectMemorySize ist der erforderliche RAM-Wert.
Beachten Sie jedoch, dass SEP sesam den RAM-Verbrauch berechnet und diese Befehle im Hintergrund verwendet. Ein manuelles Einstellen der Werte ist in der Regel nicht erforderlich. Diese manuellen Änderungen werden mit der nächsten Laufwerkskonfiguration überschrieben.
Die Indexberechnung ist ebenfalls mit dem Befehl verbunden. Wenn der Index wächst und zu 95% voll ist, können keine Sicherungen mehr durchgeführt werden. Der RAM muss den gesamten Index (beschrieben durch max_pages) im Speicher halten. Die MaxDirectMemorySize hängt direkt von max_pages ab. Um die Probleme mit dem wachsenden Index zu lösen, lesen Sie bitte Si3 Deduplication Problembehebung.

Besondere Optionen

Die meisten Parameter sind nur für den internen Gebrauch bestimmt.

status

Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.

Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.

gc start
  • Startet Garbage Collection.
  • Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
  • Wird von SEP sesam mit sm_start gestartet.
gc stop
  • Stoppt Garbage Collection.
  • Kann später wieder gestartet werden.
gc status
Beispiel einer Si3 GC Statusausgabe
sm_dedup_interface -d 3 gc status
Current gc status:
 State:                       Finished
 Started:                     2022-03-07 08:10:56
 Ended:                       2022-03-07 10:00:15
 Message:                     Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
STATUS=SUCCESS MSG=Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
get
  • Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDIN zu spezifizieren.
put
  • Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDOUT zu spezifizieren.
fsck
  • Startet eine Datenspeicherprüfung.
  • Muss manuell gestartet werden.
  • Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
fsck status
Zeigt den aktuellen Status oder den Status der letzten Datenspeicherprüfung an.

Der Si3 Deduplication Store verfügt über zwei Arten von fsck: der Object Check (Objektprüfung occk), der prüft, ob der Si3-Datenteil noch lesbar ist, und der Page Check (Seitenprüfung pcck), der die physischen Daten auf der Festplatte überprüft. Alle Prozesse (gc, occk und pcck) können gleichzeitig ablaufen.

purge
  • Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
  • Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
  • getlabel und getuuid können durch status ersetzt werden

Protokollierung

Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.

Info Protokollierung
  • gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
  • /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
    • sm_dedup_server_info-<drive>.log: INFO Protokollstufe und höher.
    • sm_dedup_server-<drive>.log: DEBUG und höher. Diese Datei kann sehr groß werden.
    • sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
    • sm_dedup_fsck-<drive>.log: Dateisystem-Prüfprotokoll.
  • Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.

Dateien und Verzeichnisse

Objekt

Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:

  • <ssid>.data
  • <ssid>.info
  • <ssid>.info2

Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.

Verzeichnisse

Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam Datenspeicher und hat nichts mit dem Si3 Deduplication Store zu tun. Er wird in einer zukünftigen Version entfernt werden.


Wie geht's weiter?

Nach Konfiguration des Si3/Si3 NG Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre |Sicherungs-Strategie aufsetzen.

Siehe auch

Konfiguration eines Si3 Deduplication StoreSEP Si3 quellseitige DeduplizierungReplikationSi3 Deduplication ProblembehebungSEP Tachometer

Copyright © SEP AG 1999-2024. Alle Rechte vorbehalten.
Jede Form der Reproduktion der Inhalte dieses Benutzerhandbuches, ganz oder in Teilen, ist nur mit der ausdrücklichen schriftlichen Erlaubnis der SEP AG gestattet. Bei der Erstellung dieses Benutzerhandbuches wurde mit größtmöglicher Sorgfalt gearbeitet, um korrekte und fehlerfreie Informationen bereit stellen zu können. Trotzdem kann die SEP AG keine Gewähr für die Richtigkeit der Inhalte dieses Benutzerhandbuches übernehmen.