Cloud Storage Benutzerhandbuch - 3. Details
Personal Cloud Storage → Persönlicher Speicher für Mitarbeiter & Studierende mit exklusiven Zugriffsrechten
Das persönliche Verzeichnis (Personal Cloud Storage) ist Ihr persönlicher Speicherplatz auf dem Online-Speicher. Es ist über den Pfad \\nas.ads.mwn.de\<Kennung> erreichbar (z. B. \\nas.ads.mwn.de\ne23mek).
Auf diesem Weg ist nur das eigene Verzeichnis sichtbar – persönliche Dateiablagen anderer Benutzer können nicht eingesehen werden.
Der persönliche Speicher bietet Snapshots als Datensicherung an. Sie bieten eine einfache Möglichkeit versehentlich gelöschte, geänderte oder beschädigte Dateien oder Verzeichnisse zu rekonstruieren. Jeder Benutzer kann selbst (benutzergesteuertes Recovery) ältere Versionen finden und restaurieren, ohne sich an einen Administrator, Servicedesk etc. wenden zu müssen.
Hinweis: Das Quota des persönlichen Speicherbereichs kann nicht für einzelne Nutzer vergrößert werden. Einmal jährlich wird über eine globale Quota-Erhöhung der persönlichen Speicherbereiche unter Einbeziehung diverser Randbedingungen befunden und gegebenenfalls ein höheres Quota eingeführt. Angaben zum aktuellen Quota finden Sie hier.
Um auf den Speicher zuzugreifen gelten die Erläuterungen im Bereich Zugriff auf den Speicher.
Mitarbeitende, Studierende und Gäste verfügen auf dem Personal Cloud Storage über einen persönlichen Speicherplatz (Stand: ).
- mit einer maximalen Kapazität von derzeit 400 GB (= Quota) und
- einem Limit von 1.200.000 Dateien (inkl. Verzeichnissen)
Institutional Cloud Storage → Gemeinsamer Speicher für Fakultäten, Einrichtungen und Projekte (gesicherter Share)
Für die Zusammenarbeit und den Datenaustausch mit anderen Benutzern können Projektlaufwerke (Institutional Cloud Storage) angelegt werden. Ähnlich wie jeder Nutzer einen persönlichen Speicherplatz (Personal Cloud Storage) hat, ist es möglich, Lehrstühlen oder einzelnen Projekten Speicherplatz zuzuteilen. Diesen kann dann eine, durch einen Lehrstuhladministrator verwaltete Benutzergruppe gemeinsam nutzen. Zugriffsrechte können auf den gemeinsamen Bereichen feingranular vergeben werden. Bitte beachten Sie die Informationen zum sinnvollen Einsatz eines Projektspeichers sowie den Grenzen der Nutzung.
Fakultäten, bzw. zentrale Einrichtungen verfügen im Normalfall bereits über einen eigenen gemeinsamen Speicher. Wenn Sie ein Projektverzeichnis nutzen möchten, wenden Sie sich bitte an den IT-Support Ihrer Einrichtung, oder falls bekannt an Ihren zuständigen Lehrstuhladministrator. Um auf den Speicher zuzugreifen gelten sinngemäß die Erläuterungen im Bereich Zugriff auf den Speicher.
Der Projektspeicher ist anhand der Organisationsstruktur der Einrichtung aufgebaut. Hier am Beispiel der TUM:
Einrichtung/Fakultät | Kürzel | Share |
Zentrum Mathematik | MA |
|
Fakultät für Wirtschaftswissenschaften | WI |
|
Fakultät für Bauingenieur- und Vermessungswesen | BV |
|
Fakultät für Architektur | AR |
|
| Fakultät für Chemie | CH | \\nas.ads.mwn.de\tuch |
Fakultät für Maschinenwesen | MW |
|
Fakultät für Elektrotechnik und Informationstechnik | EI |
|
Fakultät für Informatik | IN |
|
Wissenschaftszentrum Weihenstephan | WZ |
|
... und weitere | ... |
|
Der Speicherplatz einer Fakultät oder einer zentralen Einrichtung kann für Lehrstühle, Abteilungen oder spezielle Projekte weiter unterteilt werden. Diese Einteilung obliegt dem Fakultätsadministrator (auch: Information Officer - IO) der Fakultät oder eines von ihm bestimmten Vertreters. Der Bereich z.B. für einen Lehrstuhl wird mit einem dreistelligen Kürzel versehen und erhält ein eigenen Quota. Die zentrale Verwaltung (Kürzel: ZV) der TUM (Kürzel: TU) ist z.B. unter \\nas.ads.mwn.de\tuzv erreichbar. Sie hat eine Untereinheit „Zentrale Abteilung 7 – EDV“ mit dem Kürzel „ZA7“ und dem Share-Namen „TUZVZA7$“. Der Speicherbereich zur Dateiablage „TUZVZA7$“ kann auf zwei Arten erreicht werden:
- Über den Share
\\nas.ads.mwn.de\tuzvder Einrichtung zentrale Verwaltung. Hier ist dann der Speicherbereich der Untereinheit „ZA7“ als Ordner mit der Benennung „za7“ sichtbar. - Ebenso kann die „direkte“ Adresse des Shares der Untereinheit „ZA7“ angegeben werden:
\\nas.ads.mwn.de\tuzvza7$.
Innerhalb jedes Projektlaufwerks (Institutional Cloud Storage) einer Organisation existiert ein Verzeichnis namens "public". Auf dieses Verzeichnis haben alle Mitglieder der Einrichtung (z. B. der TUM oder LMU) einen Lesezugriff.
Zur Authentifizierung ist im Gegensatz zum optional erhältlichen Verzeichnis "www-public" ein Login nötig. Die Schreibberechtigungen können vom Teiladministrator der Organisation vergeben werden.
Temporary Cloud Storage → Temporärer Speicher (öffentlicher Share)
Auf das temporäre Verzeichnis kann unter dem Pfad \\nas.ads.mwn.de\mwntemp zugegriffen werden.
Alle Benutzer können jeweils bis zu 10 GB oder 50.000 Dateien in der temporären Dateiablage speichern. Damit können sehr einfach Dokumente ausgetauscht werden, ohne einen Projektordner zu benutzen.
Der Inhalt der temporären Ablage wird nach 48 Stunden automatisch gelöscht, so dass hier keine längerfristig benötigten Dateien abgelegt werden sollten. Im Gegensatz zu den anderen Ablagebereichen werden nur die letzten 24 Stunden in Snapshots gesichert (6 Snapshots, alle 4 Stunden).
Da keine Rechte gesetzt werden, können ALLE Benutzer des Online-Speichers auf diese Dateien zugreifen!
ISAR Cloud Storage → Integrated Simple ARchive
Barrierefreiheit
Diese Seite enthält bei Bildern/Grafiken alternative Texte.
Beschreibung
Mit dem Integrated Simple ARchive (ISAR) Cloud Storage können Teiladministrator:innen des MWN-ADS Daten vom Cloud Storage nas.mwn.de in einen Online-Archivierungsbereich verschieben. Die Daten auf dem ISAR Cloud Storage werden zehn Jahre online vorgehalten und zusätzlich im Archiv- und Backupsystem des LRZ gesichert. Nach der Vorhaltezeit von 10 Jahre erfolgt eine automatische Gleitlöschung der Dateien vom Dateisystem des ISAR Cloud Storage. Nach einer solchen Löschung stehen die Daten weitere 10 Jahre aus dem Archiv- und Backupsystem des LRZ für einen Restore zur Verfügung. Damit bietet der ISAR Cloud Storage eine bequeme Möglichkeit für Einrichtungen im MWN, aufhebungswürdige Daten langfristig auf ein Plattensystem am LRZ auszulagern, ohne sich mit einem Archivierungssystem selbst zu beschäftigen.
Der ISAR Cloud Storage ist kein Ersatz für ein Backup von Servern oder Dateiablagen! Hierfür nutzen Sie bitte das Archiv- und Backupsystem des LRZ.
Aufbau
Der ISAR Cloud Storage ist erreichbar über den "Fully Qualified Domain Name" (FQDN) isar.mwn.de. Die Ordnerstruktur auf dem ISAR Cloud Storage ist an die Fakultäts- und Lehrstuhlstruktur auf dem Cloud Storage nas.mwn.de angelehnt. Unterhalb jedes Lehrstuhls ist ein dedizierter Ordner 01_ISAR für die Ablage der Dateien für die Online-Archivierung eingerichtet, der nicht verändert werden kann. Nur Ordner und Dateien unterhalb des Ordners 01_ISAR werden über das Archiv- und Backupsystem gesichert und weitere 10 Jahre aufbewahrt.
Teiladministrator:innen können keine NTFS-Berechtigungen anpassen. Die Berechtigung für den Zugriff auf den ISAR Cloud Storage wird über die Gruppe MNFKLS1GM-ISAR-Admins der jeweiligen Einrichtung im MWN-ADS gesteuert. Die Berechtigung für den ISAR Cloud Storage muss über den IT-Support der TUM oder des LRZ angefragt werden.
Schreibender Zugriff
Der schreibende Zugriff für den ISAR Cloud Storage ist ausschließlich Teiladministrator:innen vorbehalten und kann auch nicht weiter delegiert werden.
Lesender Zugriff
Ein lesender Zugriff für Angehörige der jeweiligen Einrichtung kann über die jeweilige Gruppe MWNFKLS1GM-ISAR-READERS im Teilbereich der Einrichtung im MWN-ADS eingerichtet werden. Die Mitgliedschaft in der Readers-Gruppe kann von den Teiladministrator:innen selbst verwaltet werden.
Nutzung
Teiladministrator:innen können derzeit auf den Ablagebereich des ISAR Cloud Storage aus dem ganzen MWN zugreifen. Wir empfehlen, über den Managementserver auf den ISAR Cloud Storage zu zugreifen und Daten abzulegen. Alle herkömmlichen Methoden unter Windows werden dabei unterstützt. Beachten Sie aber bitte dabei die Einschränkungen zur Pfadlänge mit dem Windows Explorer. Bitte legen Sie nicht viele Millionen von einzelnen kleinen Dateien ab, sondern packen Sie diese Dateien entsprechend, da die maximale Anzahl von Dateien aus Performancegründen limitiert ist.
Nach der Übertragung der Daten in den ISAR Cloud Storage werden die Dateien zeitversetzt automatisch ins Archiv- und Backupsystem des LRZ auf Band geschrieben. Es empfiehlt sich, die Dateien mindestens noch vier Wochen online vorzuhalten, bis die Daten auf Band geschrieben sind. Bei der Benennung des Ablageordners auf der ISAR Cloud Storage sollten Teiladministrator:innen auf eine eindeutige Namensgebung achten, um Dateien leichter wieder zu finden und ein versehentliches Überschreiben von Dateien im Backupsystem zu verhindern.
Windows Explorer
Sie können die zu archivierenden Dateien wie gewohnt mit dem Windows Explorer auf den ISAR Cloud Storage kopieren. Dabei sollten Sie aber die Einschränkung für die Pfadlänge von 255 Zeichen beim Windows Explorer berücksichtigen. Die Pfadlänge kann zu Problemen führen, weshalb wir von der Nutzung des Windows Explorer bei tieferen Ordnerstrukturen abraten.
Dateimanager Totalcommander
Als Ersatz für den Windows Explorer für das Übertragen von Dateien empfehlen wir den auf dem Managementserver vorinstallierten Dateimanager Totalcommander. Das Tool findet sich als Desktopverknüpfung auf dem Management-Server Managementserver. Totalcommander kann mit langen Pfaden umgehen (keine Beschränkung der Pfadlänge auf 255 Zeichen wie beim Windows Explorer). Der/die Nutzende wird bei Pfadlängen über 255 Zeichen darauf hingewiesen, der Dateimanager kopiert die Dateien aber trotzdem.
Einfaches Kopieren von Dateien mit Drag und Drop:
Vergleichen von Ordnerstrukturen über "Befehle - Verzeichnis synchronisieren ...":
Kommandozeile - Robocopy
Für erfahrene Teiladministrator:innen, die mit der Verwendung von Kommandozeilen vertraut sind, empfiehlt sich die Verwendung von Robocopy. Hiermit lassen sich Ordnerstrukturen einfach übertragen. Am Ende des Vorgangs erfolgt eine detaillierte Zusammenfassung.
Übertragen des Ordners Projektedaten und dessen Inhalt auf die ISAR Cloud Storage in einen Ordner Projektdaten:
Robocopy.exe \\nas.ads.mwn.de\mnfk\ls1\Projektdaten \\isar.mwn.de\mnfk\ls1\01_ISAR\Projektdaten /e
Spiegeln des Ordners Projektdaten und dessen Inhalt, dabei werden alle Dateien gelöscht, die auf dem Ziel System zu viel sind:
Robocopy.exe \\nas.ads.mwn.de\mnfk\ls1\Projektdaten \\isar.mwn.de\mnfk\ls1\01_ISAR\Projektdaten /mir
Überprüfung, ob alle Dateien aus dem Ordner Projektdaten übertragen wurden, ohne dabei Dateien zu übertragen:
Robocopy.exe \\nas.ads.mwn.de\mnfk\ls1\Projektdaten \\isar.mwn.de\mnfk\ls1\01_ISAR\Projektdaten /e /l /ns /ndl /fp
Logs
Unterhalb des Verzeichnisses 00_LOGS jeder Einrichtung finden sich Informationen zu den letzten TSM-Backup-Läufen der Einrichtung und ein Auszug aller für den Bereich gesicherten Daten im jeweiligen TSM-Node. Die Log-Dateien und Auszüge werden auch in den jeweiligen TSM-Node der Einrichtung mitgesichert. Die Logs liegen ab dem 1.4.2019 vor. Vor diesem Zeitpunkt existieren nur eingeschränkt Backup-Logs.
ISAR_Archived
Im Verzeichnis \\isar.ads.mwn.de\MNFK\LS1\00_LOGS\ISAR_Archived wird einmal wöchentlich ein Auszug aller in dem TSM-Node Ihrer Einrichtung gesicherten Dateien erzeugt und abgelegt. Sie finden hier Informationen, wann die Datei gesichert wurde, und die genaue Pfadangabe zu der Datei.
ISAR_BackupLogs
Ein Scheduler auf der ISAR startet täglich zweimal eine Sicherung der Daten an. Die Volumes werden der Reihe nach gesichert. Je nach Auslastung aufgrund des neu hinzugekommen Datenaufkommens werden die einzelnen Volumes abgearbeitet. Das Log über die letzten TSM-Sicherungsläufe wird im Verzeichnis \\isar.ads.mwn.de\MNFK\LS1\00_LOGS\ISAR_BackupLogs abgelegt. Die Backuplogs werden mit dem Zeitstempel benannt und sind sieben Tage online in dem Verzeichnis zu finden.
Sinnvolle, nicht empfohlene und falsche Einsatzmöglichkeiten des Cloud Storage
Während der Institutional Cloud Storage ganz vorzüglich zur Ablage von Dokumenten und für die Nutzung durch Arbeitsgruppen geeignet ist, passt er nicht zu jedem Einsatzbereich. Dieser Artikel nennt die wichtigsten Kriterien für sinnvolle, nicht empfohlene und falsche Einsatzmöglichkeiten:
Sinnvolle Einsatzmöglichkeiten des Cloud Storage
Ersatz von lokalen Dateiservern für Dokumente
Kleine Arbeitsgruppen mit 10-100 Mitarbeitern haben oft eigene Fileserver mit einigen Terabyte Speicherplatz. Diese können ohne weiteres auf den Institutional Cloud Storage (Projektspeicher) migriert werden. Die lokalen Fileserver können dann aufgelöst werden.
Lehrstuhl-, Fakultäts- und Uni-übergreifende Projekte
Wenn in einem Projekt Mitarbeiter aus unterschiedlichen Bereichen einer Universität zusammenarbeiten sollen, kann eines der beteiligten Institute einen Teil des eigenen Speicherbereiches für das Projekt freigeben und allen Projektmitarbeitern Zugriffsrechte gewähren.
MWN-weiter Dateizugriff
Innerhalb des gesamten MWN haben Sie Zugriff auf Ihre Daten. Das LRZ stellt sicher, dass auch lokale Firewalls innerhalb des Münchner Wissenschaftsnetzes den Datenverkehr zu den Dateidiensten auf den LRZ Cloud Storage durchlassen. Das ist mit eigenen Fileservern nicht leicht umzusetzen, da die CIFS-typischen Ports oft blockiert werden. Sollten lokale Firewalls am Lehrstuhl (oder/und dem eigenen Rechner) den Zugriff sperren müssen die zuständigen Administratoren gebeten werden den Zugang für die CIFS-Ports und IP-Adressen freizuschalten.
Remote Access - Zugriff aus der Ferne
Der Zugriff auf die Dateidienste ist über das LRZ-VPN weltweit möglich. Da die Dateidienste SMB 2.x und 3.x unterstützen ist die Performance über WAN-Leitungen recht gut. Steht kein VPN zur Verfügung, kann mit einem Web-Browser über die Webdisk (https://webdisk.ads.mwn.de) auf die Daten zugegriffen werden.
Speicherplatz für CIP-Pools
Zentrale Rechnerräume können für die Dateidienste konfiguriert werden. Damit können die Benutzer sehr einfach von jedem Rechner im CIP-Pool auf ihre Dateien zugreifen.
Nicht empfohlene Nutzung des Cloud Storage
Serverbetrieb auf den Dateidiensten
Wenn Applikationen mit intensiver I/O mit einzelnen Dateien (Messdatenanalyse, Übersetzen von Programmen etc.) auf dem LRZ Cloud Storage betrieben werden und der bearbeitende Rechner lokal steht, ist mit Leistungseinbußen zu rechnen. Testen Sie, ob die Leistung für Sie akzeptabel ist. Sollte die Last auf den Speichersysemen zu stark steigen behält sich das LRZ vor den entsprechenden Speicherbereich bezüglich IOPs und/oder Datendurchsatz zu drosseln. Alternativ sollten Sie darüber nachdenken, Server und Daten entweder lokal zu halten oder beides auf eine, vom LRZ gehosteten Umgebung umzuziehen.
Speicherplatz für große Medien und Sensordaten
Die Dateidienste sind für umfangreiche Medien- und Sensordaten sowie als Speicher für GPU/GPGPU-Systeme (z.B. KI-Appllikationen, etc. ) weniger gut geeignet, da die Speichersysteme für diesen Zweck nicht konzipiert wurden. Wenn Sie sich für die Beibehaltung oder Anschaffung eines lokalen Fileservers entscheiden, empfehlen wir, den Fileserver in das zentrale Active Directory einzugliedern. Das Backup sollte mit Hilfe der Angebote des LRZ durchgeführt werden.
Wenn es darum geht, Daten für längere Zeit zu archivieren (gute wissenschaftliche Praxis), empfehlen wir den Archivierungsdienst des LRZ oder den ISAR Cloud Storage zu nutzen.
Image-basierte Verschlüsselung
Es wird nicht empfohlen, im größeren Umfang eine Image-basierte Verschlüsselung auf den Dateidiensten einzusetzen (z.B. Truecrypt mit sehr großen Verzeichnissen). Durch die Arbeitsweise dieser Verschlüsselungsverfahren entsteht aus dem ganzen Verzeichnisbaum nur eine einzige, große Datei, die durch den Fileserver nur als Ganzes behandelt werden kann. Eine Wiederherstellung einzelner Dateien des Originalverzeichnisses durch Snapshots ist daher nur mit Umwegen möglich. Zudem können mehrere Personen nicht mehr gleichzeitig auf den verschlüsselten Bereich zugreifen.
Falls Sie eine Verschlüsselung für nötig halten, empfehlen wir den Einsatz dateibasierter Verschlüsselungsverfahren (z.B. PGP). Bei jeder Verschlüsselung muss auf die langfristige Verwaltung der Schlüssel geachtet werden. Ein Schlüsselverlust bedeutet den unwiederbringlichen Verlust der Daten.
Falscher Einsatz des Cloud Storage
Es gibt einige Anwendungsfälle, bei denen wir von der Nutzung des zentralen Speichers explizit abraten.
Datenbankserver auf Projektspeicher
Es wird nicht empfohlen, Multiuser-Datenbanken oder andere Applikationen mit einem parallelen Zugriff durch mehrere Nutzer/Instanzen auf dem LRZ Cloud Storage zu betreiben. Die technische Konfiguration (aktivierte Oplocks) ist für den normalen Dateibetrieb optimiert und kann zu Problemen bis hin zum Datenverlust im Fall von Verbindungsunterbrechungen führen.
Gegen die Ablage z.B. einfacher Access-Datenbanken, die im Single-User-Modus betreiben werden, bestehen jedoch keine Einwände.
Backup
Der Projektspeicher soll nicht zur Ablage von Backups genutzt werden. Dafür bietet das LRZ spezifische Lösungen an, die nicht nur eine längere Aufbewahrungsdauer (mind. 6 Monate statt 4 Wochen) bieten, sondern für diesen Einsatzzweck auch optimiert sind.
Home-Verzeichnisse für Linux/Unix
Native Home-Verzeichnisse für Linux/Unix-Server sind derzeit nicht möglich, da kein NFS angeboten wird und die CIFS-Clients einige Unix-Spezialitäten (Softlinks) nicht unterstützen. Es ist aber ohne weiteres möglich, Projektspeicher oder den persönlichen Speicher als Unterverzeichnis im Home-Verzeichnis bereitzustellen. Die CIFS-Semantik bereitet dann auch keine Probleme bei der gemeinsamen Nutzung von z.B. Office-Dokumenten.
Offline Folder
Offline Folder führen im täglichen Betrieb immer wieder zu Probleme, da teilweise die Synchronisation zum Speichersystem aussetzt bzw. nicht mehr ordnungsgemäß funktioniert. Dies kann dazu führen, dass Dateien nicht bzw. nur ältere Versionen einer Datei auf dem Speichersystem gespeichert wurden. Aus diesem Grund wird die Verwendung von Offline Folder NICHT empfohlen!