Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) betreibt das Münchner Wissenschaftsnetz (MWN). An dieses Netz sind die Standorte der Münchner Hochschulen, viele Studentenwohnheime, sowie einige außer-universitäre Einrichtungen wie z.B. die Bayerische Staatsbibliothek, Museen und Institute der Max-Planck- sowie der Fraunhofer-Gesellschaft angeschlossen. Insgesamt sind ca. 100.000 Endgeräte angebunden. Das MWN besteht aus einem Backbonenetz, an dem über Router und Switches die Netze der Einrichtungen an den verschiedenen Standorten angebunden sind. Die Router und Switches sind untereinander je nach Bandbreitenbedarf des einzelnen Standorts mittels Ethernet (100 Mbit/s bis 100 Gbit/s) verbunden. Das physikalische Medium besteht in der Regel aus Glasfaserstrecken, die von der Deutschen Telekom AG oder der Firma M-net langfristig angemietet wurden.

Neben dem Betrieb des Hochschulnetzes ist das LRZ als Kompetenzzentrum für Datenkommunikation bei der Erforschung neuer Netztechniken tätig. Hier sind beispielsweise die Projekte Customer Network Management für das X-WiN, D-GRID, Géant3 End-to-End Monitoring, Géant3 I-SHARe und Saser-Siegfried (Safe and Secure European Routing) zu nennen.

Hochschulnetze

Das MWN verbindet vor allem Standorte der Ludwig-Maximilians-Universität München (LMU), der Technischen Universität München (TUM), der Bayerischen Akademie der Wissenschaften (BAdW), der Hochschule München (HM) und der Hochschule Weihenstephan-Triesdorf (HSWT) miteinander. Diese Standorte sind über die gesamte Münchner Region (i.w. Münchner Stadtgebiet, Garching und Weihenstephan) verteilt, dazu kommen einige weiter entfernte Lokationen in Bayern, z.B. in Straubing, Triesdorf, Iffeldorf, auf dem Wendelstein oder auf der Zugspitze.

Das LRZ ist für das gesamte Backbonenetz und die angeschlossenen Gebäudenetze zuständig. Ausnahmen sind die internen Netze der Medizinischen Fakultäten der Münchner Universitäten (Rechts der Isar (TUM), Großhadern und Innenstadt-Kliniken (LMU)), der Hochschule München sowie der Informatik der TUM. Sie werden von lokalen Betriebsgruppen betreut, das LRZ ist jedoch für die Anbindung dieser Netze an das MWN und darüberhinaus an das Internet zuständig.

Als Ansprechpartner an den Instituten fordert das LRZ die Benennung sogenannter Netzverantwortlicher, welche die lokalen Adressräume verwalten und bei der Klärung von Netzproblemen oder missbräuchlicher Netznutzung mithelfen.

Für Wartungsarbeiten (z.B. Austausch von Switches) ist ein Zeitfenster Dienstags von 7:00 Uhr bis 9:00 Uhr definiert. Der Umfang und die Dauer der Arbeiten werden jeweils am Tag zuvor über die aktuellen LRZ-Informationen auf dem LRZ-Webserver und zusätzlich per E-Mail an alle Netzverantwortlichen angekündigt.

Standorte

Die Standorte des MWN sind über die gesamte Münchner Region verteilt (im Wesentlichen Münchner Stadtgebiet, Garching und Weihenstephan).

Die Lage und Anzahlen der versorgten Gebäude (= Unterbezirke) in den einzelnen Arealen haben wir zusammen mit den Anschlussleitungen in eine OpenStreetMap-Karte eingezeichnet. Je nach Größe und Verkehrsaufkommen des einzelnen Standorts erfolgt die Anbindung mit unterschiedlichen Technologien und Bandbreiten (Übersicht). Dazu sind 41 Glasfaserleitungen von der Deutschen Telekom und 36 Glasfaserleitungen von M-net langfristig angemietet. Im Rahmen des NIP (Netz-Investitions-Programm der Hochschulen) und in eigener Regie wurden in einzelnen Campusbereichen auch Glasfaserleitungen selbst verlegt (Garching, TU-Stammgelände, LMU Stammgelände usw.). Kleinere Standorte sind über DSL-Anbindungen der Telekom oder über SDSL von M-net  angeschlossen. Wo dies möglich ist kommt auch Glasfaser SDSL von M-net zum Einsatz.

Die Leitungen werden Bedarfsgerecht mit folgenden Technologien betrieben:

• Liste aller Unterbezirke des MWN

Transportierte Protokolle

Über Routerports hinweg wird nur TCP/IP geroutet. Beim Übergang in das Internet werden einige Ports gefiltert. Näheres dazu ist auf der Seite Beschränkungen und Monitoring im Münchner Wissenschaftsnetz dokumentiert.

Neben IPv4 wird auch  IPv6 unterstützt. Das LRZ besitzt einen eigenen, global gültigen IPv6-Adressblock (2001:4ca0::/32). Jede administrative Einheit erhält ein /48-Netz. Alle wichtigen Server des LRZ unterstützen inzwischen IPv6.

IP-Netze im MWN

Welche IP-Netze gibt es im MWN

• whois -i origin AS12816 | grep ^route   (Anfrage auf einem Linux Rechner in der RIPE Datenbank mit der AS Nummer des LRZ, hier das selbe als Web-Abfrage auf RIPE , für den Rest der Betriebssysteme)
• rfc1918 private IPs

Verschlüsselung

Die Verbindungen zwischen den MWN-Standorten sind im Regelfall nicht verschlüsselt. Bei den meisten Standorten handelt es sich um dedizierte angemietete Leitungen, ein Angriff ist daher unwahrscheinlich.

Bei sensiblen Datenübertragungen muss daher darauf geachtet werden, dass das verwendete Protokoll Transportverschlüsselung verwendet. Alternativ kann auch ein VPN-Tunnel aufgebaut werden, um den Datenverkehr bis ins LRZ zu verschlüsseln.

Eingesetzte Netzkomponenten

Aus Support-Gründen (Management, Konfiguration, Logistik) wird im MWN für jedes Einsatzgebiet nach Möglichkeit nur eine Familie bzw. ein bestimmter Typ von Geräten eingesetzt.

Router Backbone: Cisco Nexus C7010 und C7710

Die Router im Backbone sind vom Typ Cisco Nexus C7010. Die Geräte sind voll redundant aufgebaut, Softwareupdates können ohne Unterbrechung des Betriebs erfolgen. Sie unterstützen Ethernetschnittstellen bis zu 100 Gbit/s, diese sind bisher aber nur auf der Verbindung zwischen dem LRZ und dem Garchinger Campusrouter im Einsatz. Die Weiterleitung der Datenpakete ist in Hardware auf den Linecards realisiert, die Switchingleistung erlaubt auch bei voller Bestückung die Weiterleitung mit der maximalen Datenrate ("non blocking"). (Herstellerinformationen)

Router Außenstandorte: Cisco 1900 und Cisco ISR 1100, Cisco ASR1001-X

Zur Anbindung über DSL angeschlossener Gebäude und kleinerer X-WiN Standorte betreiben wir einige Geräte der Typenreihen Cisco 1900 (Herstellerinformationen) und Cisco ISR 1100 (Herstellerinformationen). Bei großen Außenstandorten kommen auch 10GE-fähige Router vom Typ Cisco ASR-1001X zum Einsatz.

Router/Switch für Leaf&Spine: Cisco Nexus 9364C und Nexus 9336C-FX2

Zur Breitbandigen Anbindung der Rechner-Cluster und der VMware-Infrastruktur im LRZ wird eine Leaf&Spine Infrastruktur (Leaf&Spine Design) aufbauend auf Cisco Nexus 9364C (Herstellerinformationen) und Cisco Nexus 9336C-FX2 verwendet. Diese Geräte haben eine hohe Dichte an 40 GBit/s und 100 GBit/s Ports. Als Overlay wird VXLAN mit BGP EVPN eingesetzt.

Router für WLAN-Infrastruktur: Arista 7280SR

Für die zentrale Terminierung der WLAN-Benutzer kommen in Garching und im TUM-Stammgelände jeweils ein Pärchen Arista 7280SR zum Einsatz.

Switches: Hersteller Juniper, Huawei und HP

In Gebäudenetzen werden Switches des Typs HP Aruba eingesetzt. Diese Geräte sind modular aufgebaut und können bis zu 192 Anschlussports aufnehmen. Der Uplink zum Backbone ist bei zentralen Switches der größeren Standorte über 40 Gigabit-Ethernet (wo möglich redundant zu zwei Routern), bei den übrigen mit 10 Gigabit-Ethernet oder Gigabit-Ethernet realisiert. Die Geräte unterstützen VLAN-Tagging und SNMP-Management. Bei neueren Installationen wird der Typ Procurve 5400R eingesetzt, welcher die Stromversorgung über den Datenanschluss (Power over LAN, PoE) unterstützt.  (Herstellerinformationen)

In Bereichen wo eine hohe Dichte von 10 GBit/s und 40 GBit/s Ports benötigt werden (Rechenzentren, Serverräume) setzen wir Komponenten vom Typ HPE FlexFabric ein (Herstellerinformationen). In diesen Bereichen werden Features wie PoE (siehe oben) nicht benötigt aber VLAN-Tagging und SNMP-Management ist ebenso gefordert.

Layer 4/7-Switches (Service Load Balancer): Hersteller F5

Zum Zweck der Lastverteilung und Ausfallsicherheit wichtiger Server werden zwei Layer4 / Layer7-Switches (Service Load Balancer) des Typs F5 BigIP i5800 eingesetzt. Die beiden Geräte überwachen sich gegenseitig, bei einem Ausfall übernimmt der verbleibende Switch die Funktion des anderen (Active / Standby). Zurzeit sind u.a. WWW (Externer, Interner und Instituts-WWW-Server), LDAP, Radius und PAC-Server angeschlossen. (Herstellerinformationen)

Firewalls: PfSense (OpenSource) auf virtueller Infrastruktur

Das LRZ bietet für Institute und Organisationen im Münchner Wissenschaftsnetz (MWN) die Möglichkeit, eine virtuelle Firewall (VFW) auf LRZ-Hardware zu betreiben. Eine VFW besteht aus einem pfSense-Paar, das im Active-Passive-Modus betrieben wird. Aktive und passive pfSense sind sogenannte Virtuelle Maschinen (VM) und laufen jeweils auf eigenen ESXi-Hosts, die paarweise im MWN verteilt sind. Durch die Redundanz bei pfSense-Instanzen und ESXi-Hosts ist eine hohe Ausfallsicherheit gewährleistet. Die zu schützenden Subnetze werden über Virtuelle LANs (VLAN), einer logischen Netzschicht, zur jeweils zuständigen VFW geführt und dort gefiltert (LRZ-Dokumentation).

Anzahl: (jeweils ohne Medizin, ohne HM, ohne TUM Informatik)

Backbone

Das Gros der Glasfaserleitungen der Telekom endet im TU-Stammgelände, die von M-net im LMU-Stammgelände. Die Routerstandorte sind alle redundant vernetzt.

Die Art des Anschlusses einzelner Standorte an das Backbone des MWN ist abhängig vom transferierten Datenvolumen und der Größe des jeweiligen Standorts (Anzahl angeschlossener Endgeräte). Die Anschlussart wird im Rahmen des Netzmanagements sowie in Absprache mit den Nutzern bei Bedarf der jeweiligen Gegebenheit (Bandbreitenbedarf) angepasst.

Leaf&Spine

Leaf&Spine Netz des LRZs im Rechenzentrum für High-Performance-Computing (HPC)

LANs

Die meisten Gebäude-LANs werden zentral vom LRZ aus betreut. Als Übergabeschnittstelle wird in der Regel die Netzwerkdose angesehen. Das Management der einzelnen Instituts-LANs erfolgt in Absprache mit den Netzverantwortlichen, die dem LRZ zu benennen sind.
In definierten Fällen (Know-how im Institut vorhanden) kann als Übergabeschnittstelle auch die Schnittstelle im Router festgelegt werden. In diesen Fällen ist das LRZ lediglich für die Konnektivität zum MWN zuständig.

WLAN

An vielen, von den Universitäten gewünschten Standorten wird ein drahtloser Zugang zum MWN zur Verfügung gestellt. Zurzeit (Stand: Juni 2020) sind 4.700 Accesspoints in Betrieb. Das Angebot wird laufend erweitert, an allen Standorten werden die Standards 802.11n (WiFi-4) angeboten. Ein Großteil der Accesspoints unterstützt bereits 802.11ac Wave 2 (WiFi-5), mit einem Rollout von 802.11ax (WiFi-6) wird im Jahr 2020 begonnen. Als Accesspoints setzt das LRZ  AP-303H, AP-135, AP-215, AP-275, AP-325, AP-365 von Aruba (Controller-basiert) ein. Näheres findet man auf den Seiten WLAN und Eduroam. 

Managementsysteme

Die Netzmanagement-Plattform für alle Netzkomponenten ist Tivoli/Netcool von IBM. Zum Management der HP-Switches wird zusätzlich HPE IMC eingesetzt. Um den Kunden des Münchner Wissenschaftsnetzes jederzeit Informationen über den Zustand des Backbones liefern zu können, wird eine Übersichtsseite betrieben (MWN-Backbone-Status). Hiermit stehen Informationen zu Verfügbarkeit, Durchsatz, Auslastung des Backbonenetzes, sowie der Übergabepunkte zu unseren Internet-Providern bereit. Als Reporting-Tool verwenden wir Infovista.

Medizin / Wissenschaftsnetz

Die Netze der Standorte der Medizinischen Fakultäten Rechts der Isar (RdI), sowie Großhadern und der Innenstadt-Kliniken sind an das MWN mittels 10 Gigabit-Ethernet angeschlossen. Der Betrieb und die Struktur der entsprechenden Netze liegen in der Hand der jeweiligen Rechenzentren.

Studentenwohnheime

Das LRZ ermöglicht Wohnheimen eine feste Anbindung über Standleitung, DSL-Technik oder Funk an das MWN und damit an das Internet. Die Kosten der Anbindung hat der Heimträger zu übernehmen, für die Netznutzung werden aber keine Gebühren verlangt. Zurzeit sind insgesamt 49 Heime an das MWN angeschlossen, davon 33 Heime über eine Glasfaserleitung mit 100 MBit/s bis zu 10 Gbit/s, 2 Heime über Fibre-DSL mit 10 Mbit/s, 10 Heime über Funkverbindungen und 2 über DSL. In 2 Heimen betreibt das LRZ nur das WLAN, weitere 2 sind über einen VPN-Tunnel angebunden.

Außenanbindung

Das MWN ist über zwei Trunks von je zwei 100GE-Schnittstellen an das deutsche Wissenschaftsnetz (X-WiN) angeschlossen, wobei jeweils 110 GBit/s nutzbar sind. Ein Trunk wird über den X-WiN-Knoten in Erlangen, der andere über Garching geroutet. Über diese Anschlüsse wird normalerweise der gesamte Verkehr des Münchner Wissenschaftsnetzes von und nach außen, d. h. national in das X-WiN und international in das weltweite Internet abgewickelt. Pro Monat werden zurzeit ca. 3.000 TByte an eingehenden und 1.800 TByte an ausgehenden Daten transferiert.

Als Backup der Internet-Anbindung steht zusätzlich ein Anschluss mit der Bandbreite 10 GBit/s über den lokalen Provider M-net zur Verfügung. Dieser Anschluss wird nur im Falle einer Störung des X-WiN-Zugangs genutzt, die Umschaltung des Routings geschieht automatisch.

Die Entwicklung des Datenaufkommens zeigt das Diagramm auf der Seite https://monitoring.mwn.de/mrtg/X-WiN.html

Zugang über VPN

Für LRZ-Kunden mit Internetzugängen von fremden Providern (z.B. mit DSL-Anschluss) werden 5 VPN-Server (IPsec, SSLVPN) in einem Cluster betrieben, damit diese MWN-interne Dienste (z.B. Zugriff auf Onlinemedien der Universitätsbibliotheken) nutzen können.

Datenschutzpolicy

Verbindungsdaten wie IP-Adressen, Datenvolumina, Zeitstempel von Verbindungsaufbau und Abbau werden 7 Tage gespeichert. Eine Auswertung erfolgt nur für folgende Zwecke:

1. Identifizierung und Aufklärung von Netzmissbrauch

2. Bearbeitung von Netzstörungen

3. Kontrolle der Netzauslastung im MWN

Es werden keine Daten regelmäßig an Dritte übermittelt. Datenschutzerklärungen für die einzelnen Dienste der LRZ finden Sie auf der Seite http://www.lrz.de/datenschutzerklaerungen.

Kosten

Für die Nutzung des Münchner Hochschulnetzes und die Außenanbindung (Internet-Zugang) werden den satzungsmäßigen Nutzern bzw. Instituten (z.B. Universitäten und Hochschulen) derzeit keine Kosten in Rechnung gestellt. Andere Institutionen aus dem Bereich der Wissenschaft und Forschung, die nicht zu den satzungsmäßigen Nutzern gehören, können das Münchner Wissenschaftsnetz (MWN) gegen eine Kostenbeteiligung mitnutzen.

Der Betrieb des MWN-Backbones kostet jährlich etwa 1,6 Mio €. Darunter fallen sowohl die Kosten für die Leitungsgebühren der Draht-Strecken bzw. die laufenden Wartungskosten für die gemieteten Glasfaserstrecken an die Telekom bzw. M-net, die Wartungskosten für die Netzkomponenten sowie anteilsmäßig die Investitionskosten für neue Netzkomponenten. Personalkosten für den Betrieb der Infrastruktur sind hierbei nicht eingerechnet.

Für die Außenanbindung (X-WiN-Anschluss) müssen pro Jahr zusätzlich knapp 1 Mio € aufgewendet werden.

Anstehende Erweiterungen

TUM

Leider genügt die vorhandene Verkabelungsstruktur in den Hochschulgebäuden nicht überall den aktuellen Anforderungen. In einigen wenigen Gebäuden der TUM gibt es immer noch Koaxkabel, diese werden baldmöglichst durch eine strukturierte Verkabelung ersetzt. Andere Gebäude sind nur mit 4-Drahttechnik ausgerüstet, hier wurden Mittel für eine Ersetzung genehmigt. Im Gebäude des Maschinenwesens ist die Ersetzung bereits im Gange.

LMU (NIP)

(NetzInvestitionsProgramm) Phase V

Bei der LMU wird mit Hilfe von NIP die Netz-Struktur alter Gebäude nach und nach saniert.  Wegen der großen Anzahl der Anschlüsse wird die Sanierung aber längere Zeit dauern.

Federführend für die Verkabelung ist nicht das LRZ, sondern die einzelnen Universitäten. Finanziert werden die Maßnahmen im Rahmen des Bayern-weiten Netz-Investitions-Programms.