Virtualisierung von Exchange Server 2013

Die Virtualisierung von Exchange ist nicht neu und war bereits seit Exchange 2003 mit VMware eine Option, obwohl es damals von Microsoft keine offizielle Unterstützung hierzu gab. Im Rahmen des Microsoft Server Virtualization Validation Program (SVVP) wurde die Virtualisierung von Exchange 2007 Service Pack 2 auf VMware ESX 3.5 Update 2 erstmal offiziell voll unterstützt.

Mit der Veröffentlichung von Exchange Server 2010 wurden alle Serverrollen (Unified Messaging ab Exchange 2010 SP1) auf allen SVVP validierten Hypervisor-Plattformen unterstützt. Die Unterstützung der Virtualisierung von Exchange Server 2010 wurde aber nur langsam adaptiert, da dies eine grundlegende Änderung im Design und der Architektur der Systeminfrastruktur mit sich brachte. Viele Systemadministratoren misstrauten der Virtualisierung und führten häufig die fehlende “Performance” als primären Grund an, sich gegen die Virtualisierung zu entscheiden. Interessant ist, dass “Performance” als genereller Begriff verwendet wurde (wird), um die Virtualisierung von Exchange Systemen abzuwenden. Die technologische Weiterentwicklung von Exchange und die stete Reduzierung der Anforderungen an Speichermedien in Bezug auf den erforderlichen Datendurchsatz, denn diese waren in der Vergangenheit der einzige Grund, sich gegen die Virtualisierung zu entscheiden, wird teilweise immer noch ignoriert.

Mit Exchange Server 2013 können alle Rollen problemlos virtualisiert werden und ermöglichen so eine optimale Ausnutzung der Hardware-Ressourcen in Ihrem Rechenzentrum.

Trotzdem ist es erforderlich, eine Exchange Umgebung korrekt und gewissenhaft zu planen und zu berechnen. Dies hat sich mit der Virtualiserungsoption für Exchange nicht geändert. Nur mit einer gewissenhaften Planung können komplexe Änderungen der Exchange-Landschaft zu einem späteren Zeitpunkt vermieden werden.

Exchange Server 2013 besteht aus folgenden Serverrollen:

• Client Access
  Diese Rolle stellt alle Endpunkte für Client-Verbindungen zur Verfügung, arbeitet aber als reiner Proxy, da das Rendering für Clients in der Mailbox-Rolle stattfindet
   
• Mailbox
  Diese Rolle wird auch als Back-End Rolle bezeichnet, da sie alle Funktionen für den Exchange Betrieb beinhaltet: Postfachdatenbanken (MBX), Nachrichtenfluss (HUB), Unified Message (UM) und Client Rendering
• Edge
  Optionale Rolle für den Einsatz in der DMZ als E-Mail Gateway Server zum/vom Internet

Die erfolgte Reduzierung von vier Serverrollen in Exchange 2007/2010, hin zu zwei Serverrollen, wenn wir die Edge-Rolle einmal als Sonderfall betrachten, erleichtert die Konzeption einer virtualisierten Exchange-Umgebung erheblich.

Wenn es um das Thema Virtualisierung von Enterprise-Applikation geht, einmal ganz ohne den Fokus Exchange, muss immer geklärt werden, wie die Hochverfügbarkeit (HA) der Applikation gewährleistet wird. Auf der einen Seite existieren HA-Funktionen in der jeweiligen Hypervisor-Plattform selber, auf der anderen Seite stehen die HA-Funktionen der Applikationen. Naiv gesehen könnte man annehmen, dass beides zusammen das Maximum an Hochverfügbarkeit bieten würde. Dies ist jedoch nicht der Fall.  

Gerade für den Fall eines Support-Calls mit Microsoft ist es wichtig, dass Exchange in einer Konfiguration betrieben wird, die auch zu 100% unterstützt wird.

Für die Virtualisierung von Exchange Server 2013 gilt es Folgendes für einzelnen Systemkomponenten zu beachten

• Live Migration
  Exchange 2013 Server können mit Live Migration (vMotion bei VMware) zwischen Hypervisor-Hosts verschoben werden. Live Migration kann auch mit Mitgliedsservern einer Database Availability Group (DAG) durchgeführt werden.
   
• Hypervisor HA
  Virtualisierte Exchange Server können mit HA Funktionen der Hypervisor-Plattform, z.B. vSphere HA bei VMware, kombiniert werden.
  Wichtig ist, dass bei den virtualisierten System der Disk State nicht gespeichert und wiederhergestellt wird. Hierbei wird ein System “suspended”, auf einen anderen Hypervisor-Host verschoben und wieder “resumed”. Dieser Vorgang stellt kein unterstütztes Szenario für Exchange Server 2013 dar. Im Rahmen von vSphere HA wird ein System im ausgeschalteten Zustand (“Power Off”) recovered, was einem Kaltstart gleichkommt. Diese Vorgehensweise ist ein unterstütztes Szenario für virtualisierte Exchange Server.
   
• Snapshots
  Die Verwendung von Snapshots ist kein unterstütztes Szenario. Da ein Exchange Server in Abhängigkeit zu zahlreichen externen Systemen und Konfigurationen steht, führt ein zurückgerollter Snapshot zum Verlust von Konfigurationen und Instabilität der gesamten Exchange-Umgebung. Snapshots von virtualisierten Exchange Servern sind kein Mittel für Exchange-Backup und -Restore.
   
• CPU-Verhältnis (Virtuell/Physisch)
  Microsoft und VMware empfehlen ein CPU Core Verhältnis (Virtuell : Physisch) von 1:1. Dies erleichtert grundsätzlich die Planung der Exchange Umgebung. Ein Verhältnis von 2:1 ist möglich, sollte aber nicht überschritten werden. Ebenso ist dringend anzuraten, eine Monitoring-Lösung einzusetzen, um die CPU Auslastung stetig zu protokollieren. Ein Anpassung bzw. Verdichtung der Ressourcen empfiehlt sich erst, nachdem ein Baseline für den Betrieb erstellt wurde.
   
• Speichermedien
  Durch die stark gesunkenen Anforderungen an den Datendurchsatz für Postfachdatenbanken und Protokolldateien (Disk IO) können virtualisierte Exchange System mit einer Vielzahl unterschiedlicher Disksysteme betrieben werden. In der Vergangenheit wurde primär SAN Speicher entweder als DAS oder als virtualisiertes SAN (z.B. HP EVA) verwendet und als RAW Volume eingebunden. Mögliche Arten sind Fiber Channel, iSCSI VMFS, iSCSI PassThrough, iSCSI Initiator im OS, Flat File VHDX. Welche Variante zum Einsatz kommt hängt somit noch stärker von der jeweiligen lokalen Infrastruktur ab. Dynamisch erweiterte Disks sollten aus Performancegründen nicht zum Einsatz kommen. Microsoft unterstützt keine “Thin Disks” für Exchange Datenpartitionen (Postfachdatenbanken, Protokolldateien)
   
• Netzwerkspeicher
  NAS Speicher, also VMDK Dateien, die sich auf NFS Speicher befinden und die im Gastbetriebssystem direkt eingebunden werden, sind nicht von Microsoft unterstützt. Virtuelle VHDX Festplatten, die sich auf SMB 3.0 Speichermedien befinden werden von Hyper-V unterstützt.
   
• Arbeitsspeicher
  Hypervisor-Plattformen unterstützen Funktionen zur dynamischen RAM-Zuweisung oder zum Overcommitment von Ram-Ressourcen. Die sog. Dynamic Memory Funktionen in Hyper-V sind für den Betrieb eines virtualisierten Exchange-Servers nicht unterstützt. Auch die Funktionen zur Verwaltung des Arbeitsspeichers in VMware führen zu einem nicht-performanten Betriebszustand von Exchange. Der Arbeitsspeicher sollte im Rahmen einer festen Reservierung dem System zugewiesen werden.
  Auch hier gilt die Empfehlung, die RAM-Nutzung und -Auslastung mit einer Monitoring-Lösung zu überwachen. Das Verhalten mit und ohne Dynamic Memory lässt sich so auch gut einem A/B-Test unterziehen.

Planung für Exchange Server 2013

Exchange Server 2013 kann ebenso wie Vorgängerversionen als Multi-Role Server (Mailbox- und CAS-Rolle auf einem Server) oder als Single-Role Server (Mailbox-Rolle und CAS-Rolle auf separaten Systemen) installiert werden. So wie Exchange Rollen selber aufgeteilt werden können, können auch physische und virtuelle Systeme verteilt betrieben werden.

• 100% Virtualisierung
  • CAS- und Mailbox-Rolle auf getrennten virtuellen Systemen installiert Ermöglicht die Skalierung von zusätzlichen CAS Systemen getrennt von Mailbox-Servern
  • CAS- und Mailbox-Rolle als Multi-Role System installiert Ermöglicht eine vereinfachte Skalierung mit System-Template und anschließender automatischer Verteilung von Postfächer über alle Mailbox-Server
• Gemischter Betrieb
  • CAS-Rolle virtualisiert, Mailbox-Rolle als physischer Server Ermöglich das einfach Skalieren von CAS Servern, die physischen Mailbox-Server arbeiten bevorzugt mit DAS Speicher für Postfachdatenbanken. Dieser Ansatz unterstützt den “klassischen” Administrator, der Exchange Server “lieber” physisch betreibt
• Physischer Betrieb
  • CAS- und Mailbox-Rolle als Multi-Role Server auf einem System Wie bereits beim gemischten Betrieb mit virtualisierter CAS-Rolle sollte auch hier der Exchange Server mit DAS betrieben werden. Durch die HA Funktionen von Exchange ist SAN Speicher entschieden zu teuer.

Natürlich können (sollten) auch die benötigten Load Balancer virtualisiert betrieben werden. Die möglichen Kombinationen mit den o.g. Exchange-Konfigurationen sind zahlreich und werden in diesem Artikel vernachlässigt.

Grundsätzlich gilt die Empfehlung, für das Sizing einer Exchange 2013 Umgebung (physisch oder virtuell), den Exchange 2013 Server Role Requirements Calculator zu verwenden. An diesem Tool führt kein Weg vorbei, wenn man eine verlässliche Aussage zu den Anforderungen für die Exchange Umgebung erhalten möchte. In den aktuellsten Versionen sind notwendige Berechnungskorrekturen für die Virtualisierung bereist enthalten. Microsoft geht von einem zusätzlichen Overhead durch den Hypervisor von 10% aus. VMware wiederum geht von ca. 2% bis 5% Overhead aus.  

Wie bereits erwähnt, ist eine 1:1 Zuordnung von virtuellen CPU Cores zu physischen CPU Cores zu empfehlen, da dies die Umsetzung der kalkulierten Anforderungen in den laufenden Betrieb stark vereinfacht.

Microsoft hat empfiehlt beim Einsatz von Exchange Server (2010 und 2013) auf das Hyper-Threading der CPUs zu verzichten. Wichtig ist, dass Hyper-Threading CPUs nicht gleichzusetzen sind mit physischen CPUs. Als Hauptgrund wird angegeben, dass dies die CPU Planung unnötig verkompliziere. Als zweiter Grund wird die .NET Garbage Collection angeführt, die auf Basis der CPU Anzahl arbeitet und entsprechend Arbeitsspeicher allokiert. Durch Hyper-Threading wird allerdings unnötig viel Arbeitsspeicher für die Garbage Collection reserviert.

Im Rahmen einer Virtualisierung besteht das beschriebene Problem nicht im gleichen Ausmaß, wie in einer physischen Umgebung, da der VM eine feste Anzahl an Prozessoren zugeordnet ist. Dies bedeutet, dass Sie das für Ihre Umgebung passende Processor-Ratio finden müssen, wenn Sie nicht der 1:1 Zuordnung folgen möchte. Dies gelingt am besten, indem Sie mit einer 1:1 Zuordnung beginnen und mit einer System-Monitoring Lösung eine Baseline erstellen. Anschließend passen Sie die Prozessorzuordnung an und vergleichen die Auslastung- und Performancediagramme mit der Baseline.

Die nachfolgende Tabelle listet die Mindestanforderungen an Arbeitsspeicher für Exchange Server 2013

Exchange 2013 Server Rolle	Mindestanforderung Arbeitsspeicher
Client Access	4 GB
Mailbox	8 GB
Multi-Role	8 GB
Edge	4 GB

Dies sind die absoluten Mindestanforderungen. Ohne Verwendung des Role Requirements Calculators wird eine korrekte Planung für den performanten Betrieb von Exchange nicht gelingen.

Für einen Exchange Mailbox-Server mit 1000 Postfächern mit einem Anwenderprofil von 150 gesendeten und empfangenen Nachrichten pro Tag und einer Anforderung von 36MB Datenbankcache pro Postfach, benötigen Sie bereits mindestens 36GB Arbeitsspeicher. Ergänzend zum Role Requirements Calculator empfehle ich den Blog-Artikel “Ask the Perf Guy: Sizing Exchange 2013 Deployments” (http://bit.ly/PerfGuyExchange2013Deployments).

Ergänzend zu den Speicheranforderungen für Exchange Server 2013 müssen noch 4GB bis 8GB für das Betriebssystem addiert werden.

Für die Planung der Netzwerkverbindungen der virtuellen Systeme gelten die gleichen Anforderungen wie für physische Exchange Server. Exchange Server, die nicht Mitgliedsserver einer DAG sind, können mit einem einzelnen Netzwerkadapter konfiguriert werden. Mitgliedsserver einer DAG sollten immer mit zwei Netzwerkadaptern konfiguriert werden, um die Datenbankreplikation über ein separates Netz zu leiten und vom allgemeinen Zugriff auf die Postfachdatenbanken zu trennen. Der Einsatz von einzelnen Netzwerkadaptern ist zwar unterstützt, sollte sich aber auf Test- und Laborumgebungen beschränken.

Die physischen Netzwerkadapter im Host-System können durch Teaming ausfallsicher konfiguriert werden.

Das nachfolgende Beispiel zeigt, wie ein Exchange 2013 Mailbox Server, der Mitgliedserver einer DAG ist, und ein CAS Server nur durch VLANs getrennt an einem virtuellen Switch verbunden sind. Der virtuelle Switch ist durch NIC-Teaming im Hypervisor redundant mit der physischen Netzwerk Infrastruktur verbunden.

Mit der gleichen Exchange Server-Konstellation kann aber das DAG Netzwerk-Interface zur Datenreplikation über einen separaten virtuellen Switch, der über ein eigenes NIC-Interface im Hypervisor verfügt, mit einem dedizierten Replikationsnetzwerk verbunden werden.

Die zweite Konfiguration stellt sicher, dass die Datenreplikation in einem dedizierten physischen Netzwerk stattfindet. Jedoch erhöht dieser Lösungsansatz auch die Komplexität der Netzwerkinfrastruktur selber. Hinzu kommt, dass standardmäßig das MAPI Netzwerk als Backup für einen möglichen Ausfall des Replikationsnetzwerkes verwendet wird. Wenn Sie ausschließen möchten, dass das MAPI Netzwerk als Backup-Netzwerk verwendet werden kann, müssen Sie die  Hochverfügbarkeit des Replikationsnetzwerkes sicherstellen.

In VMware Umgebungen empfiehlt es sich, immer den VMXNET3 Adapter für die virtuellen Maschinen zu verwenden, da der E1000 Adapter im Host-System nur CPU 0 für die Emulation verwendet. Die Nutzung des VMXNET3 Adapters bietet somit eine deutlich bessere Performance gegenüber dem E1000 Adapter.

Ganz unabhängig von der gewählten virtuellen Netzwerkkonfiguration muss immer sichergestellt werden, dass die Host-System sowohl in der Hardware-seitigen, als auch in virtuellen Netzwerkkonfiguration identisch konfiguriert sind. Die virtuellen Gast-Systeme können schließlich nur zwischen Hosts verschoben werden, die auch die notwendigen Ressourcen (virtuelle Switche, VM Port Groups, etc.)  zur Verfügung stellen.

Die Bereitstellung des notwendigen Festplattenspeichers für virtualisierte Exchange Server 2013 Systeme bietet vielfältige Optionen. Die rein physischen Optionen, wie z.B. Bereitstellung von Raw LUNs, die in einem SAN Speicher konfiguriert sind, oder VMDK, VHD/VHDX Dateien im SAN oder im DAS, oder aber die direkte Einbindung der Datastore-Volumes per iSCSI im Gast-Betriebssystem selber, unterliegen den Möglichkeiten und Anforderungen Ihrer Unternehmensumgebung. Manchmal unterliegt die Auswahl des Speichermediums aber auch internen politischen Richtlinien, durch die bestimmt wird, dass ein “teurer” SAN Speicher verwendet werden muss, obwohl dies durch die Anforderungen von Exchange Server 2013 selber gar nicht mehr notwendig ist. Eines der Arguments für die Migration zu Exchange Server 2013 ist die Unterstützung von günstigen JBOD Enclosures, die sehr große Datenspeicher sehr günstig (im Vergleich zu klassischem SAN Speicher) bereitstellen können.

Hier muss eine sehr genaue Abwägung zwischen technischem Vorteil/Nutzen und dem zusätzlichen Aufwand und der zusätzlichen Komplexität in der Umgebung für Speichersubsysteme erfolgen. Es ist meist schwierig, die Einführung einer neuen Technologie nur mit den Anforderungen einer einzigen Applikation zu begründen. Es ist hilfreich zu prüfen, ob nicht auch andere Applikationen, die in naher Zukunft migriert werden sollen (z.B. von SharePoint 2010 auf SharePoint 2013), von dem neuen Speichermedium profitieren können. Eine stärkere strategische Ausrichtung hilft bei der Argumentation sehr.

Zusammenfassend kann man sagen, dass die Virtualisierung eine große Flexibilität im Sizing und im Betrieb einer Exchange Plattform mit sich bringt. Jedoch birgt eine Virtualisierung schnell auch Risiken. Dieses Risiken wirken sich nicht unbedingt auf den sicheren Betrieb von Exchange aus, sondern vielmehr auf die Reaktionszeit, also die Performance der Exchange Umgebung.

Grundsätzlich darf man aber nicht vergessen, dass gemessene Performance nicht gleichzusetzten ist, mit subjektiv gefühlter Performance. Insbesondere Endanwender sind sehr empfindlich und reagieren kritisch, wenn “Ihr” Outlook nicht in der gleichen Zeitspanne startet, wie “gestern”. Ähnlich sieht es aus, wenn Nachrichten durch mangelhafte Ressourcenverfügbarkeit zu lange in einer Warteschlange verweilen, bevor sie zugestellt werden. Auch wenn Administratoren wissen, dass E-Mail (oder besser SMTP) ein Warteschlangen-basierende Kommunikation ist, ist dies Endanwendern meist nur sehr schwer zu vermitteln.

Viel Spaß bei der Virtualisierung von Exchange Server 2013.

Links

• Server Virtualization Validation Program, http://www.windowsservercatalog.com/svvp.aspx
• Exchange 2013 Server Role Requirements Calculator v6.3, http://gallery.technet.microsoft.com/office/Exchange-2013-Server-Role-f8a61780
• Ask the Perf Guy: Sizing Exchange 2013 Deployments, http://bit.ly/PerfGuyExchange2013Deployments
• ENow Monitoring und Management Suite, https://www.granikos.eu/de/Mailscape
• PRTG System Moniroting, http://www.paessler.com/prtg
• Microsoft Clustering on VMware vSphere: Guidelines for supported configurations, http://bit.ly/MSClusterOnvSphere
• Licensing Microsoft server products for use in virtual environments, http://bit.ly/ServerVirtualizationLicenseMobility
• Standard Performance Evaluation Corporation (SPEC), http://www.spec.org