carsten’s blog

DELL H200 Raid Performance

by on Feb.27, 2011, under Hardware, SLE

Seitdem wir bei InterNetX in den neueren Servermodellen in den Bereichen
wo bisher SAS6iR verbaut wurden nun auch die H200 Raidcontroller benutzen,
blieb immer wieder der Eindruck hängen das diese z.T. langsamer sind als ihre
Vorgänger. Eigentlich sollte es genau andersrum sein, denn der H200 ist
ein 6G und der SAS6iR nur ein 3G Controller.

Wie sich nun herausgestellt hat, wird beim H200 der Cache, der angeschlossenen
Festplatten deaktiviert. Dies war vor einigen Jahren auch schon beim SAS5i
Controller der Fall und konnte bis zum SAS6iR mittels dem Tool ‘lsiutil’
von Linux aus konfiguriert werden. Beim SAS6iR war der Cache allerdings
von Haus aus aktiviert, somit war dort keine Anpassung nötig.

Beim H200 funktioniert ‘lsiutil’ leider nicht mehr. Es gibt derzeit nur eine
mir bekannte Lösung die aus meiner Sicht noch etwas viel “Overhead” mit sich bringt.

Vorab wird geprüft, welchen Status der Cache hat, dazu schaut man in der Ausgabe
von ‘dmesg’ oder in /var/log/boot.log und sucht dort am besten nach “Write cache”

Finden sollte man mindestens einen Eintrag der wie folgt aussieht (Cache ist aus):

sd 0:1:0:0: [sda] Write cache: disabled, read cache: enabled, doesn’t support DPO or FUA

Sollte der Eintrag in etwa so aussehen, dist der Cache bereits an:

sd 0:1:0:0: [sda] Write cache: enabled, read cache: enabled, doesn’t support DPO or FUA

Um den Cache zu aktivieren benötigen wir OMSA (Open Manage Server Administrator) von DELL.
Dieser kann entweder direkt auf dem Server installiert werden oder mittels einer Live CD gebootet werden.

Nach der Installation auf dem Server sollte dieser Entweder neu gestartet werden
oder man muß die nötigen Dienste per Hand starten:

# modprobe ipmi_devintf
# modprobe ipmi_si
# /etc/init.d/dataeng start
# /etc/init.d/dsm_om_shrsvc start
# /etc/init.d/dsm_om_connsvc start

Der Cache kann dann entweder über das OMSA Webinterface https://<server-ip>:1311/ oder
per Console aktiviert werden.

Um die IDs von Controller & virtueller Disk zu bekommen nutzt man die folgenden Kommandos:

# omreport storage controller

Controller  PERC H200 Adapter (Slot 1)

Controllers
ID                                            : 0
Status                                        : Ok
Name                                          : PERC H200 Adapter
Slot ID                                       : PCI Slot 1
State                                         : Ready
Firmware Version                              : 07.01.33.00
Minimum Required Firmware Version             : Not Applicable
Driver Version                                : 04.100.01.03
Minimum Required Driver Version               : Not Applicable
Storport Driver Version                       : Not Applicable
Minimum Required Storport Driver Version      : Not Applicable
Number of Connectors                          : 2
Rebuild Rate                                  : 50%
BGI Rate                                      : 50%
Check Consistency Rate                        : 50%
Reconstruct Rate                              : Not Applicable
Alarm State                                   : Not Applicable
Cluster Mode                                  : Not Applicable
SCSI Initiator ID                             : Not Applicable
Cache Memory Size                             : Not Applicable
Patrol Read Mode                              : Not Applicable
Patrol Read State                             : Not Applicable
Patrol Read Rate                              : Not Applicable
Patrol Read Iterations                        : Not Applicable
Abort Check Consistency on Error              : Not Applicable
Allow Revertible Hot Spare and Replace Member : Not Applicable
Load Balance                                  : Not Applicable
Auto Replace Member on Predictive Failure     : Not Applicable
Redundant Path view                           : Not Applicable
CacheCade Capable                             : Not Applicable
Persistent Hot Spare                          : Not Applicable
Encryption Capable                            : Not Applicable
Encryption Key Present                        : Not Applicable
Encryption Mode                               : Not Applicable
Spin Down Unconfigured Drives                 : Not Applicable
Spin Down Hot Spares                          : Not Applicable

# omreport storage vdisk

List of Virtual Disks in the System

Controller PERC H200 Adapter (Slot 1)
ID                  : 0
Status              : Ok
Name                : Virtual Disk 0
State               : Ready
Encrypted           : Not Applicable
Layout              : RAID-1
Size                : 232.25 GB (249376538624 bytes)
Device Name         : /dev/sda
Bus Protocol        : SATA
Media               : HDD
Read Policy         : Not Applicable
Write Policy        : Not Applicable
Cache Policy        : Not Applicable
Stripe Element Size : 64 KB
Disk Cache Policy   : Disabled

Der Cache kann nun mit folgendem Befehl aktiviert werden.

# omconfig storage vdisk action=changepolicy controller=0 vdisk=0 diskcachepolicy=enabled

Nach nochmaligem Ausführen von ‘omreport storage vdisk’ wird der Wert ‘Disk Cache Policy’
auf ‘Enabled’ stehen. Der Cache ist sofort aktiv, es wird kein Neustart benötigt.

Es gibt noch eine weiteres Tool was direkt von LSI stammt, was aber keine Funktion
zum Einschalten des Caches hat (sas2ircu).

:, , , , , , , , , , , , , , ,

6 Comments for this entry

  • Claudio

    Hallo Carsten!

    Ich wundere mich hier auch gerade über die Performance des H200 unter VMware ESXi 4.1 mit 2×250 GB SATA im RAID 1. Welche Schreibgeschwindigkeiten hast du mit welcher Festplattenkonfiguration etwa erreicht?

  • carsten

    Die Schreibgeschwindigkeiten waren eigentlich nichtmal so das grosse Problem, eher die Zugriffs- bzw. Antwortzeiten.
    Testergebnisse mit deaktivierten Festplattencache habe ich gerade nicht zur Hand, aber welche mit aktivem Cache:

    # time for ((a=0;a<5;a++)) ; do time dd if=/dev/zero of=testfile$a bs=1M count=1024 ; done
    1024+0 Datensätze ein
    1024+0 Datensätze aus
    1073741824 Bytes (1,1 GB) kopiert, 1,62955 s, 659 MB/s

    real 0m1.633s
    user 0m0.000s
    sys 0m1.636s
    1024+0 Datensätze ein
    1024+0 Datensätze aus
    1073741824 Bytes (1,1 GB) kopiert, 3,80261 s, 282 MB/s

    real 0m3.937s
    user 0m0.000s
    sys 0m1.680s
    1024+0 Datensätze ein
    1024+0 Datensätze aus
    1073741824 Bytes (1,1 GB) kopiert, 13,9341 s, 77,1 MB/s

    real 0m13.937s
    user 0m0.004s
    sys 0m1.772s
    1024+0 Datensätze ein
    1024+0 Datensätze aus
    1073741824 Bytes (1,1 GB) kopiert, 13,4964 s, 79,6 MB/s

    real 0m13.974s
    user 0m0.004s
    sys 0m1.756s
    1024+0 Datensätze ein
    1024+0 Datensätze aus
    1073741824 Bytes (1,1 GB) kopiert, 13,3144 s, 80,6 MB/s

    real 0m13.318s
    user 0m0.008s
    sys 0m1.764s

    real 0m46.800s
    user 0m0.016s
    sys 0m8.609s

  • needcache

    Hat jemand einen Tip, wie man den Cache auf einen NICHT DELL Server eingeschaltet bekommt?

  • Christian Ulbrich

    Danke für den Hinweis. Auch heute (Dezember 2011) verkauft einem Dell locker-lustig den H200 in einer Raid-Konfiguration (z.B. in einem T110 II), bei der dann der Cache deaktiviert wird.

    Ich habe die aktuelle Live-CD (http://linux.dell.com/files/openmanage-contributions/omsa-65-live/) genommen, bei der auch alle Module etc. gleich geladen waren und man gleich die Befehle ausführen konnte. Eine Installation kam für den Server (eine ESXi-Kiste) nicht in Frage.

    Im Vergleich mit einem T310 (mit einem SAS6IR und SATA-Platten) fühlt sich der T110 bei ansonsten ähnlicher CPU und gleicher RAM-Ausstattung und gleichem Workload (SBS2011 als VM unter ESXi 5) irgendwie langsamer an. Ob dem H200 zwei Raid 1 mehr zu schaffen machen? Schon blöd, dass einem da beim Kauf nicht zu einem potenteren Raid-Controller geraten wird.

  • thomas

    Sicher das du den SAS6/iR meinst und nicht den SAS6/i ?
    Der iR unterstützt kein RAID unter ESX.

    Mich würden konkret Lese und Schreibraten vom H200 unter ESX interessieren.

  • Christian Ulbrich

    Ich setze den SAS6/iR unter ESXi 5 ein und ein angelegtes Raid 1 wird auch als eine Platte erkannt (obwohl der SAS6/iR in der Tat nicht in der HCL von VMWare steht). Den “Gesundheitszustand” des Raids erfährt man so natürlich nicht, ist aber beim H200 (der auf der HCL steht) aber genauso. Da muss man wohl noch etwas an ESXi basteln.

    Schreibraten beim H200 unter ESXi 5 von einem Raid 1 mit 2x500GB Nearline SAS zu einem anderen Raid 2 mit 2x500GB Nearline SAS auf dem gleichen H200 liegen so bei 70-80MB/s direkt auf ESXi-Ebene (VM mittels vSphere verschieben). Mit anderen Worten, nichts dickes. Beim SAS6/iR wird übrigens der Cache nicht automatisch deaktiviert…

Leave a Reply

Looking for something?

Use the form below to search the site:

Still not finding what you're looking for? Drop a comment on a post or contact us so we can take care of it!

Blogroll

A few highly recommended websites...