NCIE SAN NSO 504 notes

Het betreffen de volgende onderwerpen:

  1. NSO 504 SCALABLE SAN SOLUTION ASSESSMENT
  2. NSO 504 Scalable SAN Implementation Plan Creation
  3. NSO 504 SCALABLE SAN IMPLEMENTATION AND CONFIGURATION TASKS
  4. NSO 504 SCALABLE SAN IMPLEMENTATION TESTING AND TROUBLESHOOTING

1. NSO 504 SCALABLE SAN SOLUTION ASSESSMENT

De sollotion assessment inventariseert, verzameld de bestaande NetApp-, switch- en host-configuratie en maakt de performance over deze verschillende componenten inzichtelijk. De configuratie  en hoe deze functioneert kan hiermee gerapporteerd worden. Daarnaast kan aan de hand van de assessment inzichtelijk worden gemaakt of de omgeving voldoet aan de verwachtingen van de klant als het gaat om functionaliteit en performance eisen en/of waarom juist niet.

Ik zal verwijzen naar andere secties als er informatie is die elkaar overlapt of hier dieper op ingaat.

 1.1 Ensure that all prerequisites for the installation of NetApp system and switches (if needed) are met and that the required information to configure NetApp systems is collected:

Controleer dat altijd wordt voldaan aan de gestelde voorwaardes en Best Practices van de betreffende leveranciers en dat beperkingen en of ondersteuning bekend is (check de IMT tool: http://now.netapp.com/matrix). Onder volgen een aantal documenten hierover, lees deze:

In de volgende secties zal ik waar nodig aangeven wat de leveranciers eisen en/of beperkingen zijn of verwijzen naar bestaande documentatie.

1.1.1 Collect NetApp storage system configuration information.

Tools die door resellers gebruikt worden en heel veel informatie voor je kunnen verzamelen en genereren zijn Synergy en System Performance  Modeler (SPM). Maak voor het verzamelen van de NetApp system configuratie gebruik van Synergy. Is dit niet mogelijk zal men de betreffende commando’s moeten uitvoeren en deze informatie moeten loggen, ik zal dit later uitwerken.

Voor het inrichten of naderhand inzichtelijk maken van de storage omgeving maak ik altijd gebruik van de Setup Worksheets. Gebruik deze, het geeft in ieder geval een goed beeld wat er nodig is aan basis gegevens en welke waardes er nodig zijn om de basis in te richten:

 1.1.2 Collect Switch configuration information.

Wat voor switches worden er gebruikt en in welke topologie zijn deze actief? Zowel FC als Ethernet switches worden via een IP netwerk gemanaged, mogelijk is deze informatie te vinden in bestaande Netwerk designs.  Bij FC switch en Ethernet switch informatie zal verder ingegaan worden op hoe configuratie-, en performance  informatie verzameld kan worden.

Maak voor de inventarisatie en assessment gebruik van de tools van de betreffende leveranciers waaronder de SAN health tool. Deze tool inventariseert, analyseert en rapporteert SAN details waaronder Switch configuratie, HBA informatie, switch topologie en performance details. De tool is ook geschikt om Cisco MDS switches te inventariseren.

1.1.3 Gather power information such as circuit availability, wiring in place, etc…

Zie hiervoor de aantekeningen in 2.1 Verify and plan for dual power feeds for all components en sectie 3 over bekabeling

1.1.4 Collect Host configuration information.

Zie hiervoor ook de aantekeningen over Planning Host Configuration in het Implementation Plan Creation. Het gaat erom de informatie te verzamelen van hoe de host gebruik maakt van de NetApp storage systems:

  • FC, FCoE of iSCSI
  • OS versie
  • Patch levels
  • Vrije Bus slots en Type (PCIe of PCI-x)
  • Ethernet poorten (gebruik en vrij)

Utility to collect firmware/driver version for Emulex HBAs;

  • HBAAnywhere & OneCommand Manager GUI

Utility to collect firmware/driver version for Qlogic HBAs:

  • SANsurfer

In Windows vanaf Windows 2008:

  • Storage Explorer

1.1.5 Collect Application configuration and requirements.

Denk aan het volgende:

  • Gebruikte Applicaties / Software versies
  • Gebruikte OS en versies
  • IOPs eisen bij zwaar en gemiddeld gebruik

1.1.6 Collect potential DEDUPE information.

Lees de volgende documentatie:

Deduplication is enabled at the Volume level.

Om deze te starten een voorbeeld; Enable deduplication and verify space savings: sis on <vol>, sis start <vol>, df –s

The Space Savings Estimation Tool (SSET 3.0) can be used to estimate the amount of savings that would be achieved with compression or deduplication or both.

Starting in clustered Data ONTAP 8.1, NetApp have replaced the sis commands with new volume efficiency commands; however, for backward compatibility both will exist with identical behavior. The new volume efficiency commands are enhanced and offer more advanced options.

cluster ::> volume efficiency show

1.1.7 Collect backup and retention information.

Is er een back-up of disaster recovery design?

Zorg dat je de volgende vragen kan beantwoorden:

  • Hourly?
  • Daily?
  • Weekly?
  • Nightly?
  • Monthly?
  • Years kept?
  • Distance requirements?

 1.2 List a detailed inventory of SAN components including:

Maak alle SAN gerelateerde zaken inzichtelijk inclusief  onderdelen zoals disk ownership, igroups en protocols die gebruikt worden, snapshot configuratie en verdere informatie die nodig was om de Storage omgeving te kunnen configureren en hoe deze is opgezet.

Gebruik bijvoorbeeld de tool SANHealth en Synergy.

1.2.1 NetApp storage system configuration details

Ik ben bezig een document uit te werken; HOW 2 assess NetApp, hierin worden de commando’s uitgewerkt die deze informatie verzameld en inzichtelijk maakt. Wordt aan gewerkt.

1.2.2 Host details

FC Supported OS: Windows®, VMware, Solaris™, Oracle® Enterprise Linux®, Red Hat Linux, SUSE Linux, AIX, HP/UX, NetWare, and OpenVMS

Verify Host Utility Kit installation, HUK sets Timeouts, HUK lets the SAN see basic OS side data (filesystem paths, etc)

Verify SnapDrive Installation; Allowed easy access to basic SAN functionality from the mounting OS.  (Create snaps, mount volumes, create volumes)

1.2.3 FC switch details

Core Edge is de meest voorkomende SAN topologie die men in de praktijk tegenkomt. Zie ook sectie 2 waarin de supported configuraties worden behandeld.

Lees ook: “Setting up FCP on Clustered Ontap

Weet wat een OUI is; The Organizationally Unique Identifier (OUI) is built into all MAC addresses and World Wide Node and Port names. The naming format used will determine which part of the name is the OUI.  Lees: information on OUI’s to identify Netapp systemen (start met 5),

Show current configuration is supporting NPIV on Brocade switches:

# switchshow : display switch and port status information.
# portcfgshow : display the current user configuration of a port also shows NPIV capability and status
# portshow : display general port status and specific configuration  parameters for a specified port

Show current configuration is supporting NPIV on CISCO switches:

# show npiv status : When using Cisco NX-OS, the status of NPIV can be checked with the show npiv status command

Nog meer Brocade FOS commando’s en informatie:

The default FC domain ID is domain 1. (If desired, you can modify the FC domain ID)

# fabricshow : display fabric configuration

Check devices that have logged in to the switch (Brocade):
# portshow
# portloginshow : Displays port login status of devices attached to the specified port

# Switchdisable > configure > switchenable : steps required to set the Domain ID on a Brocade switch, a new domain starts from 10 (Keus: 1 – 239).
# Version > firmwaredownload : Update FOS
# Configupload or # configdownload  : backup
# supportshow  : Collects detailed diagnostic information
# configshow  : After completing the configuration of a new Brocade FC switch, to verify you configuration.

 Nog meer CISCO commando’s en informatie:

About the Default VSAN: The factory settings for switches in the Cisco Nexus 5000 Series have only the default VSAN 1 enabled. By default, all ports are assigned to the default VSAN.

Cisco Virtual SAN is a way to divide a fabric logically

Enable an FC port on a Cisco switch: no shutdown

On Cisco Nexus must occur before FCoE initiators and the FCoE targets can discover each other: Port Logoff

Zie ook: Cisco MDS 9000 Family Command Quick Reference

# show running-config : Show current running configuration on a Cisco switch

# show zoneset active : Show currently active zoneset

# show flogi database : Displays the devices that have logged into the fabric. Retrieve pWWNs for aliases and zoning from this database

# show fcns database : Displays device name server registration information per VSAN

To display the results of the discovery, or to display the name server database for a specified Virtual SAN (VSAN) or for all VSANs, use the show fcns database command.
show fcns database { detail [ vsan vsan-id ] | domain domain-id [ detail ] [ vsan vsan-range ] | fcid fcid-id [ detail ] vsan vsan-range | local [ detail ] [ vsan vsan-range ] | vsan vsan-id }

1.2.4 Ethernet switch details

# show version
# show running-config “sh run” on most switches
# show cdp neighbors : To display the Cisco Discovery Protocol (CDP) neighbors, to see what other devices are connected
# show vlan : To display VLAN information, use the show vlan command in privileged EXEC mode. show vlan [brief | id vlan-id | name name [ifindex] | ifindex]

1.2.5 Current zoning configuration

Gebruik de volgende commando’s op de NetApp omgeving:

Use the fcadmin config command to determine the status of the FC onboard adapters. Example:

cluster01 :: > node run -node node1 fcadmin config : Displaying information about an FC adapter type.

cluster01 :: > system node run -node node01 -command : (schakel naar 7-mode )

node01> fcp show adapter : (shows adapter type)

cluster01 :: > system node run -node node01 -command fcp show adapter : Target adapter node name, port name, and link state

cluster01 :: > system node run -node node01 fcp topology

Gebruik de volgende commando’s op de BROCADE omgeving:

Om de zone informatie te inventariseren en beheren op een Brocade switch kan men gebruik maken van de WebTool GUI of de informatie verkregen uit de Brocade assessment tool SANHealth.

Verder kan de zone configuratie met commando’s worden bekeken:

# cfgshow : Print zone configuration information:  If no operand is specified, all zone configuration  information (both defined and effective) displays.

# cfgactvshow : Display Effective (ACTIVE) zone configuration information: Use this command to display the effective zone configuration information.

# Alicreate > zonecreate > cfgcreate > cfgsave > cfgenable : steps to configure zoning

Op een CISCO omgeving: Fabric manager: manages CISCO switches:

# show zoneset active : Displays the active zone set for each VSAN, including which devices have logged in and are communicating

# show zone : Displays zone mappings

# show zone vsan X : Displays zone mapping ONLY for vsan X

# show fcalias : Displays alias mappings

1.2.6 Current iSCSI implementation details

Check the target node name, target alias, and iSCSI services.

cluster01:: > vserver iscsi show : Display a vserver’s iSCSI configuration

cluster01:: > vserver iscsi session show : Display iSCSI sessions

cluster01:: > iscsi session show -v : DOT CLI command to see if iSCSI digests are enabled.

Lees de volgende aantekeningen: Over iSCSI

1.2.7 CHAP settings

What CHAP authentication is: The Challenge Handshake Authentication Protocol (CHAP) enables authenticated communication between iSCSI initiators and targets. When you use CHAP authentication, you define CHAP user names and passwords on both the initiator and the storage system.

cluster01:: > iscsi security show : Show iSCSI authentication configuration

1.2.8 IPSEC configuration details

Internet Protocol Security (IPsec) is a security protocol suite that protects data from unauthorized disclosure when it is being transmitted between storage systems and clients. Using IPsec, you can add policies on your storage system that configure encryption and authentication algorithms between your storage system and client, and negotiate a security association (SA) between two end-stations that initiate and receive secure communications.

How it works: How Internet Protocol Security (IPsec) works

1.2.9 Snapshot configuration details

Voor dit en de volgende assessment details zie het document: HOW 2 assess NetApp.

cluster01:: >  snap show
node01> snap delta

1.2.10 Current data layout (aggregates, raid groups, volumes)

cluster01::> aggr show OF cluster01::> storage aggregate show
cluster01::> volume show
cluster01::> lun show
cluster01::> storage disk show

1.2.11 Consider listing out system names, IP addresses, current zoning configuration, OS versions, OS patch levels, driver versions and firmware versions

cluster01::> network inteface show
cluster01::> system node run -node node01 ifconfig -a

Zal verder worden uitgewerkt in HOW 2 assess.

1.3 Ensure that the solution design and the hardware provisioned do not fall short of the customer’s requirements and expectations.

Controleer of de omgeving voldoet aan de verwachtingen van de klant als het gaat om sizing, functionaliteits- en performance eisen.

De SPM tool (System Performance Modeler) kan worden gebruikt voor het dimensioneren van de hardware (sizing) het in kaard brengen van trends (trending) en diepgaande performance analyse (trending).

Solution Verification checklist from the SAN Design and Implementation Service Guide

Gap analysis worksheet.

Finalize any configuration details in the SAN design.

Work out any deficiencies prior to requesting approval on the design.

1.3.1 Validate requirements with the customer. Consider the following:

1.3.1.1 Sizing needs

Breng de totale Capaciteit in kaart; Total Capacity, expected growth, Bandwidth throughput, Per end host and application, Per SAN for all hosts, Per SAN for backups, For replication,

IOPs requirements, Perform simple IOPs calculations per existing application and per existing san, Look at daytime, backup time, and nightly processing IOPs differences. Zie ook sectie 4 voor de gebruikte tools en commando’s.

Wat zijn de Future needs.

1.3.1.2 Connectivity needs

In a FC environment utilizing 62.5 micron cable between patch panels – supported NetApp storage controller configuration is to use: short wave SFPs with 62.5 micron FC cable.

50/125 OM2 multi-mode fiber cable supports up to 300 meters at 2 Gbps.
50/125 OM3 multi-mode fiber cable supports up to 500 meters at 2 Gbps.
50/125 OM3 multi-mode fiber cable supports up to 380 meters at 4 Gbps.

Zie ook de aantekeningen in sectie 3.

1.3.1.3 Zoning types

Use single initiator zoning, gebruikt men hard zoning of softzoning. Zie ook de volgende sectie voor meer informatie hierover.

Two benefits of soft zoning (device WWPN zoning) over hard zoning (domain ID plus port) for Cisco and Brocade FC switches:

  • A device can be connected to any port in the fabric without changing zoning.
  • It is fully interoperable between switch vendors.

1.3.1.4 Expected level of functionality

MetroCluster is not supported in Data ONTAP 8.1 Cluster-Mode

Synchronous SnapMirror is not supported in DOT 8.1 Cluster-Mode.

SnapVault is not supported with DOT 8.1 Cluster-Mode.

SnapProtect is an end-to-end backup and recovery solution which also manages traditional tape backup and disk-to-disk-to-tape deployments. SnapProtect manages NetApp Snapshot, SnapVault, and SnapMirror technology, and tape from a single console.

NetApp solutions for disaster recovery of entire sites are: MetroCluster and SnapMirror software.

Stretch MetroCluster supports up to 500 meters @ 2 Gbps between two controllers.

Fabric MetroCluster supports up to 100 kilometers @ 2 Gbps between two nodes in a cluster.

1.3.1.5 Performance requirements

Controleer of de omgeving niet overbelast is. Voldoet de omgeving aan de verwachte performance in de opinie van de klant. Zie ook sectie 4 waar performance tools behandeld worden.

1.3.1.6 Solution requirements being provided by a third party

8.1 Cluster-Mode supports:

  • EMC Symmetric DMX4,
  • EMC CLARiiON CX4,
  • HP StorageWorks EVA (recommended at least one NetApp storage shelf be included with each V-Series installation.)

2. NSO 504 Scalable SAN Implementation Plan Creation

Bij een project Implementatie Plan moeten de volgende zaken duidelijk zijn: Toebedeelde taken en door wie, duur, afhankelijkheden, verdere ressources en raakvlakken enz.

De implementatie planning kan aangepakt worden op een project matige manier door gebruik te maken van Project methodieken zoals Prince II of de Agille Methode.  Deze methodieken zal ik hier (nog) niet behandelen. Ik behandel hier de technische zaken dat je alles weet te plannen, verzamelen, weet voor te bereiden om de te plaatsen hardware (infrastructureel) en Storage systemen kan installeren in een Data Center Rack inclusief het creëren van een cabinet diagram en een connectivity diagram.

Samengevat SAN deployment and planning steps:

  • Review implementation flowchart with customer – assign tasks
  • Verify logistics plan for staging and installation of equipment
  • Validate equipment move path to installation location (doorway, clearances, floor loading inabilities, ect)
  • Verify Ethernet cabling plan and availability of cable support
  • Finalize switch zone configuration (FC NOT iSCSI)

Onder volgen een aantal voorbeelden en beperkingen waar men rekening mee dient te houden bij het plannen van een juiste configuratie:

Het aantal maximale NAS nodes is 24 maar als het gaat om een SAN configuratie houd dan rekening met het volgende:

  • cDOT 8.1 is dit 4
  • cDOT 8.1.2 is dit 6
  • cDOT 8.2 is dit 8

A pre-requisite for NetApp storage controller multipath HA between storage controller and disk shelves, is for Software Disk Ownership to be supported and configured. Disks that are not owned are not used.

De volgende switch configuraties zijn door NetApp toegestaan:

  • single FC switch
  • dual FC switches with no ISLs
  • Four switches with multiple ISLs between ALL switches
  • Four switches with multiple ISLs between each pair of switches

De volgende FC SAN (switch) topologie ’n worden door NetApp gebruikt:

  • Core-Edge (provides best performance and scalability),
  • Cascade,
  • Full Mesh, Partial Mesh,
  • Switched Fabric

NetApp best practice for primary block data (FC and iSCSI):

  • Dual controller and single shelf.
  • Dual controller and multiple shelves.

With limited budget and resources, a suitable solution for a new disaster recover site = SnapMirror and iSCSI at the disaster recovery site for all hosts.

2.1 Verify and plan for dual power feeds for all components.

Neem vooraf contact op met het Data Center personeel en laat je informeren of controleer waar mogelijk zelf zaken, waaronder: Powerdrops en Power aansluit mogelijkheden. Check bijvoorbeeld de aansluit connectoren (denk aan de C13-C14 kabels en CEE stekker). Lees het volgende document van NetApp door; Site Requirements Guide. In dit document wordt de aandacht bevestig op; Site Preperation waaronder tools, kabels de mogelijke aansluitingen switches alles wat met de te plaatsen hardware te maken heeft.

Onthoud dat DUAL/alles dubbel uitgevoerd hier van belang is (N+N), denk aan:

  • Dual Feeds
  • Dual PDUs
  • Dual Power Supplies
  • Dual CircuitsDual power supplies should be placed in all equipment.

Dual power feeds should be run to all equipment.  Power feeds should be connected to separate outlets connected to two separate PDUs.

NetApp Storage solution diagram for installation should include the following:

  • Power Feeds to all components to PDU and UPSs
  • Connectivity to switches – both Ethernet and FCP
  • Storage cabling, from the storage controllers to switches

2.2 Be able to create cabinet diagrams or be able to read and interpret a cabinet diagram. Diagrams should include the cabinet’s storage systems and switches with all connections shown.

Zorg dat je in staat bent cabinet diagrammen te begrijpen en mogelijk dat je deze zelf kan maken. Hier zijn tools voor die dit ook naderhand voor je kunnen genereren zoals de Synergy tool van NetApp. Jammer genoeg kan niet iedereen hier gebruik van maken en ben je dus op Fysio aangewezen.

De volgende informatie is hier van belang: 

  • Rack Fysieke locatie in het Data Center
  • Rack identificatie informatie
  • Cabinet inrichting plaatsing Controllers, Shelves en switches
  • De connectiviteit

Vergeet niet te zorgen dat je precies weet hoe alles moet worden aangesloten. Hou rekening met verschillende kabels zoals stroomkabels, Koper Netwerkaansluitingen , Fiber Netwerkaansluitingen, patching enz.

Note: Single-mode fibre is only supported for the inter-switch links

2.3 Create a connectivity diagram. Be able to read and interpret a connectivity diagram.

Naast kennis van de fysieke locatie van de hardware en met name de switch(en) in het rack, is de gebruikte topologie en de connectiviteit (kabels) per poort en de informatie en doel van belang.

De volgende informatie is van belang om deze te weten en/of te kunnen interpreteren, identificeer daarom de volgende port details:

Identify port details and connections for: