No Slide Title

24º Simpósio Brasileiro de Redes de Computadores
SBRC 2006 - Curitiba
Virtualização de Redes de Armazenamento de Dados
José Alcino Brás
[email protected]
1
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



2
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



3
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
As infraestruturas crescem, tornam-se complexas e geram desafios no
gerenciamento
Firewall
servers
Business data
Routers
SSL
switches appliances
UNIX
Mainframe
Web servers
PCs
Security and
directory servers
REDE
UNIX
Database servers
Application
servers
DNS
Servers
PCs
File/Print servers
Caching
appliances
UI data
4
LAN servers
Empresas buscam simplificação
A consolidação física de recursos é um passo intermediário na
simplificação das infraestruturas
Ambientes virtualizados trazem flexibilidade operacional
Ambiente de sistemas virtualizados
Windows Servers
Windows Server
Unix Servers
Virtual Servers,
Storage, Networks
Firewalls,
Routers
Switches
Management
Servers
Networks
Virtualization
Unix Server
Servers
Storage
Networks
Storage
Linux Server
Linux Servers
Storage
Complexidade
Uma workload por servidor
Restrições físicas
Muitas tools de gerenciamento
5
Consolidação
Fisica
Menos servidores e licenças
Melhor flexibilidade
Distintas tools de gerenciamento
Simplificação
Lógica
Virtualização de todos os recursos
Máxima flexibilidade nos recursos
Gerenciamento unificado e automação
A virtualização é a representação lógica de recursos físicos e é
implementada de diversos modos. Alguns exemplos:
Virtual Servers
Compartilhamento
Múltiplas imagens de um recurso dentro de um físico
Hypervisor
Virtual Memory - LPAR’s – Virtual Machines – Logical Channels
Emulação
Funções que parecem ser reais , mas não existem dentro do
recurso físico
In-Memory Virtual Networks – Hipersockets – iSCSI – Virtual Tape
Physical
Server
OS
OS
OS
Device
Driver
Device
Driver
Device
Driver
…
OS
Device
Driver
Virt. Ethernet LAN
Hypervisor
Agrupamento
DISK
Grupo de vários recursos distribuidos (separados) que
parecem como único sob o ponto de vista do seu usuário
VIRTUAL
Clusters – RAID – Virtual Disks – SAN Volume Controller – SFS
Cluster
Compartilhamento remoto e agrupamento
Uso de serviços baseados em interfaces e padrões abertos para
compartilhar recursos distribuidos geograficamente(remotos)
Enterprise-wide and cross-enterprise Web-based distributed grids for
remote job processing, resource scavenging, instrumentation, and data.
6
Grid Computing based on
Web services (SOA)
Diferentes tecnologias implementam a virtualização
Storage
Network
Server Virtualization
Storage Virtualization
–
–
–
–
–
–
–
–
–
–
Hipersockets/ Virtual
Ethernet
Servers
PR/SM
Dynamic LPARs
MicroPartitioning
zVM, VMware
Virtual I/O
Physical Partitions
 Shared Infrastructure
– Blades
Clustering
– Parallel Sysplex
– HACMP
– Linux Clusters
Workload Mgnt.
–
–
–
–
–
–
–
–
7
Work Load Managers
Intelligent Resource Dir.
Partition Load Manager
Enterprise WLM
Resource & Goal based
Policy based
System scope
End-to-End scope
Disk Virtualization
Information Virtualization
File system
DBs
– Optimized interpartition
communications, virtual
network
SAN Volumes
– IBM & non-IBM
– Storage Pools
– Centralized mgnt
VLANs
Storage Server
Differentiated
Services
– POWER5-partitioning
Storage Management
– Manage storage
according to policy
– Isolate/prioritize
traffic on shared
network, 802.1
– Prioritize network
traffic
– Network QOS, IP TOS
Vendor Alliances
Distributed Systems
GRID
– Globus Toolkit
– IBM OGSA Toolbox
Server Allocation for
Web Application Servers
– Computation heavy,
parallel applications
– Manage multiple
applications across
multiple server clusters
ISV Grid middleware
– Provide services such
as data services,
scheduling, etc
O Virtualization Engine da IBM é um modelo que dá uma visão holística de
todos os recursos físicos da rede de infraestruturas
Virtual access
CAMADA DE ACESSO AO AMBIENTE VIRTUAL
Virtual planning tools
Virtual management
CAMADA DE GERENCIAMENTO DOS RECURSOS
VIRTUAIS
Virtual resources
Resource virtualizers 3rd party
partitioning, virtual machines, I/O, networks,Virtualizers
SVC, VTS, SAN
File System, Meiosy
VMware, CISCO, NetApp…
IBM Server SystemsOther servers &
storage
IBM System 9-109, zSeries 800, 890, 900, 990; xSeries
445, 455, 460,
366, 365; p5, i5, IBM BladeCenter, IBM OpenPower
IBM Storage Systems HP, Dell, EMC, SUN, …
DS4000, DS6000, DS8000
Uma visão holística é independente dos devices de storage e de sua localidade geográfica
8
Uma rede de storage heterogenea possui implicações tais como:
ILHAS DE STORAGE NA SAN,
Incompatibilidade/coexistência
de Dev Drives diferentes

Out
Expansão de volumes lógicos
dentro do mesmo equipamento

of
IBM Drivers
Space
Out
of
IBM Drivers
Space
HP Drivers
HP Drivers
DS4K Drivers
FC Switch
Management
Application
Migração de dados entre
diferentes tecnologias é limitada

SAN
Funções de espelhamento
limitadas à tecnologia do disco

Flashcopy ?
Funções de cópias instantâneas

Gerenciamento individual

Custo Total da Propriedade

Out
of
Space
IBM
Capacidade
Livre
Remote Copy ?
HP
DS4K
010101010101010101
Data Migration
010010101101001000
IBM Mgmt. Application
9
HP Mgmt. Application
DS4K Mgmt. Application
Virtualização da rede de Armazenamento de Dados
Criação de uma única imagem lógica de um ambiente heterogêneo.
A inteligência dos Sistemas de Discos é movida para dentro da rede/SAN
SANs Today
Block Virtualization
Storage
Network
Storage
Network
Os servidores possuem
DISCOS FÏSICOS específicos
10
CAMADA DE VIRTUALIZAÇÃO
Os servidores possuem
DISCOS VIRTUAIS
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



11
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
Arquitetura
O Virtualizador SVC cria uma camada entre os servidores e as ilhas de discos
Servidores
Pool único de Discos

SVC Driver
SVC Driver
SVC Driver
Discos Lógicos são propriedade
do Virtualizador

VDISK
VDISK
VDISK
VDISK
Discos Virtuais são definidos e
espalhados pelo pool de discos

SAN CONTROLLER
IBM SAN VOLUME
IO-Group
Servidores enxergam Discos
Virtuais
IO-Group
IO-Group
IO-Group

Node
Node
Node
Node
Node
Node
Node
Node
Escalabilidade do SVC

Driver comum à plataformas
diferentes de servidores
Discos
Lógicos

ESS
12
CPQ
LCRB
A camada do virtualizador consolida ilhas de plataformas diferentes
de discos.
Diferentes fabricantes fazem parte do Pool
Novell VMWare Microsoft
MSCS
NetWare Win / NW
guests
Clustering
MPIO, VSS, GDS
IBM
AIX
HACMP/XD
GPFS / VIO
Sun
Solaris
HP/UX
TRU64
Linux
IBM
(Intel/Pwr/zSeries)
RHEL/SUSE
BladeCenter
VCS Clustering ServiceGuard
W
/
LVM
Win/Linux/VMWare/AIX
Clustering
SUN Cluster
OPM/FCS/IBS
New
New
New
iSCSI to hosts
Via Cisco IPS
...
Full volume
Copy on write
Synchronous
Asynchronous (Kashya and
other 3rd party solutions)
SAN
Volume Controller
SAN
Volume Controller
F20
750
800
100/200/500
600/600T
700/900
13
IBM
DS
DS4K / 6K
DS8000
DS4800
Hitachi
Hitachi
Lightning Thunder
9980V
9970V
9910/9960
9200
95xxV
9520V
HP
HP
EVA MA/EMA
3000
5000
Cisco
McData
SAN
Continuous Copy
IBM
FAStT
New
SAN
Point-in-time Copy
IBM
ESS
1024
Hosts
8000
12000
16000
HP
XP
48 / 128
512
1024
EMC EMC/Dell Sun
Symm CLARiiON
8000
DMX
FC4700
9910/9960
CX2/3/4/5/6/700 9970/9980
Array-based
copy services
Ne
The Solution – The IBM SAN Volume Controller
Outros benefícios decorrentes da Virtualização da Rede
Out
of
SVC Drivers
Space
SVC Drivers
SVC Drivers
 Um disco virtual reside em
diferentes sistemas de
discos
VDISK
VDISK
VDISK
VDISK
 A expansão do disco virtual
ocorre com espaço
disponível do pool
SAN
VIRTUALIZADOR
 Migração não disruptiva
entre diferentes sistemas de
discos
Espaço
Disponível
Out
of
Space
ESS
CPQ
LCRB
010101010101010101
Data Migration
010010101101001000
14
Serviços de cópias instantaneas entre diferentes equipamentos
Espelhamento entre redes de armazenamento interligadas à distancia
KMs
RAID
controller 1
RAID
controller 2
Espelhamento entre
Cópia instantânea
entre
diferentes
discos heterogêneos
plataformas/fabricantes
15
RAID
controller 3
LUN 4
LUN 3
LUN 2
LUN 1
LUN 4
LUN 3
LUN 2
SAN Volume Controller
LUN 1
LUN 4
LUN 3
LUN 2
LUN 1
LUN 4
LUN 3
LUN 2
LUN 1
SAN Volume Controller
RAID
controller 4
A parceria Cisco e IBM implementa o virtualizador em switches
da Cisco MDS 9000
O software do SAN Virtual Controller
reside em módulos instalado no
switch da Cisco MDS 9000
Disponível desde 2003
16
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



17
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
Arquitetura do SAN File System – SFS é um sistema de arquivos Global
Clients Externos (NFS, CIFS)
Master
Console
LDAP, Active
Directory, NIS
Rede IP para comuniçação do Client & Metadata Server
SFS
SFS
SFS
SFS
Metadata Server Cluster
Admin
Client
Windows
Solaris
AIX
Linux
SAN
(Fibre, iSCSI)
iSCSI)
(Fibre,
•O servidor
•Operação
do I/O
•Open
do arquivo
Metadata
obtém
direta
na SAN
é
direcionado
para
info do
odados
Metadata
pelo
arquivoSFS
e informa
agente
ao Client
Sistema de Arquivos Único
2-8
Acesso ao dado pela SAN
Servidores
Metadata
18
Discos
Compartilhados
Sistemas heterogêneos compartilham os arquivos
Metadata do SFS
SAN FILE SYSTEM
(CATIA, GRID, Live Science nuclear magnetic resonance tomography
POOL DE DISCOS
device, Kernspintomograph …)
O mapeamento (diretórios) do File System é transparente para a
Plataforma
NFS
CIFS
IP Network for Client/Meta-data Cluster Communications
External
Clients
Admin
Client
Windows
AIX
IFS
IFS w/Cache
w/Cache
Meta-data
Server
Meta-data
Server
Meta-data
Server
Solaris
Solaris
HP-UX
HP/UX
VFS
VFS w/Cache
w/Cache
Meta-data
Store
VFS
VFS w/Cache
w/Cache
Linux
Linux
VFS
VFS w/Cache
w/Cache
IFS
IFS w/Cache
w/Cache
Storage Network
/CRM
Shared
/Data 1
Storage /Databases
Devices /Logs
/RH
/Data 1
/Data 2
/Data 3
/FINANÇAS
/Data 1
/Data 2
/Data 2
/Data 3
Multiple Storage Pools
Data Store
19
Windows
Win 2K
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



20
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
A arquitetura de Sistemas Distribuidos gera complexidade
 Dados distribuidos e heteronêneos
 30%- 50% dos gastos dedicados para
gerenciamento das cópias
 Aplicações criam e mantém dados
duplicados e em Cache
Visão da Integração da Informação
 Qualidade do Serviço comprometida
 Proliferação de cópias de dados
App.
App.
Cache
Invalidate
Cache
App.
Cache
Virtualized
Information
Refresh
Replicas
Delivers quality of service requirements
Based on information policy and dynamic quality of service specifications
Using autonomic information management
Sysplextechniques
Data
Copies
21
O WebSphere Information Integrator é uma plataforma que virtualiza os dados.
Cria uma camada lógica de virtualização
Possui duas alternativas de implementação
IMPL. 1
IMPL. 2
•Criação de um DB com pointers para diversas fontes de DBs, File Systems
DB2, Oracle
Arquivos de texto
Planilha Excell
DBs de Mainframe
Replicação de dados das plataformas heterogêneas em seu próprio DB
Usado quando a performance é sensível
Consolidação de bases diferentes
Customer
Data
Integration
Business
Risk and
Performance
Compliance
Management
Business
Process
Corporate
Intelligence Transformation Portals
CAMADA DE VIRTUALIZAÇÃO
22
O WII suporta diversas fontes de dados e plataformas de S.O.s
• z/OS e OS/390
•DB2, IMS, IBM VSAM, Software AG Adabas, CA IDMS e CA Datacom
•IBM AIX, HP-UX, Sun Solaris, Linux Intel e MS Windows
• DB2, Informix, Oracle, Sybase, MS SQL Server, Teradata, Arquivos texto, Arquivos XML,
Documentos MS Word, planilhas Excel ou qualquer arquivo que possa ser acessado via ODBC
• Outras fontes de dados
•Life Sciences, Content Manager, FileNet, Documentum, Web, SAP, Siebel e PeopleSoft.
• Sistema i
• DB2
SQL
SQL
Mainframe
databases
23
Mainframe
files
Content
Relational
databases
XML
Web services
Packaged
applications
Web
Other
Collaboration
Systems
Content
Workflow
Repositories systems
and
Imaging Systems
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



24
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
GPFS – General Parallel File System
Compartilhamento de única área de dados via rede de Servidores
LOCAL AREA NETWORK
Alternativa
sem/comdeSAN
•Rede
de Servidores
arquivos (Cluster)
AIX
•Um nó acessa
o File
System
•Plataformas
AIX
e Linux
•Demais nós realizam I/O remoto
•Redeacessam
de alta ovelocidade
•Nós
File System via SAN
GPFS
LVM
AIX
GPFS
LVM
AIX
GPFS
LVM
Recomendada
Rede IP dedicada
•GPFS controla o acesso aos arquivos
-mecanismo de locking
•Centenas de nós GPFS
•DB2, Oracle
STORAGE AREA
NETWORK
File
System
25
Rede IP
Alta velocidade
(centenas nós)
Agenda

Motivadores para a Virtualização

Virtualização da rede de armazenamento de dados



26
TotalStorage SAN Virtual Controller (SVC)
Virtualização da Informação

TotalStorage SAN File System (SFS)

WebSphere Information Integrator (WII)

General Parallel File System (GPFS)
Programa Acadêmico – iniciativa IBM
Programa Acadêmico (iniciativa IBM)
Acesso gratuito à:

Software IBM
 Mais de 1,200 produtos de software disponíveis através da
Internet
 Versões completas que não expiram
 Sem limite no número de instalações:
 Computadores dos professores
 Labs na universidade
 CDs com software que os professores podem passar
para alunos

Material didático oficial IBM preparatório para certificação e
descontos de 50% na certificação para alunos e professores

Suporte Técnico via e-mail e tutoriais disponíveis.

Elegíveis: professores, pesquisadores e alunos de pós graduação
de instituições de ensino de nível médio e superior.
 Alguns exemplos de software:
 Engenharia de Software e
Ambiente de Desenvolvimento
 Implementação de SOA
 Sistemas de Informação
Gestão do Conhecimento
 Infraestrutura, redes e
segurança
•Somente para uso científico e de pesquisa. Não para fins comerciais
27
Informações
Links úteis
 Para professores, pesquisadores e pós-graduandos:
www.ibm.com/university
 Para desenvolvedores e alunos:
www.ibm.com/developerworks
 Para estudantes
ibm.com/education/students
Contatos
Gerentes de Alianças com Universidade
Katia Pessanha - [email protected]
Mauro Assano - [email protected]
Dúvidas sobre o Academic Initiative (inscrição)
Yudi Rachter - [email protected]
28
Contatos IBM
 José Alcino Brás –
Arquiteto de sistemas
[email protected]
 Marcelo L. Braunstein – [email protected]
Gerente de Soluções HPC, Grid e Linux - América Latina
 Katia Pessanha – [email protected]
Gerente de Alianças com Universidades
29