Definição da carga de trabalho testada
Propaganda
Relatório de teste de escalabilidade para repositórios de documentos em grande escala Este documento é fornecido "no estado em que se encontra". As informações e exibições expressas neste documento, incluindo URLs e outras referências a sites da Internet, podem ser alteradas sem aviso prévio. Você assume o risco de usá-lo. Alguns exemplos aqui descritos são fornecidos somente para ilustração e são fictícios. Nenhuma associação ou conexão geral é intencional ou deve ser inferida. Este documento não oferece a você quaisquer direitos legais sobre propriedade intelectual em qualquer produto da Microsoft. Este documento pode ser copiado e usado para fins internos e de referência. © 2011 Microsoft Corporation. Todos os direitos reservados. 1 Relatório de teste de escalabilidade para repositórios de documentos em grande escala Paul Andrew, Paul Learning, Barry Waldbaum, Frank Marasco Microsoft Corporation Outubro de 2011 Aplica-se a: Microsoft® SharePoint® Server 2010, Microsoft FAST Search Server 2010 para o SharePoint. resumo Este white paper fornece detalhes sobre um laboratório de teste feito na Microsoft para mostrar bancos de dados de conteúdo em grande escala do SharePoint Server 2010. Ele inclui informações sobre como os bancos de dados de conteúdo do SharePoint Server foram preenchidos com um total de 120 milhões de documentos em cerca de 30 terabytes (TB) de bancos de dados do SQL Server®. Ele detalha como este conteúdo foi indexado pelo FAST Search Server 2010 para SharePoint. Descreve o teste de carga realizado no SharePoint Server concluído e no FAST Search Server 2010 para SharePoint, além de mostrar os resultados e conclusões sobre o teste. 2 Sumário Introdução ............................................................................................................................................................................... 5 Objetivos do teste ............................................................................................................................................................... 5 Parceiros de hardware envolvidos ...................................................................................................................................... 5 Definição da carga de trabalho testada .................................................................................................................................. 6 Descrição da arquitetura de dimensionamento horizontal de documentos ...................................................................... 7 As transações de teste incluídas ......................................................................................................................................... 7 Definições de transação de teste e configurações de linha de base .................................................................................. 8 Combinação de testes de linha de base ............................................................................................................................. 9 Série de testes ..................................................................................................................................................................... 9 Carregamento de teste ..................................................................................................................................................... 11 Captura de recursos durante os testes ............................................................................................................................. 11 Detalhes da arquitetura de hardware do farm de teste ....................................................................................................... 11 Servidores virtuais............................................................................................................................................................. 14 Armazenamento em disco ................................................................................................................................................ 15 Arquitetura do farm de teste do servidor do SharePoint e do SQL Server........................................................................... 16 Site IIS do farm do SharePoint .......................................................................................................................................... 17 Bancos de dados do SQL Server ........................................................................................................................................ 18 Índices de conteúdo do FAST Search Server 2010 para SharePoint ................................................................................. 19 O método, cronograma do projeto e processo para criação da fazenda ............................................................................. 20 Cronograma do projeto .................................................................................................................................................... 20 Como os documentos de exemplo foram criados ............................................................................................................ 20 Características de desempenho para carga de documentos em grande escala ............................................................... 20 IOPS (Operações de entrada/saída por segundo)............................................................................................................. 22 Rastreamento de documento para o FAST Search Server 2010 para SharePoint ............................................................ 24 Resultados do teste............................................................................................................................................................... 25 Série de teste A - Variação de usuários ............................................................................................................................ 25 Série de testes B - Variação da RAM do SQL Server ......................................................................................................... 28 Série de testes C - Variação da combinação de transação ............................................................................................... 30 Série de testes D - Variação da RAM do servidor front-end da web ................................................................................ 34 Série de testes E – Variação no número de servidores front-end da Web ....................................................................... 36 Série de testes F - Variação das CPUs do SQL Server ........................................................................................................ 39 Teste do Service Pack 1 (SP1) e da atualização cumulativa de junho(CU)........................................................................ 42 Backups do conteúdo do SQL Server ................................................................................................................................ 43 3 Conclusões ............................................................................................................................................................................ 44 Recomendações .................................................................................................................................................................... 44 Recomendações relacionadas ao SQL Server 2008 R2 ..................................................................................................... 44 Recomendações relacionadas ao SharePoint Server 2010 ............................................................................................... 44 Recomendações relacionadas ao FAST Search Server para SharePoint 2010 .................................................................. 44 Referências............................................................................................................................................................................ 46 4 Introdução Objetivos do teste Este white paper descreve os resultados do teste em grande escala do SharePoint Server realizado na Microsoft em junho de 2011. O objetivo do teste é publicar os requisitos para os repositórios de arquivo-morto de documentos no SharePoint Server para uma grande capacidade de armazenamento. O teste envolveu a criação de um grande número de documentos típicos com um tamanho médio de 256 KB, carregando-os em um farm do SharePoint, criando um índice nos documentos mo FAST Search Server 2010 para SharePoint e realizando testes com o Microsoft Visual Studio® 2010 Ultimate para simular o uso. Queremos demonstrar com este teste ambas as técnicas de dimensionamento vertical e dimensionamento horizontal. O dimensionamento vertical se refere ao uso da capacidade adicional de hardware para aumentar os recursos e o dimensionamento de um único ambiente cujo propósito seja um banco de dados de conteúdo do SharePoint. Um banco de dados de conteúdo do SharePoint significa que todos os conjuntos de sites, todos os metadados e BLOBs (objetos binários grandes) estão associados a esses conjuntos de sites acessados pelo SharePoint Server. O dimensionamento horizontal se refere a existência de diversos ambientes, o que para nós significa a existência de vários bancos de dados de conteúdo do SharePoint. Observe que um banco de dados de conteúdo não é apenas um banco de dados do SQL Server, mas que também inclui vários dados de configuração e qualquer documento BLOBs, independente de onde esses BLOBs estiverem armazenados. A carga de trabalho que testamos para este relatório é basicamente sobre arquivo-morto de documentos. Isto inclui um grande número de documentos típicos do Microsoft Office armazenados para fins de arquivamento. O armazenamento, neste cenário, é basicamente a longo prazo com acesso não frequente. Parceiros de hardware envolvidos Este teste foi possível devido ao suporte de vários parceiros de hardware da Microsoft. NEC Corporation of America A NEC forneceu um servidor NEC Express5800/A1080a (GX) contendo 8 CPUs (processadores) e 1 terabyte (TB) de RAM no total. Cada processador continha 8 núcleos, num total de 64 núcleos para o servidor. Conforme detalhado abaixo, este servidor foi usado para executar o Microsoft Hyper-V com várias máquinas virtuais que constituíram farms do SharePoint Server e do FAST Search Server 2010 para SharePoint . Figura 1 - NEC Express Server 5800 5 Fonte: www.necam.com/servers/enterprise Especificações do servidor NEC Express 5800/A1080a CPU 8x Westmere (E7-8870) com 10 núcleos de processador cada Memória de 1 TB. Cada Módulo de Memória do Processador tem 1 CPU (10 núcleos) e 16 DIMMs. 2x dual port 8G FC HBA 5 HDDs Intel A Intel forneceu um segundo servidor NEC Express5800/A1080a contendo também8 CPUs (processadores) e 1 TB de RAM. Posteriormente a Intel atualizou esse computador para um Westmere EX CPUs com 10 núcleos cada totalizando 80 núcleos para o servidor. Conforme detalhado abaixo, este servidor foi usar o para executar os indexadores do Microsoft SQL Server e FAST Search Server 2010 para SharePoint diretamente no computador sem usar o Hyper-V. EMC A EMC forneceu um EMC VNX 5700 SAN contendo 300 TB de disco de alto desempenho. EMC VNX5700 com armazenamento unificado Fonte: http://www.emc.com/collateral/software/15-min-guide/h8527-vnx-virt-msapp-t10.pdf Especificações do EMC VNX 5700: Unidades de 2 TB, 15 por 3U DAE, 5 unidades = 75 unidades no total, 150 TB de armazenamento bruto Unidades de600 GB, 25 por 2U DAE, 10 unidades = 250 unidades no total, 150 TB de armazenamento bruto 2x Processadores de armazenamento 2x unidades de bateria de reserva Definição da carga de trabalho testada Este teste de carga foi projetado para mostrar as grandes capacidades de arquivo-morto de documentos do SharePoint Server 2010. A carga de trabalho do arquivo-morto de documentos é caracterizada pelo grande número de documentos que são adicionados (ou ingeridos) lentamente, não frequentemente acessados e quase nunca atualizados. 6 Índice do FAST Search Documentos Biblioteca de documentos da caixa-depósito Roteamento de conteúdo Banco(s) de dados de arquivamento de conteúdo Figura 2 - Trabalhando com grandes arquivos-mortos de documentos Descrição da arquitetura de dimensionamento horizontal de documentos O roteamento de conteúdo é recomendado para um farm no SharePoint com vários bancos de dados de conteúdo para enviar documentos para o banco de dados de conteúdo correto a partir de uma biblioteca de distribuição inicial. Nos testes descritos neste relatório, o roteamento de conteúdo não foi configurado e focamos na escalabilidade e no desempenho da instalação. Enquanto o roteamento de conteúdo é usado para ingerir documentos em um dos vários bancos de dados de conteúdo do SharePoint, o FAST Search Server 2010 para SharePoint pode ser usado para localizar de forma ideal um documento em um ou mais bancos de dados de conteúdo. O FAST Search Server 2010 para o SharePoint cria um índice com todos os documentos de todos os bancos de dados de conteúdo e as pesquisas podem usar metadados, refinadores para selecionar por data, autor ou outras propriedades e também, através de pesquisa no texto completo. As transações de teste incluídas Este white paper inclui os resultados de uma série de testes de desempenho que foram conduzidos no SharePoint Server 2010 e no FAST Search Server 2010 para o SharePoint em um cenário de arquivo-morto de documentos. Esta seção inclui uma explicação da metodologia de teste usada para os testes discutidos neste paper. Os desvios desta metodologia são observados onde os dados são apresentados. Carga de trabalho Importante: É importante observar de que os números específicos relativos à capacidade e ao desempenho apresentados neste artigo serão diferentes daqueles usados em ambientes reais. Os números apresentados têm por objetivo fornecer um ponto de partida para o design de um ambiente dimensionado adequadamente. Após concluir o design inicial do sistema, teste a configuração para determinar se o sistema dará suporte aos fatores do seu ambiente. As cargas de trabalho de teste foram projetadas em conformidade com um cenário de armazenamento de arquivomorto de documentos com a finalidade de ajudar a desenvolver estimativas do quanto as configurações do farm são afetadas por um cenário de repositório de documento em grande escala. O farm de teste citado neste cenário foi planejado para permitir que tanto o dimensionamento horizontal como o vertical acomodem a capacidade adicional conforme necessário. 7 A habilidade de dimensionamento é tão crítica para implementações de cenários de arquivo-morto de documentos em pequena escala como para cenários em grande escala. O dimensionamento horizontal permite que você adicione mais servidores ao farm (ou farms), tais como servidores Web front-end ou os servidores de aplicativo. O dimensionamento vertical permite que você aumente a capacidade dos servidores existentes adicionando CPUs mais rápidas e/ou memória para aumentar a taxa de transferência e o desempenho. O roteamento de conteúdo deve ser também aproveitado nos cenários de arquivo-morto para permitir que os usuários simplesmente "soltem" um arquivo e ele seja dinamicamente direcionado para a biblioteca de documentos adequada e pasta, se necessário, baseado no metadado do título. Definições de transação de teste e configurações de linha de base Esta seção define as transações de teste e outras configurações de base e apresenta uma visão geral dos processos de teste usados para cada cenário. Informações detalhadas, como resultados de teste e parâmetros específicos, são fornecidas em cada uma das seções de resultados de teste, mais adiante neste white paper. Item de linha de base Descrição do item de linha de base Configurações da linha de base (ou porcentagem da transação) Carregamento do documento Carrega um documento para uma das nossas Centrais de Documentos. Uma Pasta e Arquivo exclusivos são criados por hora em cada Central de Documentos, 24 horas por dia. 1% Download de documento (Abrir) Baixa ou abre um documento 30% Procurar Acesso à uma página aleatória da home page da Central de Documentos, à página de exibição da Lista da Biblioteca de Documentos ou à página de exibição da lista de Pastas. 40% Pesquisa Uma consulta aleatória de pesquisa enviada para a Central do FAST Search. 30% Tempo de raciocínio O tempo entre as transações de cada usuário. É para representar o tempo de pausa de um usuário enquanto ele lê ou raciocina enquanto acessa as páginas da web. 10 segundos Usuários simultâneos O número de usuários conectados ao farm do SharePoint, desde os agentes de testes até os servidores Web frontend. Isso não representa um possível total da base de usuários, já que em um ambiente típico uma pequena proporção do total de usuários acessará o sistema simultaneamente. 10.000 Duração do teste O período de tempo de execução do teste 1 hora Cache da web Se o cachê da web está ativado ou não para os servidores Web front-end. Ativado Indexação de conteúdo FAST Se a indexação do conteúdo FAST está funcionando ou não durante o teste Em pausa Número de WFEs O número de servidores front-end da Web no farm do SharePoint usados durante o teste 3 por banco de dados de conteúdo 8 Rampa de usuários Cada teste foi iniciado com 1.000 usuários aumentando em incrementos de 100 a carga de usuários de destino. Foi usado um período de aumento de 30 segundos e um tempo de andamento de 10 segundos. 100 usuários por 30 segundos Agentes de teste O Visual Studio 2010 Ultimate foi utilizado para simular a 19 carga de transação do usuário. Foram usadas uma máquina virtual controladora de teste e 19 máquinas virtuais agentes de teste para criar esta carga. Tabela 1 - Transações de teste e configurações de linha de base Combinação de testes de linha de base Esta seção define as combinações de teste aproveitadas e fornece uma visão geral dos resultados de teste para cada cenário de combinação de teste. A combinação de teste usada para cada teste variado baseada em testes particulares e destinos de carga. Todos os testes foram conduzidos usando o Visual Studio 2010 Ultimate e foram registrados, scripts de código livre gerados exclusivamente pelo Visual Studio. Foram populados dados específicos para cada teste e a combinação de testes foi realizada para períodos diferentes usando números diferentes de usuários simultâneos para determinar as capacidades e limites do farm. Observações Todos os testes conduzidos no laboratório foram realizados usando 10 segundos de "tempo de raciocínio". O tempo de raciocínio é um recurso do controlador de teste do Microsoft Visual Studio 2010 Ultimate que permite a simulação do tempo de pausa dos usuários entre os cliques em uma página em um ambiente real. A combinação de operações usadas para medir o desempenho para o objetivo deste white paper é artificial. Os resultados pretendem somente ilustrar as características de desempenho em um ambiente controlado sob um conjunto específico de condições. Essas combinações de teste são feitas a partir de uma quantidade alta não característica de consultas de lista de recursos do SQL Server comparadas a outras operações. Isto tem por objetivo fornecer um ponto de partida para o design de um ambiente dimensionado adequadamente. Depois de concluído o design inicial do sistema, teste a configuração para determinar se as variáveis de ambientes específicos e as combinações de operações irão variar. Série de testes Há uma série de seis testes a serem realizados, nomeados de A até F. Cada série envolvida realiza testes de linha de base com parâmetros idênticos e exceções de ambiente para um parâmetro variado. Os testes individuais em cada série foram nomeados após a série de testes seguida por um número. Esta seção descreve a série de testes individuais realizada. Está inclusa na lista de testes uma observação sobre qual teste foi igual ao da linha de base. Em outras palavras, um teste em cada série não variou o parâmetro escolhido, foi idêntico ao teste de linha de base original em todos os aspectos. Série de teste A - Variação de usuários Esta série de testes varia o número de usuários para averiguar como a carga aumentada de usuários impacta os recursos do sistema no farm do SharePoint e do FAST Search Server 2010 para SharePoint. Foram feitos três testes incluindo 4.000 usuários, 10.000 usuários e 15.000 usuários. O teste de 15.000 usuários exigiu que o tempo de teste fosse aumentado para duas horas para lidar com o aumento de usuários e também o aumento dos servidores WFE (servidor Web front-end) para 6 para gerenciar a carga aumentada. 9 Teste A.1 A.2 A.3 Número de usuários 4.000 10.000 15.000 Número de WFEs 3 3 6 Tempo de teste 1 hora 1 hora (linha de base) 2 horas Série de testes B - Variação da RAM do SQL Server Esta série de testes varia a quantidade de RAM disponível para o Microsoft SQL Server. Como o computador do SQL Server tem uma grande quantidade de RAM física, realizamos esta série de testes para fazer uma comparação verificando como se comporta um servidor executando o SQL Server com menos RAM. Foram realizados seis testes com o máximo de RAM no SQL server definidas em: 16 GB, 32 GB, 64 GB, 128 GB, 256 GB e 600 GB. Teste B.1 B.2 B.3 B.4 B.5 B.6 RAM NO SQL 16 GB 32 GB 64 GB 128 GB 256 GB 600 GB - (linha de base) Série de testes C - Variação da combinação de pesquisa Esta série de testes varia a proporção de pesquisa feita pelos usuários de teste comparando com a procura e abertura de documentos. A carga de trabalho de teste aplicada ao farm é uma combinação de diferentes transações de usuário, que seguem uma linha de base padrão de 30%, 40% e 30% para Abrir, Procurar e Pesquisar respectivamente. Os testes nesta série variam a proporção de pesquisa e desta maneira, também alteram a proporção de Abrir e Procurar. Teste C.1 C.2 C.3 C.4 C.5 C.6 Open 30% 30% 20% 20% 25% 5% Procurar 55% 40% 40% 30% 25% 20% Pesquisa 15% 30% (linha de base) 40% 50% 50% 75% Série de testes D – Variação da RAM do WFE Este teste varia a RAM alocada nos servidores front-end da Web. Para este teste também foram usados quatro servidores front-end da Web. A RAM em cada um dos quatro servidores front-end da Web foi testada em 4 GB, 6 GB, 8 GB e 16 GB. Teste D.1 D.2 D.3 D.4 Memória do WFE 4 GB 6 GB 8 GB - (linha de base) 16 GB Série de testes E – Variação do número de WFEs Este teste varia o número de servidores front-end da Web em uso. O número diferente de servidores testado foi 2, 3, 4, 5 e 6. Teste E.1 Número de front-ends da Web 2 10 E.2 E.3 E.4 E.5 3 - (linha de base) 4 5 6 Série de testes F - Restrições da CPU do SQL Server Esta série de testes varia a quantidade de CPUs disponíveis para o Microsoft SQL Server. O número diferente de CPUs disponíveis para o SQL Server testado foi de 2, 4, 8, 16 e 80 CPUs. Teste F.1 F.2 F.3 F.4 F.5 CPUs disponíveis para o SQL Server 4 6 8 16 80 - (linha de base) Carregamento de teste Os testes devem ficar abaixo do ponto de carregamento ideal, ou zona verde, com uma mistura de operações gerais. Para medir determinadas mudanças, os testes foram conduzidos em cada ponto que uma variável foi alterada. A série de testes foi planejada para exceder o máximo do ponto de carga ideal para encontrar os afunilamentos na configuração do farm. É recomendado que os resultados do ponto de carga ideal sejam usados para o provisionamento dos farms de produção para que haja capacidade de recursos extra para lidar com cargas temporárias, inesperadas. Para este projeto, definimos que o ponto de carga ideal é aquele que mantém os recursos abaixo das seguintes medições: Latência de 75° por cento é menor que 1 segundo CPU do servidor front-end da Web ser menor que 85% A CPU do servidor SQL Server ser menor do que 50% A CPU do servidor de aplicativo ser menor do que 50% A CPU do FAST Search Server 2010 para SharePoint ser menor que 50% A taxa de falha ser menor que 0,01 Captura de recursos durante os testes Durante cada teste, o uso de recursos é capturado usando o Monitor de Desempenho (Perfmon.exe) e o Visual Studio 2010 Ultimate para determinar a carga nos farms de teste. Os detalhes a seguir foram capturados e são mostrados na seção de relatórios. CPU para cada WFE, servidor de aplicativos do SharePoint, índice do FAST Search Server 2010 para SharePoint , Aplicativo de serviço de pesquisa (SSA) rápido, computador do SQL Server RAM usada para cada WFE, servidor de aplicativos do SharePoint, índice do FAST Search Server 2010 para SharePoint , SSA rápido, computador do SQL Server Tempo de atualização de página em todos os elementos de teste Filas em disco para cada unidade Detalhes da arquitetura de hardware do farm de teste O farm da Central de documentos é o host da Administração central do SharePoint, da Central de Documentos 1, da Central de Documentos 2, dos Aplicativos de serviço e da Central integrada do FAST Search. O farm consiste de três servidores físicos e 22 servidores virtuais. A 11 Figura 3mostra o diagrama da arquitetura física. 12 Figura 3 - Diagrama da arquitetura de hardware 13 Document Center Farm FC HBA (8GB) – VNX5700 PACNEC02 (Hyper-V-HOST) Physical 64xLP 1TB RAM Hosting Hyper-V, FAST Admin SPDC01 Physical 4xLP 4GB RAM Domain Controller, DNS Data/Storage FC HBA (8GB) – EMC SAN 2 FC HBA (8GB) – VNX5700 PACNEC01 (SQL-HOST) Physical 80xLP (Westmere) 1TB RAM Hosting SQL Server, FAST Document Processors Figura 4 - Servidores físicos O hyperthreading foi desabilitado nos servidores físicos porque não precisávamos de núcleos de CPU adicionais e estávamos limitados a 4 CPUs lógicas em qualquer máquina virtual Hyper-V. Não queremos que esses servidores experimentem qualquer degradação de desempenho devido ao hyperthreading. Haviam três servidores físicos no laboratório. Todos os três servidores físicos mais os 22 servidores virtuais estavam conectados a uma LAN virtual no laboratório para isolar do tráfego de rede das outras máquinas do laboratório não relacionadas. A LAN foi hospedada em um comutador Ethernet de 1 GBPS e cada um dos servidores NEC foi conectado a duas portas Ethernet de 1GBPS. SPDC01. O Controlador de Domínio do Windows e o DNS (Sistema de Nomes de Domínio ) para a rede virtual usada no laboratório. o 4 núcleos de processador físico em execução a 3,4 GHz o 4 GB de RAM o Dispositivo de disco local RAID SCSI de 33 GB PACNEC01. O SQL Server 2008 R2 hospedando o arquivo mestre e o secundário para o conteúdo do DB, Logs e TempDB. Executar também processadores de documentos 100 FAST diretamente neste servidor. o NEC ExpressServer 5800 1080a o 8 CPUs Intel E7-8870 contendo 80 núcleos de processadores físicos funcionando em 2,4 GHz o 1 TB de RAM o 800 GB de Disco de Conexão Direta o 2x placas adaptadoras de barramento host de canal de fibra de duas portas com capacidade de 8 GB/s o 2x placas Ethernet de 1 GBPS PACNEC01. O host Hyper-V Host servindo o rig de teste do SharePoint, do FAST Search para SharePoint e as máquinas virtuais de rig de teste no farm. o NEC ExpressServer 5800 1080a o 8 CPUs Intel X7560 contendo um total de 64 núcleos de processadores físicos funcionando a 2,27 GHz o 1 TB de RAM o 800 GB de Disco de Conexão Direta o 2x placas adaptadoras de barramento host de canal de fibra de duas portas com capacidade de 8 GB/s o 2x placas Ethernet de 1 GBPS 14 Servidores virtuais Figura 5 - Servidores virtuais Todos esses servidores executam a instância do Hyper-V no PACNEC02. Todos os servidores virtuais inicializados a partir dos arquivos VHD armazenados localmente no servidor PACNEC02 e todos com acesso configurado à LAN virtual do laboratório. Alguns desses servidores virtuais possuem acesso de disco direto no sistema operacional do guest para um LUN em uma SAN. O acesso de disco direto fornecido aumentou o desempenho com o uso de um disco VHD e foi usado para acessar os índices do FAST . Eis aqui uma lista dos diferentes tipos de servidores virtuais em execução no laboratório, os detalhes do uso de seus recursos e serviços fornecidos. Tipo de servidor virtual Rigs de teste (TestRig-1 a TestRig-20) TestRig-1 é o controlador de teste do Visual Studio 2010 Ultimate TestRig-2 a TestRig19 são agentes de teste do Visual Studio Agents 2010 controlados pelo TestRig-1 SP: Admin Central, aplicativo de Serviço do Repositório Seguro, Rastreador APP-1 - Host de administração central do SharePoint e host do aplicativo do serviço de pesquisa FAST. APP-2 - Aplicativos de serviços do SharePoint e host do aplicativo do serviço de pesquisa FAST. Este servidor de aplicativo executa os seguintes aplicativos de serviço compartilhado do SharePoint: Aplicativo de Serviço de Repositório Seguro. Aplicativo de Serviço de Pesquisa FAST. Serviço FAST e administração FAST-SSA-1 e FAST-SSA-2 Aplicativos de serviço de pesquisa FAST 1 e 2. Descrição O controlador de teste e os agentes de teste do Visual Studio 2010 Ultimate para o teste de carga do farm. Esses servidores virtuais foram configurados com quatro processadores virtuais e 8 GB de memória. Eles usaram o VHD para disco. Estas máquinas virtuais hospedam a Administração central do SharePoint e os Aplicativos de serviço usados no farm. Esses servidores virtuais foram configurados com quatro processadores virtuais e 16 GB de memória. Eles usaram o VHD para disco. Estas máquinas virtuais hospedam o Serviço de pesquisa FAST e a Administração. Cada um deles foi configurado com 4 processadores virtuais, 16 GB de memória e usando o VHD para disco. Índice-Pesquisa FAST Essas máquinas virtuais hospedam o Índice FAST-IS-1, FAST-IS2, FAST-IS3 e FAST- FAST, a Pesquisa e os Nós do analisador da IS4 - Índice FAST, Pesquisa, Nós 1, 2, 3 Web usandos no farm. Eles foram 15 e 4 do analisador Web. Servidor Front-End da Web (SharePoint e FAST Search) WFE-1, WFE-2 e WFE-3 - Servidor front-end da Web nº 1, 2 e 3, parte da configuração do balanceamento de carga do Windows hospedando a primeira Central de Documentos. Esses servidores virtuais foram configurados com 4 processadores virtuais e 8 GB de memória. WFE-4, WFE-5 e WFE-6 - Servidor front-end da Web nº 4, 5 e 6, parte da configuração do balanceamento de carga do Windows hospedando a segunda Central de Documentos. Esses servidores virtuais foram configurados com 4 processadores virtuais e 8 GB de memória. configurados com 4 processadores virtuais, 16 GB de memória e usando o VHD para o disco de inicialização. Eles também tiveram acesso direto desde discos a 3 TB dos LUNS da SAN para armazenamento do índice rápido. Essas máquinas virtuais hospedam todos os servidores front-end da Web e um rastreador FAST dedicado no farm. Cada banco de dados de conteúdo contem uma central de documentos que foi configurada com três servidores WFE do SharePoint de carga balanceada. Isso foi feito para facilitar a combinação de texto para o teste de carga através dos dois bancos de dado de conteúdo. Em um farm real, cada WFE destinaria vários bancos de dados de conteúdo. Eles usaram o VHD para disco. Armazenamento em disco Ele consiste de um armazenamento unificado EMC VNX5700. A matriz VNX5700 foi conectada a cada um dos servidores físicos PACNEC01 e PACNEC02 com canal de fibra de 8 GBPS. Cada um desses servidores físicos contém dois adaptadores de barramento host de canal de fibra de maneira que ambos podem ser conectados ao Processador de armazenamento na SAN principal, que fornece redundância e permite que a SAN equilibre os LUNs através dos Processadores de armazenamento. Rede de área de armazenamento - Matriz EMC VNX5700 Uma matriz EMC VNX5700 (http://brazil.emc.com/storage/vnx/vnx-series.htm#/1 foi usada para o armazenamento de bancos de dados do SQL Server e do índice de pesquisa do FAST Search Server 2010 para SharePoint . O VNX5700, conforme configurado, inclui 300 TBs de disco não processado. A matriz foi populada com 250x unidades SAS de 600 GB 10.000 RPM e 75x unidades SAS de linha próxima de 2 TB 7.200 RPM (unidades SAS de linha próxima possuem interfaces físicas SATA e conectores SAS, enquanto as unidades SAS regulares possuem interface física SCSI). As unidades foram configuradas no formado de RAID-10 para espelhamento e distribuição. O volume RAID configurado na SAN (rede de área de armazenamento) foi divido através de três 3 pools e os LUNs são alocados a partir de um pool específico conforme mostrado na Tabela 2. Nº do pool 0 1 2 Descrição Tipo de unidade FAST Bco de dados de conteúdo Sobressalente - não usado SAS SAS NL SAS Capacidade do usuário (GB) 31.967 34.631 58.586 Alocado (GB) 24.735 34.081 5.261 Tabela 2 - Pools da SAN alocados 16 Os LUNs (Números de Unidade Lógica) no VNX 5700 foram definidos conforme mostrado na Tabela 3. Nº do LUN 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Descrição Bco de dados de serviço SP Espaço extra PACNEC02 Índice FAST 1 Índice FAST 2 Índice FAST 3 Índice FAST 4 Bco de dados de conteúdo SP 1 Bco de dados de conteúdo SP 2 Bco de dados de conteúdo SP 3 Bco de dados de conteúdo SP 4 TransLog do bco de dados de conteúdo TransLog do bco de dados de serviço SP BD temporário Registro do bco de dados temp Bco de dados de uso de integridade SP Bco de dados FAST Crawl/Admin Sobressalente - não usado Cont do Doc do Office em massa Arquivos de permuta WM Backup do bco de dados 1 Backup do bco de dados 2 Tamanho (GB) 1.024 5.120 3.072 3.072 3.072 3.072 7.500 Servidor PACNEC01 PACNEC02 PACNEC02 PACNEC02 PACNEC02 PACNEC02 PACNEC01 Nº do pool do disco 0 0 0 0 0 0 1 Letra da unidade F 6.850 PACNEC01 1 I 6.850 PACNEC01 1 J 6.850 PACNEC01 1 K 2.048 PACNEC01 1 G 512 PACNEC01 0 L 2.048 2.048 PACNEC01 PACNEC01 1 0 M N 3.072 PACNEC01 0 O 1.024 PACNEC01 1 P 5.120 3.072 PACNEC01 PACNEC01 2 Adicionais T 1.024 16.384 16.384 PACNEC02 PACNEC01 PACNEC01 Adicionais Adicionais Adicionais K R S F G H I H Tabela 3 - Números de Unidade Lógica Rede de área de armazenamento - Matriz de disco adicional Uma matriz de disco de desempenho inferior adicional foi usada para fins de backup e para hospedar o conteúdo do documento do Office em massa carregado no farm do SharePoint Server 2010. Esta matriz não foi usada durante a realização dos testes. Arquitetura do farm de teste do servidor do SharePoint e do SQL Server A arquitetura lógica foi definida para demonstrar os limites recomendados do SharePoint Server 2010. Ela consiste de dois aplicativos da Web, cada uma contendo uma coleção de site única em um único banco de dados de conteúdo exclusivo. Cada banco de dados foi carregado com 60 milhões de documentos do tipo Microsoft Word (.docx), Excel (.xlsx), PowerPoint (.pptx) e páginas Hyper-text Markup Language (.html), com um tamanho médio de 250 KB (kilobytes). O tamanho de cada banco de dados de conteúdo era de aproximadamente 15 TB, para um tamanho total de 30 TB. A arquitetura lógica para o laboratório de grande escala é mostrada na Figura 6. 17 Document Center Farm and Data/Storage IIS Web Site – “SP CA v4” IIS Web Site – “SharePoint Services” Application Pool Application Pool Web Application 1 Central Administration Secure Store Service Application E M C V N X 5 7 0 0 S A N http://app-1:2010 SharePoint Central Administration SharePoint Configuration TempDB SharePoint Content FAST Crawl/Admin Default group Bulk Bulk VMs VMs FAST Index Swap Swap Swap Swap Swap Swap Swap Swap Swap Swap IIS Web Site – “doccenter1.lab80” IIS Web Site – “doccenter2.lab81” IIS Web Site – “search.lab2011” Application Pool Application Pool Application Pool Web Application 2 Document Center Template Web Application 3 Document Center Template Web Application 4 FAST Search Center Template http://doccenter1:80 http://doccenter2:81 http://search.lab:2011 Figura 6 - Arquitetura de software O farm da Central de Documentos do SharePoint foi criado para ser usado em um cenário de arquivamento de documentos e foi planejado para acomodar um grande número de documentos armazenado em várias bibliotecas de documentos. As bibliotecas de documento foram limitadas a aproximadamente um milhão de documentos cada e uma hierarquia limitada de documentos por contêiner de aproximadamente 2.000 itens. Isso foi feito somente para acomodar o grande processo de carga de documentos e evitar a queda do tempo de carga depois de exceder 1 milhão de itens em uma biblioteca de documentos. Site IIS do farm do SharePoint Os dois conjuntos de sites aproveitam o modelo da Central de Documentos. O conjunto do site da Central de Pesquisa aproveita o modelo da Central do FAST Search. Cada conjunto de site está em um aplicativo da web exclusivo. Cada aplicativo da Web usa um pool de aplicativo separado. Site IIS - Serviços do SharePoint O site IIS dos serviços do SharePoint hospeda os serviços compartilhados usados no SharePoint Server 2010. Para os objetivos deste laboratório, foi utilizado o Repositório Seguro. Site IIS - Administração Central do SharePoint v4 O site IIS da Administração Central do SharePoint hospeda o site da Administração Central e a interface do usuário para o SharePoint Server 2010. Site IIS - Central de Documentos 1 O site da Central de Documentos 1 hospeda o primeiro arquivo da Central de Documentos. 18 Site IIS - Central de Documentos 2 O site da Central de Documentos 2 hospeda o segundo arquivo da Central de Documentos. Site IIS - Central do FAST Search O site IIS da Central do Fast Search hospeda a pesquisa da interface do usuário para o farm. Em 70 milhões e mais, o banco de dados de rastreamento começa a ficar notoriamente lento e é necessário algum trabalho de ajuste para que ele alcance de 100 a 120 milhões. Bancos de dados do SQL Server Os bancos de dados do SQL Server a seguir estão hospedados na SAN (Rede de área de armazenamento) EMC VNX 5700. Nome do banco de dados Objetivo SharePointAdminContent_<GUID> Banco de dados da Administração Central do SharePoint Banco de dados de configuração do SharePoint Banco de dados temporário do SQL Server Um banco de dados Microsoft SQL Server que armazena todos os metadados de relatórios, incluindo as definições de relatório, histórico de relatórios e instantâneos e informações de agendamento. Um banco de dados do Microsoft SQL Server que armazena todos os instantâneos temporários enquanto os relatórios estão em execução. Bancos de dados de conteúdo do SharePoint 15.601.286 Bancos de dados de conteúdo do SharePoint 15.975.266 Armazenamento de rastreamento para o aplicativo de serviço de pesquisa de consulta do FAST Search. Este banco de dados de armazenamento de rastreamento é usado somente pelos perfis de usuário (Pesquisa de Pessoas). Banco de dados de administração para o aplicativo de serviço de pesquisa de consulta do FAST Search. Armazena as propriedades dos metadados e descritores de segurança dos itens do perfil de usuário no índice de pesquisa de pessoas. Está envolvido nas consultas de pesquisa de pessoas baseadas em propriedades e retorna atributos de documento padrão para os resultados de consulta de pesquisa de pessoas. 15 SharePoint_Config Bancos de dados de sistema - tempdb ReportServer ReportServerTempDB SPContent01 (banco de dados de conteúdo da Central de Documentos 1) SPContent02 (banco de dados de conteúdo da Central de Documentos 2) FAST_Query_CrawlStoreDB_<GUID> FAST_Query_DB_<GUID> FAST_Query_PropertyStoreDB_<GUID> Tamanho (MB) 768 1.574 16.384 10 3 125 173 19 FASTContent_CrawlStoreDB_<GUID> FASTContent_DB_<GUID> FASTSearchAdminDatabase WSS_Content_FAST_Search LoadTest2010 Armazenamento de rastreamento para o aplicativo de serviço de pesquisa de conteúdo do FAST Search. Este banco de dados de armazenamento de rastreamento é usado para todos os itens rastreados, exceto os perfis de usuários. Banco de dados de administração para o aplicativo de serviço de pesquisa de conteúdo do FAST Search. Banco de dados de administração para o farm do FAST Search Server 2010 para o SharePoint. Armazena e gerencia os grupos de configuração de pesquisa, palavras-chave, sinônimos, promoção e rebaixamento de documentos e sites, inclusões e exclusões do extrator de propriedade, exclusões de verificação ortográfica, melhores apostas, melhores apostas visuais e metadados do esquema de pesquisa. Banco de dados de conteúdo da Central do FAST Search. Repositório de resultados de teste de carga 502.481 23 4 52 4.099 Tabela 4 - Bancos de dados do SQL Server Índices de conteúdo do FAST Search Server 2010 para SharePoint Os diretórios de dados do FAST Search Server 2010 para SharePoint estão usando um Hyper-V para passar através da unidade diretamente para a SAN. No servidor virtual FAST-IS1, o diretório de dados está usando 745 GB dos 3 TB sem o uso de espaço temporário (tudo foi apagado). Tabela 5 mostra o armazenamento de dados nas pastas de arquivo de índice do FAST Search Server 2010 para SharePoint armazenadas na SAN. Nome data_fixml data_index sprel webanalyzer Objetivo Fonte do índice usado para criar um índice Índice de pesquisa atual usado pelas Consultas Informações de relevância do SharePoint Usado para levar os resultados de pesquisa popular para o topo da lista. Eleva a ordem do resultado de pesquisa para os documentos vinculados mais comuns. Número de arquivos 6 milhões Tamanho (GB) 223 3.729 490 9 3 135 12 Tabela 5 - Armazenamento usado por 1 dos 4 índices FAST 20 O método, cronograma do projeto e processo para criação da fazenda Cronograma do projeto É o cronograma aproximado do projeto. Planejar a arquitetura do farm Instalar o servidor e o hardware da SAN Criar as máquinas virtuais para o farm Criar os itens de conteúdo de exemplo Carregar itens para o SharePoint Server Desenvolver os scripts de teste Indexação do conteúdo do FAST Search Teste de carga Redigir o relatório 2 semanas 1 semana 1 semana 2 semanas 3 semanas 1 semana 2 semanas 3 semanas 2 semanas Como os documentos de exemplo foram criados Para fornecer um cenário de arquivo-morto de documentos bem realista, a exclusividade do documento é crítica. Foram usados dois utilitários separados. O primeiro para criar documentos exclusivos e o segundo, para ler esses arquivos a partir do disco e carregá-los destinando-os diretamente para os Aplicativos da Web do SharePoint e as bibliotecas de documentos. Ferramenta para criar um grande número de documentos Os documentos foram criados usando uma ferramenta de linha de comando chamada Bulk Loader, que foi criado usando o Microsoft .NET 4.0 Framework. Esta ferramenta usa um arquivo de despejo de conteúdo da Wikipedia como entrada para permitir a criação de até 10 milhões de documentos exclusivos para um local em disco. As imagens em estoque são usadas para substituir as referências de imagem dos despejos da Wikipedia. Esta ferramenta está disponível como código-fonte em http://code.msdn.microsoft.com/Bulk-Loader-Create-Unique-eeb2d084. Ferramenta para carregar documentos no SharePoint Os documentos foram adicionados ao servidor do SharePoint usando uma ferramenta de linha de comando chamada LoadBulk2SP, que foi criada usando o C# e o Microsoft .NET 3.5 Framework para ser compatível com o servidor do SharePoint. Esta ferramenta pega os arquivos de saída da ferramenta Bulk Loader no disco, como entrada, e reproduz a mesma estrutura de pasta e arquivo diretamente no servidor do SharePoint usando aplicativos da web de destino e as bibliotecas de documentos especificadas na configuração do aplicativo. Usando esta ferramenta, mais de 100 milhões de documentos de 250 KB foram carregados no servidor do SharePoint com um pico de desempenho de 233 documento por segundo e um tempo de carga médio geral de 137 documentos por segundo. Esta ferramenta está disponível como código-fonte em http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974. Características de desempenho para carga de documentos em grande escala A carga de documentos foi conseguida usando a ferramenta LoadBulk2SP definida anteriormente neste documento. Esta ferramenta aproveita o método SubFolderCollection.Add() para adicionar novas pastas nas bibliotecas de documentos especificadas e o método SPFileCollection.Add() para adicionar arquivos diretamente nas pastas criadas da biblioteca de documentos do SharePoint. A estrutura de pasta e arquivo criadas no servidor do SharePoint reproduz a hierarquia de saída criada pela ferramenta Bulk Loader. Tamanhos dos bancos de dados de conteúdo da biblioteca de documentos A seguir, detalhes sobre o tamanho do banco de dados do conteúdo da biblioteca de documentos, incluindo os grupos de arquivo do SQL Server, os arquivos primários e secundários usados no farm. Arquivo de conteúdo do SQL SPCPrimary01.mdf SPCData0102.mdf SPCData0103.mdf SPCData0104.mdf Grupo de arquivos Primário SPCData01 SPCData01 SPCData01 LUN H:/ I:/ J:/ K:/ Tamanho (KB) 53.248 3.942.098.048 4.719.712768 3.723.746.048 Tamanho (MB) 52,000 3.849.697,312 4.609.094,500 3.636.470,750 Tamanho (GB) 0,050 3.759,470 4.501,068 3.551,240 Tamanho (TB) 0,000 3,671 4,395 3,468 21 SPCData0105.mdf SPCData01 H:/ 3.371.171.968 SPCData0106.mdf SPCData01 O:/ 4.194.394 Central de Totais: 15.760.968.474 Documentos 1 SPCPrimary02.mdf SPCData02 H:/ 52.224 SPCData0202.mdf SPCData02 I:/ 3.240.200.064 SPCData0203.mdf SPCData02 J:/ 3.144.130.944 SPCData0204.mdf SPCData02 K:/ 3.458.544.064 SPCData0205.mdf SPCData02 H:/ 3.805.828.608 SPCData0206.mdf SPCData02 O:/ 2.495.168.448 Central de Totais: 16.143.924.352 Documentos 2 Tamanho total: 31.904.892.826 Tabela 6 - Tamanhos dos bancos de dados do SQL Server 3.292.160,125 4.096,087 15.391.570,775 3.215,000 4,000 15.030,820 3,139 0,003 14,678 51,00 3.164.257,875 3.070.440,375 3.377.484,437 3.716.629,500 2.436.687,937 15.765.551,125 0,049 3.090,095 2.998,476 3.298,324 3.629,521 2.379,578 15.396,046 0,000 3,017 2,928 3,221 3,544 2,323 15,035 31.157.121,900 30.426,876 29,713 Hierarquias, pastas e arquivos da biblioteca de documentos A seguir, detalhes das hierarquias da biblioteca de documentos, o número total de pastas e documentos gerados para cada Central de documento usando a ferramenta LoadBulk2SP. Os totais através de ambas as Centrais de Documentos são 60.234 pastas e 120.092.033 arquivos. Central de Documentos 1 O total de número de pastas e arquivos contidos em cada biblioteca de documentos no banco de dados é mostrado na Tabela 7. Conforme afirmado anteriormente, os documentos foram limitados em um milhão por documento estritamente para fins de processo de carga de grande conteúdo. Para obter os resultados da arquitetura do farm para o For SharePoint 2010 e conselhos sobre o armazenamento de grandes bibliotecas de documentos, consulte um teste de relatório anterior, Estimativa de requisitos de desempenho e capacidade para repositórios de documentos no SharePoint Server 2010 (http://technet.microsoft.com/pt-br/library/hh395916.aspx), que foca nos números de dimensionamento de itens em uma biblioteca de documentos. Consulte também os limites do SharePoint Server 2010 para itens em bibliotecas de documentos e itens em bancos de dados de conteúdo conforme detalhado na Capacidade de gerenciamento do SharePoint Server 2010: limites do software (http://technet.microsoft.com/pt-br/library/cc262787.aspx) na TechNet. Central de Documentos 1 Biblioteca de documentos Contagens Pastas TOTAIS DC1: 30.447 Arquivos 60.662.595 Tabela 7 - Bibliotecas de documento na Central de Documentos 1 Central de Documentos 2 O total de número de pastas e arquivos contidos em cada biblioteca de documentos no banco de dados é mostrado na Tabela 8. Central de Documentos 2 Biblioteca de documentos Contagens Pastas TOTASIS DC2: 29.787 59.429.438 TOTAIS DC1: 30.447 60.662.595 60.234 120.092.033 TAMANHO TOTAL: Arquivos Tabela 8 - Bibliotecas de documento na Central de Documentos 2 A seguir, exemplos estatísticos a partir da execução da ferramenta LoadBulk2SP, usando quatro processos simultâneos, cada um com 16 threads com destinos diferentes nas Centrais de Documentos, bibliotecas de documento e pastas e arquivos de entrada. 22 Rodada 26: 5 pastas em 2k arquivos Rodada 9: 30 pastas em 2k arquivos Rodada 10: 30 pastas em 2k arquivos Rodada 8: 30 pastas em 2k arquivos Rodada 7: 30 pastas em 2k arquivos Hora Horas 0 Segundos 0 Minutos Segundos 45 46 Total: 2.700 46 2.746 Horas Hora 5 Segundos 18.000 Minutos Segundos 58 46 Total: 3.480 46 21.526 Horas Hora 6 Segundos 21.600 Minutos Segundos 33 50 Total: 1.980 50 23.630 Hora Horas 6 Segundos 21.600 Minutos Segundos 51 30 Total: 3.060 30 24.690 Hora Horas 6 Segundos 21.600 Minutos Segundos 55 0 Total: 3.300 0 24.900 Pastas 315 Arquivos 639.980 Docs/Sec 233 58264 Pastas Arquivos 1.920 3.839.864 Docs/Sec 178 Pastas Arquivos 1.920 3.839.881 Docs/Sec 162 Pastas Arquivos 1.920 3.839.857 Docs/Sec 155 Pastas Arquivos 1.920 3.839.868 Docs/Sec 154 Tabela 9 - Resultados detalhados de desempenho a partir do LoadBulk2SP IOPS (Operações de entrada/saída por segundo) O SQLIO é uma ferramenta usada para determinar a capacidade de E/S de uma determinada configuração dada. Foi executada no sistema depois da conclusão dos testes de desempenho. Contudo, vários discos copiados para backup pelos LUNs da SAN LUN não puderam ser incluídos porque possuem muitos dados neles. O teste do SQLIO é executado individualmente em cada letra de unidade e depois, realiza um teste em todas as unidades de uma vez só. Você pode ver o IOPS/GB na coluna da direita que é calculado dividindo o IOPS pela capacidade da unidade. Para essas unidades todas testadas de uma vez, alcançamos 105.730 IOPS. 23 IOPS conforme testada com a ferramenta SQLIO Lê Tamanho IOPS (GB) (MAX) Escreve IOPS (MAX) Total IOPS (MAX) IOPS por GB LUN Descrição do LUN F: Bco de dados de serviço SP 1024 2.736 23.778 26.514 25,89 G: TranLog dos BDs de conteúdo 2048 3.361 30.021 33.383 16,30 L: Translog do BD de serviço 512 2.495 28.863 31.358 61,25 M: TempDB 2048 2.455 21.778 24.233 11,83 N: Registro do TempDB 2048 2.751 29.522 32.273 15,76 O: BD de conteúdo nº 5 3.072 2.745 28.767 31.511 10,26 P: BDs Rastrear/Admin 1024 2.603 22.808 25.411 24,81 Todos de uma vez 11776 16.665 TOTAL: 11.776 19.145 185.536 310.412 MÉDIA: 1.682 2.735 89.065 105.730 26.505 38.801 8,98 22 Tabela 10 - resultados dos testes de IOPS para a SAN com a ferramenta SQLIO IOPS Alcançados durante o teste de carga Os trabalhos do Monitor de desempenho foram executados de maneira consistente juntamente com a indexação FAST, carga de conteúdo e testes de carga do Visual Studio. A tabela a seguir reflete o IOPS máximo alcançado pelo LUN e identifica que cada LUN, Descrição, Tamanho total, Leit máx, Grav máx, IOPS e IOPS por GB. Como esses resultados foram obtidos durante o teste, eles devem refletir o IOPS que o ambiente de teste foi capaz de conduzir no SAN. Como as unidades H:, I:, J: e K: puderam ser incluídas, o IOPS total alcançado foi muito mais alto do que o do teste de SQLIO. LUN Descrição do LUN G: TranLog dos BDs de conteúdo BD de conteúdo nº 1 BD de conteúdo nº 2 BD de conteúdo nº 3 BD de conteúdo nº 4 H: I: J: K: Tamanho Lê IOPS Escreve Total IOPS IOPS por GB (GB) (MAX) IOPS (MAX) (MAX) 2048 5.437 11.923 17.360 8,48 6.850 6.850 7.500 6.850 5.203 5.284 5.636 5.407 18.546 11.791 11.544 11.146 23.749 17.075 17.180 16.553 3,47 2,49 2,29 2,42 24 L: M: N: O: P: Translog do BD de serviço TempDB Registro do TempDB BD de conteúdo nº 5 BDs Rastrear/Admin TOTAL: MÉDIA: 512 5.285 10.801 16.086 2048 2048 3072 1024 31.365 3.136 5.282 5.640 5.400 5.249 53.824 5.382 11.089 11.790 11.818 11.217 121.667 12.167 16.371 17.429 17.218 16.467 175.491 17.549 31,42 7,99 8,51 5,60 16,08 5,60 Tabela 11 - IOPS conforme as medições dos registros Perfmon Rastreamento de documento para o FAST Search Server 2010 para SharePoint O rastreamento de sites do SharePoint para pesquisa é feito usando o rastreado do SharePoint configurado para alimentar os Distribuidores de Conteúdo do FAST. O SSA foi configurado para ser executado em dois servidores, APP-1 e APP-2, e a consulta SSA foi feita nos servidores FAST-1 e FAST-2. 100 processadores de documento de indexação FAST foram executados na máquina do SQL Server. Capturamos esta tela do gerenciador de tarefas no computador mostrando a atividade enquanto ambos os processadores de documentam trabalham e a carga de teste de 10.000 usuários estava em execução com o SQL Server alocado também neste computador. Figura 7 - Gerenciador de tarefas no PACNEC01 durante a indexação do FAST e o teste de carga 25 Resultados do teste Para gerar uma carga significativa durante o teste, foi usado o seguinte software: O Visual Studio 2010 Ultimate, o Visual Studio 2010 Load Control e o Microsoft Visual Studio Agents 2010 1. Um rig de teste é necessário para simular o número de usuários, bem como produzir uma carga significativa. Um rig de teste é feito de uma máquina controladora de teste e uma ou mais máquinas Agentes de teste. O controlador de teste gerencia e coordena juntamente com as máquinas de agente e os agentes usados para gerar carga para o servidor do SharePoint. O controlador de teste também é responsável por coletar os dados do monitor de desempenho das máquinas sob testes e das máquinas de agentes. Esta seção identifica os resultados dos testes de desempenho realizados. Série de teste A - Variação de usuários Nesta série de testes, variamos o número de usuários carregados no farm de teste. A Figura 8 mostra as solicitações por segundo as quais o Controlador de teste do Visual Studio 2010 Ultimate foi capaz de processar através do farm do SharePoint durante os testes para cada um dos tamanhos de carga de usuários. Você pode ver que uma carga de usuário adicional é aplicada, a solicitação aumenta devido ao grande número de usuários, mas quando chega a 15.000, estamos pesadamente sobrecarregados no farm e por isso ele não aumenta, bem como a carga aplicada. Como o teste dos 15.usuários levou um tempo adicional para aumentar, executamos esse teste por duas horas em vez da linha de base de uma hora. Devido a carga, também descobrimos que 3 servidores front-end Web não são suficientes. Executamos este teste em seis servidores front-end Web. 250 200 150 Média de RPS 100 50 0 A.1 4.000 A.2 10.000 A.3 15.000 Figura 8 - RPS médio para a série A Na Figura 9 você pode ver que o tempo de resposta da transação de teste segue paralela com o tempo de atualização da página para 15.000 testes de usuários. Isto mostra que há um afunilamento no sistema devido a grande carga de usuários. Nós experimentamos altas cargas IOPS na unidade H: que contém o arquivo de dados principal para este banco 1 Agentes do Visual Studio 2010 (em inglês) 26 de dados de conteúdo durante este teste. Investigações adicionais poderiam ter sido feitas nesta área para remover este afunilamento. 25 20 Número de WFEs 15 Tempo médio da página 10 Tempo médio de resposta 5 0 A.1 4.000 A.2 10.000 A.3 15.000 Figura 9 - Períodos de tempo e WFEs usados para a série A Na Figura 10 você pode ver o aumento na CPU conforme a carga de usuários muda de 4.000 para 10,000 usuários,e você pode ver o uso de CPU reduzido somente para os WFEs) já que dobramos o número deles de 3 para 6. Na parte inferior, você pode ver que o servidor APP-1 teve uso de CPU constante de maneira justa, e o grande computador PACNEC01 com SQL Server não ocupa 3% do total de uso da CPU. 70.00% 60.00% Média CPU PACNEC01 50.00% Média da CPU APP-1 Média da CPU WFE-1 40.00% Média da CPU WFE-2 30.00% Média da CPU WFE-3 20.00% Média da CPU WFE-4 Média da CPU WFE-5 10.00% Média da CPU WFE-6 0.00% A.1 4.000 A.2 10.000 A.3 15.000 Figura 10 - RPS médio para a série A Tabela 12 mostra um resumo de dados capturados durante os três testes da série A. Os dados cujo item mostra "NA" não foram capturados. Teste Usuários WFEs A.1 4.000 3 A.2 10.000 3 A.3 15.000 6 27 Duração Média de RPS Tempo médio da página Tempo médio de resposta Média da CPU WFE-1 RAM disponível para WFE-1 Média da CPU WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média CPU PACNEC01 RAM disponível para o PACNEC01 Média da CPU APP1 RAM disponível para APP-1 Média da CPU APP2 RAM disponível para APP-2 Média da CPU WFE-4 RAM disponível para WFE-4 Média da CPU WFE-5 RAM disponível para WFE-5 Média da CPU WFE-6 RAM disponível para WFE-6 Comprimento Médio da Fila de Gravação do Disco H: no PACNEC01 SPContent de DB1 1 hora 96,3 0,31 s 1 hora 203 0,71 s 2 horas 220 19,2 s 0,26 s 0,58 s 13,2 s 22,3% 57,3% 29,7% 5.828 5.786 13.311 36,7% 59,6% 36,7% 5.651 5.552 13.323 22,8% 57,7% 34% 5.961 5.769 13.337 1,29% 2,37% 2,86% 401.301 400.059 876.154 6,96% 14,5% 13,4% 13.745 13.804 13.311 0,73% 1,09% 0,27% 14.815 14.992 13.919 NA NA 29,7% NA NA 13.397 NA NA 30,4% NA NA 13.567 NA NA 34,9% NA NA 13.446 0,0 (pico de 0,01) 0,0 (pico de 0,02) 0,3 (pico de 24,1) Tabela 12 - Resultados detalhados dos testes da série A 28 Série de testes B - Variação da RAM do SQL Server Nesta série de testes variamos a quantidade de RAM disponível para o SQL Server. Você pode ver na Figura 11 que as solicitações-por-segundo não foram impactadas pela RAM alocada no SQL Server. 250 200 150 Média de RPS 100 50 0 B.1 16GBB.2 32GBB.3 64GB B.4 128GB B.5 256GB B.6 600GB Figura 11 - Solicitações médias por segundo para a série B Na Figura 12 você pode ver que todos os testes tem uma página e os tempos de resposta da transação inferiores a 1 segundo. 1 0.9 0.8 0.7 0.6 Tempo médio da página 0.5 0.4 Tempo médio de resposta 0.3 0.2 0.1 0 B.1 16GB B.2 32GB B.3 64GB B.4 B.5 B.6 128GB 256GB 600GB Figura 12 - Página e tempos de resposta da transação da série B Figura 13 mostra o uso da CPU para os servidores WFE, o serv de aplicativo e o servidor do bando de dados SQL. Você pode ver que os três WFEs estão constantemente ocupados por todos os testes, o servidor de aplicativos está praticamente ocioso e o servidor do banco de dados usa mais que 3% da CPU. 29 70.00% 60.00% 50.00% Média da CPU WFE-1 40.00% Média da CPU WFE-2 30.00% Média da CPU WFE-3 20.00% Média CPU PACNEC01 Média da CPU APP-1 10.00% 0.00% B.1 B.2 B.3 B.4 B.5 B.6 16GB 32GB 64GB 128GB 256GB 600GB Figura 13 - Uso médio da CPU para a série B 1,000,000 RAM disponível para WFE-1 900,000 800,000 RAM disponível para WFE-2 700,000 600,000 RAM disponível para WFE-3 500,000 400,000 RAM disponível para o PACNEC01 300,000 200,000 RAM disponível para APP-1 100,000 0 B.1 B.2 B.3 B.4 B.5 B.6 16GB 32GB 64GB 128GB 256GB 600GB RAM disponível para APP-2 Figura 14 - RAM disponível para a série B Tabela 13 mostra um resumo dos dados capturados durante os três testes na série de testes B. Teste RAM NO SQL Média de RPS Tempo médio da página Tempo médio de resposta Média da CPU WFE-1 B.1 16 GB 203 B.2 32 GB 203 B.3 64 GB 203 B.4 128 GB 204 B.5 256 GB 203 B.6 600 GB 202 0,66 0,40 0,38 0,42 0,58 0,89 0,56 0,33 0,31 0,37 0,46 0,72 57,1% 58,4% 58,8% 60,6% 60% 59% 30 RAM disponível para WFE-1 Média da CPU WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média CPU PACNEC01 RAM disponível para o PACNEC01 Média da CPU APP-1 RAM disponível para APP-1 Média da CPU APP-2 RAM disponível para APP-2 6.239 6.063 6.094 5.908 5.978 5.848 55,6% 60,1% 57,1% 59,6% 60,3% 58,1% 6.184 6.079 6.141 6.119 5.956 5.828 59,4% 56% 56,9% 58,4% 61,4% 59,8% 6.144 6.128 6.159 6.048 5.926 5.841 2,84% 2,11% 2,36% 2,25% 2,38% 2,29% 928.946 923.332 918.526 904.074 861.217 881.729 14,3% 12,6% 13,3% 12,5% 13,4% 13,8% 14.163 14.099 14.106 14.125 14.221 14.268 1,29% 1,14% 1,2% 1,2% 1,03% 0,96% 15.013 14.884 14.907 14.888 14.913 14.900 Tabela 13 - Resultados detalhados dos testes da série B Série de testes C - Variação da combinação de transação Nesta série de testes, variamos a proporção das transações de pesquisa feitas na combinação da carga de trabalho. 250 200 150 Média de RPS 100 50 0 C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Figura 15 - RPS médio para a série C 31 Na Figura 16 você pode ver que o teste C.5 possui tempos de resposta de página mais longos, o que indica que o farm do SharePoint Server 2010 e do FAST Search Server 2010 para SharePoint estava sobrecarregado durante este teste. 30 25 20 15 Tempo médio da página 10 Tempo médio de resposta 5 0 C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Figura 16 - Página e tempos de resposta da transação da série C 90% 80% Open 70% Procurar 60% Pesquisa 50% Média da CPU WFE-1 Média da CPU WFE-2 40% Média da CPU WFE-3 30% Média CPU PACNEC01 20% Média da CPU APP-1 10% Média da CPU FAST-1 0% C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Média da CPU FAST-2 Figura 17 - Tempo de CPU médio para a série C 32 16,000 RAM disponível para WFE-1 14,000 12,000 RAM disponível para WFE-2 10,000 RAM disponível para WFE-3 8,000 6,000 RAM disponível para APP-1 4,000 RAM disponível para FAST-1 2,000 0 C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% RAM disponível para FAST-2 Figura 18 - RAM média para a série C Tabela 14 mostra um resumo dos dados capturados durante os três testes na série de testes C. Teste C.4 C.1 C.2 C.3 C.5 30% 55% 15% 235 C.2 (linha de base) 30% 40% 30% 203 Open Procurar Pesquisa Média de RPS Tempo médio da página (S) Tempo médio de resposta (S) Média da CPU WFE-1 RAM disponível para WFE-1 Média da CPU WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média CPU PACNEC01 20% 40% 40% 190 20% 30% 50% 175 25% 25% 50% 168 5% 20% 75% 141 1,19 0,71 0,26 0,43 0,29 25,4 0,87 0,58 0,20 0,33 0,22 16,1 62,2% 57,30% 44,2% 40,4% 36,1% 53,1% 14.091 5.786 6.281 6.162 6.069 13.766 65,2% 59,60% 45,2% 40,1% 37,6% 58,8% 13.944 5.552 6.271 6.123 6.044 13.726 65,3% 57,70% 49,4% 44,2% 39,6% 56,8% 13.693 5.769 6.285 6.170 6.076 13.716 2,4% 2,37% 2,6% 2,51% 2,32% 3,03% 33 RAM disponível para o PACNEC01 Média da CPU APP-1 RAM disponível para APP-1 Média da CPU APP-2 RAM disponível para APP-2 Média da CPU FAST-1 RAM disponível para FAST-1 Média da CPU FAST-2 RAM disponível para FAST-2 Média da CPU FAST-IS1 RAM disponível para FASTIS1 Média da CPU FAST-IS2 RAM disponível para FASTIS2 Média da CPU FAST-IS3 RAM disponível para FASTIS3 Média da CPU FAST-IS4 RAM disponível para FAST-4 899.613 400.059 814.485 812.027 808.842 875.890 8,27% 14,50% 17,8% 20,7% 18,4% 16,2% 13.687 13.804 14.002 13.991 13.984 13.413 0,28% NA 0,88% 0,8% 0,79% 0,14% 13.916 NA 14.839 14.837 14.833 13.910 8,39% NA NA NA NA 16,6% 13.998 NA NA NA NA 13.686 8,67% NA NA NA NA 16,7% 14.135 NA NA NA NA 13.837 37,8% NA NA NA NA 83,4% 2.309 NA NA NA NA 2.298 30,2% NA NA NA NA 66,1% 5.162 NA NA NA NA 5.157 30,6% NA NA NA NA 69,9% 5.072 NA NA NA NA 5.066 25,6% NA NA NA NA 58,2% 5.243 NA NA NA NA 5.234 Tabela 14 - Resultados detalhados dos testes da série C 34 Série de testes D - Variação da RAM do servidor front-end da web Neste teste, variamos a quantidade de RAM em cada máquina virtual do servidor front-end da web. 200 180 160 140 120 100 Média de RPS 80 60 40 20 0 D.1 4GB D.2 6GB D.3 8GB D.4 16GB Figura 19 - Média de RPS 0.25 0.2 0.15 Tempo médio da página 0.1 Tempo médio de resposta 0.05 0 D.1 4GB D.2 6GB D.3 8GB D.4 16GB Figura 20 - Tempo de resposta da transação e da página 35 50.00% 45.00% 40.00% 35.00% Média da CPU WFE-1 30.00% Média da CPU WFE-2 25.00% Média da CPU WFE-3 20.00% Média CPU PACNEC01 15.00% Média da CPU APP-1 10.00% Média da CPU WFE-4 5.00% 0.00% D.1 4GB D.2 6GB D.3 8GB D.4 16GB Figura 21 - Tempo médio da CPU Na Figura 22 você pode ver que a RAM disponível em cada servidor front-end da Web em todos os casos é a RAM alocada para a máquina virtual, inferior a 2 GB. Isso mostra que para uma carga de 10.000 usuários e esta combinação de transação de teste, os servidores front-end da Web exigem um mínimo de 2 GB de RAM mais qualquer reserva. 16,000 14,000 RAM disponível para WFE-1 12,000 RAM disponível para WFE-2 10,000 8,000 RAM disponível para WFE-3 6,000 RAM disponível para WFE-4 4,000 RAM disponível para APP-1 2,000 0 D.1 4GB D.2 6GB D.3 8GB D.4 16GB Figura 22 - RAM disponível para a série D Tabela 15 mostra um resumo dos dados capturados durante os três testes na série de testes D. Teste RAM do WFE Média de RPS Tempo médio da página (S) D.1 4 GB 189 D.2 6 GB 188 D.3 8 GB 188 D.4 16 GB 188 0,22 0,21 0,21 0,21 36 Tempo médio de resposta (S) Média da CPU WFE-1 RAM disponível para WFE-1 Média da CPU WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média CPU PACNEC01 RAM disponível para o PACNEC01 Média da CPU APP-1 RAM disponível para APP-1 Média da CPU APP-2 RAM disponível para APP-2 Média da CPU WFE-4 RAM disponível para WFE-4 0,17 0,16 0,16 0,16 40,5% 37,9% 39,6% 37,3% 2.414 4.366 6.363 14.133 42,3% 40% 40,3% 39,5% 2.469 4.356 6.415 14.158 42,6% 42,4% 42,2% 43,3% 2.466 4.392 6.350 14.176 2,04% 1,93% 2,03% 2,14% 706.403 708.725 711.751 706.281 11,8% 13,1% 12,9% 12,3% 13.862 13.866 13.878 13.841 0,84% 0,87% 0,81% 0,87% 14.646 14.650 14.655 14.636 42,3% 43,6% 41,9% 45% 2.425 4.342 6.382 14.192 Tabela 15 - Resultados detalhados dos testes da série D Série de testes E – Variação no número de servidores front-end da Web Nesta série de testes variamos o número de servidores front-end da Web no farm. Observe que a Figura 23 mostra a média de RPS sutilmente menor com 2 e 3 servidores front-end da Web já que o sistema não acompanha a carga de usuário aplicada. Mas veja que com 4, 5 ou 6 servidores front-end da Web, as solicitações-por-segundo são constantes já que o sistema está lidando com a carga total dos agentes de teste. 37 250 200 150 Média de RPS 100 50 0 E.1 2 WFEs E.2 3 WFEs E.3 4 WFEs E.4 5 WFEs E.5 6 WFEs Figura 23 - RPS médio para a série E Um padrão similar é mostrado na Figura 24 onde você pode ver o alto tempo de resposta para 2 e 3 WFEs e mais lento para os números mais altos dos servidores front-end da Web. 9 8 7 6 5 Tempo médio da página 4 Tempo médio de resposta 3 2 1 0 E.1 2 WFEs E.2 3 WFEs E.3 4 WFEs E.4 5 WFEs E.5 6 WFEs Figura 24 - Página e tempos de resposta da série E Na Figura 25 você pode ver que o tempo de CPU é mais baixo quando há mais servidores front-end da Web disponíveis. Usar 6 servidores front-end da Web reduz nitidamente a utilização média da CPU através dos servidores front-end da Web, mas somente 4 são solicitados para uma carga de 10.000 usuários. Observe que você não pode dizer por este gráfico quais configurações estão lidando com a carga e quais não estão. Observe que para 3 servidores front-end Web que identificamos como não lidando com a carga completa, a CPU do servidor front-end Web está apenas acima de 50%. 38 90.00% 80.00% Média da CPU WFE-1 70.00% Média da CPU WFE-2 60.00% Média da CPU WFE-3 50.00% Média da CPU WFE-4 40.00% Média da CPU WFE-5 30.00% Média da CPU WFE-6 20.00% Média da CPU APP-1 10.00% Média CPU PACNEC01 0.00% E.1 2 WFEs E.2 3 WFEs E.3 4 WFEs E.4 5 WFEs E.5 6 WFEs Figura 25 - CPU média para a série E 16,000 14,000 12,000 RAM disponível para WFE-1 10,000 RAM disponível para WFE-2 RAM disponível para WFE-3 8,000 RAM disponível para WFE-4 6,000 RAM disponível para WFE-5 4,000 RAM disponível para WFE-6 2,000 RAM disponível para APP-1 0 E.1 2 WFEs E.2 3 WFEs E.3 4 WFEs E.4 5 WFEs E.5 6 WFEs Figura 26 – RAM disponível para a série E Tabela 16 mostra um resumo dos dados capturados durante os três testes na série de testes E. Teste Servidores WFE Média de RPS Tempo médio da página (S) Tempo médio de resposta (S) E.1 2 E.2 3 E.3 4 E.4 5 E.5 6 181 186 204 204 205 8,02 0,73 0,23 0,20 0,22 6,34 0,56 0,19 0,17 0,18 39 Média da CPU WFE-1 RAM disponível para WFE-1 Média da CPU WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média da CPU WFE-4 RAM disponível para WFE-4 Média da CPU WFE-5 RAM disponível para WFE-5 Média da CPU WFE-6 RAM disponível para WFE-6 Média CPU PACNEC01 RAM disponível para o PACNEC01 Média da CPU APP-1 RAM disponível para APP-1 Média da CPU APP-2 RAM disponível para APP-2 77,4 53,8 45,7 39,2 32,2 5.659 6.063 6.280 6.177 6.376 76,2% 53,8% 45,9% 38,2% 28,8% 5.623 6.132 6.105 6.089 5.869 NA 52,5% 43,9% 37,7% 31,2% NA 6.124 6.008 5.940 6.227 NA NA 44,5% 34,8% 34,7% NA NA 6.068 6.083 6.359 NA NA NA 35,1% 32% NA NA NA 6.090 6.245 NA NA NA NA 33,9% NA NA NA NA 5.893 2,13% 1,93% 2,54% 2,48% 2,5% 899.970 815.502 397.803 397.960 397.557 9,77% 11,7% 15% 14,7% 13,6% 14.412 13.990 14.230 14.227 14.191 1,06% 0,92% 1% 1% 1,04% 14.928 14.841 14.874 14.879 14.869 Tabela 16 - Resultados detalhados dos testes da série E Série de testes F - Variação das CPUs do SQL Server Nesta série de testes variamos o número de CPUs disponíveis para o SQL Server. 40 250 200 150 Média de RPS 100 50 0 F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Figura 27 - RPS médio para a série F Você pode ver na Figura 28 que apesar do uso mínimo da CPU no computador com o SQL Server, a página e o tempo de resposta da transação aumentam quando o SQL Server tem poucas CPUs para trabalhar. 4.5 4 3.5 3 2.5 Tempo médio da página 2 Tempo médio de resposta 1.5 1 0.5 0 F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Figura 28 - Página e tempos de resposta da série F Na Figura 29 a média de CPU no SQL Server para todo computador não vai acima de 3%. Os três servidores front-end da Web estão todos por volta de em 55% de acordo com os testes. 41 70.00% 60.00% Média da CPU WFE-1 50.00% Média da CPU WFE-2 40.00% Média da CPU WFE-3 30.00% Média da CPU APP-1 20.00% Média da CPU FAST-1 Média da CPU FAST-2 10.00% Média CPU PACNEC01 0.00% F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Figura 29 - CPU média para a série F 16,000 14,000 12,000 RAM disponível para WFE-1 10,000 RAM disponível para WFE-2 8,000 RAM disponível para WFE-3 6,000 RAM disponível para APP-1 4,000 RAM disponível para FAST-1 2,000 RAM disponível para FAST-2 0 F.1 4CPUsF.2 6CPUsF.3 8CPUs F.4 16CPUs F.5 80CPUs Figura 30 - RAM disponível para a série F Tabela 17 mostra um resumo dos dados capturados durante os três testes na série de testes F. Teste CPUs do SQL Média de RPS Tempo médio da página (S) Tempo médio de resposta (S) Média da CPU WFE-1 RAM disponível para WFE-1 Média da CPU F.1 4 194 4,27 F.2 6 200 2,33 F.3 8 201 1,67 F.4 16 203 1,2 F.5 80 203 0,71 2,91 1,6 1,16 0,83 0,58 57,4% 57,4% 56,9% 55,5% 57,30% 13.901 13.939 13.979 14.045 5.786 60,3% 58,9% 62,6% 61,9% 59,60% 42 WFE-2 RAM disponível para WFE-2 Média da CPU WFE-3 RAM disponível para WFE-3 Média CPU PACNEC01 RAM disponível para o PACNEC01 Média da CPU APP-1 RAM disponível para APP-1 Média da CPU APP-2 RAM disponível para APP-2 Média da CPU FAST-1 RAM disponível para FAST-1 Média da CPU FAST-2 RAM disponível para FAST-2 13.920 14.017 13.758 14.004 5.552 56,8% 62% 61% 62,1% 57,70% 13.859 13.942 13.950 13.971 5.769 1,56% 2,57% 2,69% 2,6% 2,37% 865.892 884.642 901.247 889.479 400.059 12,5% 12,8% 12,8% 12,8% 14,50% 13.856 13.713 13.725 13.745 13.804 0,22% 0,25% 0,26% 0,25% NA 14.290 14.041 14.013 13.984 NA 12,8% 13% 13% 13% NA 13.913 14.051 14.067 14.085 NA 12,9% 13,4% 13,3% 13,5% NA 14.017 14.170 14.183 14.184 NA Tabela 17 - Resultados detalhados dos testes da série F Teste do Service Pack 1 (SP1) e da atualização cumulativa de junho(CU) Após o farm do SharePoint Server2010 estar populado com120 milhões de itens, aplicamos o SP1 do SharePoint Server 2010 e o SP1 do FAST Search Server 2010 para SharePoint para ver quanto tempo duraria o processo em uma farm muito populada. SharePoint Server 2010 O Service Pack 1 (SP1) para o SharePoint Server 2010 e a atualização cumulativa de junho foram aplicados no laboratório para determinar o tempo de atualização básico para um cenário de um farm de grande escala da Central de Documentos. O gráfico a seguir reflete os servidores no farm que solicitaram o SP1 e as atualizações cumulativas de junho, o tempo de início e término de cada instalação, o tempo total das instalações e o tempo de início e fim do comando de atualização PSCONFIG, o tempo total do comando de atualização PSCONFIG e o tempo total da atualização por nome do servidor, além da quantidade de vezes total de instalação. Nome do Servidor Início SP1 Fim do SP1 Dif (h:mm:ss) Início da at. Fim da at. cum. Dif cumul. junho de junho (h:mm:ss) Início do PSConfig Fim do PSConfig Dif (h:mm:ss) APP-1 12/07/2011 04:00:00 12/07/2011 04:15:51 0:15:51 29/07/2011 10:45:00 29/07/2011 11:00:05 0:15:05 29/07/2011 29/07/2011 13:25:50 13:30:15 0:04:25 APP-2 12/07/2011 04:26:07 12/07/2011 04:39:31 0:13:24 29/07/2011 11:02:30 29/07/2011 11:17:23 0:14:53 29/07/2011 29/07/2011 13:33:15 13:35:11 0:01:56 43 WFE-1 12/07/2011 04:41:05 12/07/2011 04:49:16 0:08:11 29/07/2011 11:23:00 29/07/2011 11:31:07 0:08:07 29/07/2011 29/07/2011 13:36:35 13:38:11 0:01:36 WFE-2 12/07/2011 4:50:24 12/07/2011 4:57:47 0:07:23 29/07/2011 11:32:45 29/07/2011 11:40:46 0:08:01 29/07/2011 29/07/2011 13:39:20 13:40:54 0:01:34 WFE-3 12/07/2011 04:59:00 12/07/2011 05:06:39 0:07:39 29/07/2011 11:42:00 29/07/2011 11:49:47 0:07:47 29/07/2011 29/07/2011 13:42:40 13:44:14 0:01:34 WFE-4 12/07/2011 05:10:060 12/07/2011 05:17:30 0:07:24 29/07/2011 11:51:00 29/07/2011 11:58:49 0:07:49 29/07/2011 29/07/2011 13:46:05 13:47:41 0:01:36 WFE-5 12/07/2011 05:18:49 12/07/2011 05:27:07 0:08:18 29/07/2011 11:59:45 29/07/2011 12:08:19 0:08:34 29/07/2011 29/07/2011 13:49:00 13:50:36 0:01:36 WFE-6 12/07/2011 05:28:25 12/07/2011 05:35:40 0:07:15 29/07/2011 12:09:30 29/07/2011 12:17:10 0:07:40 29/07/2011 29/07/2011 13:52:00 13:53:35 0:01:35 WFECRAWL1 12/07/2011 05:37:20 12/07/2011 05:44:35 0:07:15 29/07/2011 12:18:10 29/07/2011 12:25:51 0:07:41 29/07/2011 29/07/2011 13:54:35 13:56:19 0:01:44 FAST-SSA- 12/07/2011 1 05:49:00 12/07/2011 05:57:45 0:08:45 29/07/2011 12:39:40 29/07/2011 12:48:24 0:08:44 29/07/2011 29/07/2011 13:57:30 13:59:07 0:01:37 FAST-SSA- 12/07/2011 2 05:59:08 12/07/2011 06:08:29 0:09:21 29/07/2011 12:51:30 29/07/2011 13:00:11 0:08:41 29/07/2011 29/07/2011 14:00:00 14:01:58 0:01:58 1:43:02 0:21:11 Tempo total: Grande total: 1:40:46 3:44:59 Tabela 18- Quantidade de vezes de aplicação do SP1 e as atualizações cumulativas de junho FAST Search Server para SharePoint 2010 A atualização do SP 1 para o FAST Search Server para SharePoint 2010 leva aproximadamente 15 minutos por nó. Backups do conteúdo do SQL Server Central de Documentos 1 Um backup do banco de dados do SQL Server foi executado no banco de dados de conteúdo para a Central de Documentos 1 (SPContent01). Um backup (B/U) foi feito antes do SP1, da atualização cumulativa de junho (CU) e após o SP1. Os detalhes do tempo e do tamanho do backup são os seguintes. Nome do Banco de Dados SPContent01 SPContent01 Início do B/U Fim do B/U Dif(h:mm:ss) Tamanho (TB) Observações 10/07/2011 09:56:00 29/07/2011 14:22:10 10/07/2011 23:37:00 30/07/2011 04:28:00 13:41:00 14.40 Antes do SP1 14:05:50 14.40 Após o SP1 / CU de junho Tabela 19 - Tempo para executar os backups 44 Conclusões O farm do SharePoint Server 2010 foi testado com êxito com 15.000 usuários simultâneos com dois bancos de dados de conteúdo do totalizando 120 milhões de documentos. Não temos capacidade de suportar a carga simultânea de 15.000 usuários simultâneos com 3 servidores front-end da Web conforme especificado no ambiente da linha de base e precisamos de seis servidores front-end da Web para suportar esta carga. Recomendações Segue uma lista resumida de recomendações. Há planos para um futuro documento das práticas recomendadas da biblioteca de documentos em grande escala com mais detalhes sobre cada uma destas recomendações. Em cada seção, as observações de hardware não tem a pretensão de serem uma lista compreensível, mas sim indicar o hardware mínimo que se observou necessário para o teste de carga de 15.000 usuários simultâneos com um farm de 120 milhões de documentos do SharePoint Server 2010. Recomendações relacionadas ao SQL Server 2008 R2 Observações de hardware para carga: o 64 GB RAM no SQL Server o 16 núcleos de CPU no SQL Server Fornecer capacidade adequada de 2 IO por segundo por GB armazenado no banco de dados de conteúdo do SharePoint Configurar a propriedade Grau máximo de paralelismo (MAXDOP)=1 (o padrão é 0) do SQL Server 2008 R2 Utilizar vários LUNs (letras de unidade) na SAN, cada um com um arquivo de dados do SQL Server e uma CPU virtual alocada para cada LUN usado. Usamos 5 arquivos de dados todos em LUNs separados Recomendações relacionadas ao SharePoint Server 2010 Observações de hardware para carga: o 8 GB RAM em cada servidor front-end da Web o 6 Servidores front-end da web Adicionar a chave de registro Desativar verificação de loopback em \HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa\DisableLoopbackCheck=1 Reduzir os problemas de fragmentação de índice manualmente durante a importação de documentos em massa executando ALTER INDEX nos índices de tabela afetados. Prefira o SPFileCollection.ADD para importação em massa de documentos em vez de criar documentos duplicados usando o SPFolder.CopyTo. Recomendações relacionadas ao FAST Search Server para SharePoint 2010 Observações de hardware para carga: o 4 linhas do FAST Search Server 2010 para os servidores de índice do SharePoint Registrar as atualizações para o rastreador de documentos do SharePoint Server 2010 Em nós executando o rastreador SSA do conteúdo do FAST (APP-1 e APP-2), os valores de registro a seguir foram atualizados para melhorar o desempenho do rastreador no hive: HKLM\SOFTWARE\Microsoft\Office Server\14.0\Search\Global\Gathering Manager 1. FilterProcessMemoryQuota O valor padrão de 100 MB (megabytes) foi alterado para 200 MB 45 2. DedicatedFilterProcessMemoryQuota O valor padrão de 100 MB (megabytes) foi alterado para 200 MB 3. FolderHighPriority O valor padrão de 50foi alterado para 500 Monitorar o rastreador de índice do FAST Search Server 2010 para SharePoint O rastreador deve ser monitorado pelo menos três vezes ao dia. Levamos cerca de duas semanas para rastrearmos 100 milhões de itens. A cada monitoramento do rastreador, são feitas as quatro verificações a seguir: 1. rc –r | select-string “# doc” Verifica o quão ocupados estão os processadores de documentos 2. Monitoramento do tamanho da fila de rastreamento Usa o relatório ou o SQL Server Management Studio para ver o MSCrawlURL 3. Indexerinfo –a doccount Verifique se todos os indexadores estão reportando para ver quantos são indexados em 1000 milissegundos. Vimos que ele é executado de 40 a 120, dependendo do tipo de documentos sendo indexados naquele momento. 4. Indexerinfo –a status Monitora as condições dos indexadores e o layout da partição 46 Referências Gerenciamento de capacidade do SharePoint Server 2010: limites do software (http://technet.microsoft.com/pt-br/library/cc262787.aspx) Estimar os requisitos de desempenho e capacidade dos repositórios de documentos em grande escala no SharePoint Server 2010 (http://technet.microsoft.com/pt-br/library/hh395916.aspx) Planejamento e configuração de armazenamento e capacidade (SharePoint Server 2010) (http://technet.microsoft.com/pt-br/library/cc298801.aspx) Central de recursos de planejamento e capacidade do SharePoint na TechNet (http://technet.microsoft.com/enus/office/sharepointserver/bb736741) Práticas recomendadas para visualização (SharePoint Server 2010) (http://technet.microsoft.com/ptbr/library/hh295699.aspx) Práticas recomendadas para o SQL Server 2008 em um farm do SharePoint Server 2010 (http://technet.microsoft.com/pt-br/library/hh292622.aspx) Práticas recomendadas para gerenciamento de capacidade para o SharePoint Server 2010 (http://technet.microsoft.com/pt-br/library/hh403882.aspx) Recomendações de desempenho e capacidade para o FAST Search Server 2010 para o SharePoint (http://technet.microsoft.com/pt-br/library/gg702613.aspx) Ferramenta Bulk Loader (http://code.msdn.microsoft.com/Bulk-Loader-Create-Unique-eeb2d084) Ferramenta LoadBulk2SP (http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974) Scripts de teste de desempenho do SharePoint (http://code.msdn.microsoft.com/SharePoint-Testing-c621ae38) 47
