Proteção de endpoints para corporações Testes de
Propaganda
Proteção de endpoints para corporações Testes de desempenho Windows 7 Setembro de 2010 Documento: Testes de desempenho da proteção de endpoints para corporações Autores: K. Lai, D. Wren, T. Rowling Empresa: PassMark Software Data: 5 de outubro de 2010 Relatório: 1 Proteção de endpoints corporações PassMark Software Resumo executivo A PassMark Software® realizou em setembro de 2010 testes de desempenho objetivos em cinco produtos disponíveis publicamente de software de segurança para proteção de endpoints para corporações no Windows 7 Ultimate Edition. A pontuação máxima possível é 70. O Symantec Endpoint Protection classificou‐se em primeiro lugar com 54 pontos. Pontuação geral Nome do produto Symantec Endpoint Protection 54 Kaspersky Business Space Security 44 Trend Micro OfficeScan 42 Sophos Endpoint Security 38 McAfee Total Protection for Endpoint 32 Essa pontuação oferece uma indicação geral do desempenho do produto em comparação com outros produtos testados por nós. Cada produto computou pontos com base em sua classificação em cada teste; Classificação no teste Pontos computados 1 5 2 4 3 3 4 2 5 1 Os testes foram realizados em todos os produtos usando 14 métricas de desempenho. Essas métricas foram as seguintes: Tempo de instalação Tempo de inicialização Tempo de verificação sob demanda Tempo de verificação por agendamento Uso médio da CPU durante a verificação Tempo de inicialização da interface do usuário Tempo para abrir um documento do Word Tempo de inicialização do Internet Explorer Tempo de navegação Taxa de transmissão da rede Cópia, movimentação e exclusão de arquivos Compactação e descompactação de arquivos Uso da memória durante tempo ocioso do sistema Uso médio da CPU durante tempo ocioso do sistema Teste de desempenho Relatório 11 Página 2 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Sumário RESUMO EXECUTIVO ..................................................................................................................................... 2 SUMÁRIO ...................................................................................................................................................... 3 HISTÓRICO DE REVISÕES ............................................................................................................................... 4 PRODUTOS E VERSÕES .................................................................................................................................. 5 RESUMO DAS MÉTRICAS DE DESEMPENHO ................................................................................................... 6 RESULTADOS DO TESTE ................................................................................................................................. 9 TESTE 1 – TEMPO DE INSTALAÇÃO (SEGUNDOS) .......................................................................................................... 9 TESTE 2 – TEMPO DE INICIALIZAÇÃO DA INTERFACE DO USUÁRIO (MILISSEGUNDOS) ............................................................ 9 TESTE 3 – TEMPO DE INICIALIZAÇÃO DE UM DOCUMENTO DO WORD (MILISSEGUNDOS) .................................................... 10 TESTE 4 – TEMPO DE INICIALIZAÇÃO DO INTERNET EXPLORER (SEGUNDOS) ..................................................................... 10 TESTE 5 – TEMPO DE INICIALIZAÇÃO (SEGUNDOS) ..................................................................................................... 11 TESTE 6 – TEMPO DE VERIFICAÇÃO SOB DEMANDA (SEGUNDOS) ................................................................................... 11 TESTE 7 – TEMPO DE VERIFICAÇÃO POR AGENDAMENTO (SEGUNDOS) ............................................................................ 12 TESTE 8 – USO DA CPU DURANTE A VERIFICAÇÃO (PERCENTUAL) ................................................................................. 12 TESTE 10 – TAXA DE TRANSMISSÃO DA REDE (SEGUNDOS) .......................................................................................... 13 TESTE 11 – CÓPIA, MOVIMENTAÇÃO E EXCLUSÃO DE ARQUIVOS (SEGUNDOS) .................................................................. 14 TESTE 12 – COMPACTAÇÃO E DESCOMPACTAÇÃO DE ARQUIVOS (SEGUNDOS) .................................................................. 14 TESTE 13 – USO DA MEMÓRIA DURANTE TEMPO OCIOSO DO SISTEMA (MEGABYTES) ......................................................... 15 TESTE 14 – USO DA CPU DURANTE TEMPO OCIOSO DO SISTEMA (PERCENTUAL) .............................................................. 15 ISENÇÃO DE RESPONSABILIDADE E DIVULGAÇÃO ........................................................................................ 16 DETALHES PARA CONTATO .......................................................................................................................... 16 APÊNDICE 1 – AMBIENTE DE TESTE .............................................................................................................. 17 SISTEMA DE ENDPOINT COM O WINDOWS 7 (64 BITS) ............................................................................................... 17 SERVIDOR DA WEB E DE ARQUIVOS ........................................................................................................................ 17 SERVIDOR ACTIVE DIRECTORY ............................................................................................................................... 17 SERVIDOR DO CONSOLE DE GERENCIAMENTO DE ANTIVÍRUS ......................................................................................... 17 APÊNDICE 2 – DESCRIÇÃO DA METODOLOGIA ............................................................................................. 18 Teste de desempenho Relatório 11 Página 3 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Histórico de revisões Rev Histórico de revisões Relatório 1 Versão inicial deste relatório Teste de desempenho Relatório 11 Data 27 de setembro de 2010 Página 4 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Produtos e versões Neste relatório, testamos ou incluímos as seguintes versões do software Endpoint Protection1: Fabricante Symantec McAfee Trend Micro Sophos Kaspersky Ano de lançamento Versão do produto Endpoint Protection 2010 11.0.6100.645 Total Protection for Endpoint 2010 4.5.1 OfficeScan 2010 10.5.1083 Endpoint Security 2010 9.5 Business Space Security 2010 6.0.4.1424 Nome do produto 2 1 Todos os produtos foram testados usando suas configurações padrão 2 O sistema de prevenção contra intrusões (IPS) fica ativado no Symantec Endpoint Protection por padrão Teste de desempenho Relatório 11 Página 5 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Resumo das métricas de desempenho Selecionamos um conjunto de métricas objetivas que fornecem uma indicação abrangente e realista das áreas nas quais os produtos de proteção de endpoints podem afetar o desempenho do sistema dos usuários finais. Nossas métricas testam o impacto do software sobre tarefas comuns desempenhadas pelos usuários finais no dia a dia. Todos os métodos de teste da PassMark Software podem ser reproduzidos por terceiros usando o mesmo ambiente para obter resultados de teste semelhantes. Descrições detalhadas das metodologias usadas em nossos testes estão disponíveis na seção “Apêndice 2 – Descrição da metodologia” deste relatório. Teste 1 – Tempo de instalação Este teste mede o tempo de instalação mínimo necessário para que o software esteja totalmente funcional e pronto para ser utilizado pelo usuário final. Tempos de instalação mais baixos representam produtos cuja instalação pelo usuário é mais rápida Teste 2 – Tempo de inicialização da interface do usuário Esta métrica fornece uma indicação objetiva da percepção do usuário quanto à capacidade de resposta de um produto de segurança, medindo o tempo que a interface do usuário do software de proteção de endpoints leva para ser inicializada no Windows. Para considerar os efeitos do armazenamento em cache pelo sistema operacional, foram medidos tanto o tempo de inicialização inicial quanto os tempos de inicialização subsequentes. Nosso resultado final é uma média dessas duas medições. Teste 3 – Tempo para abrir um documento do Word O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. Teste 4 – Tempo de inicialização do Internet Explorer Esta métrica é um dos muitos métodos para se medir objetivamente o quanto um produto aeta a capacidade de resposta do sistema. Ela mede o tempo necessário para iniciar a interface do usuário do Internet Explorer 8. Para considerar os efeitos do armazenamento em cache pelo sistema operacional, foram medidos tanto o tempo de inicialização inicial quanto os tempos de inicialização subsequentes. Nosso resultado final é uma média dessas duas medições. Teste de desempenho Relatório 11 Página 6 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 5 – Tempo de inicialização Essa métrica mede o tempo necessário para o computador inicializar no sistema operacional. O software de segurança geralmente é iniciado na inicialização do Windows, implicando um tempo adicional e atrasando a inicialização do sistema operacional. Tempos de inicialização mais baixos indicam que o aplicativo teve menos impacto sobre a operação normal do computador. Teste 6 – Tempo de verificação sob demanda Todas as soluções de proteção de endpoints têm funcionalidade desenvolvida para detectar vírus e várias outras formas de malware através da verificação de arquivos no sistema. Esta métrica mediu o tempo necessário para verificar um conjunto de arquivos limpos. Nosso conjunto de arquivos de amostra tinha um tamanho total de 5,42 GB e era composto de arquivos que seriam normalmente encontrados em computadores de usuários finais, como arquivos de mídia, arquivos do sistema e documentos do Microsoft Office. Teste 7 – Tempo de verificação por agendamento O teste é executado em uma cópia dos arquivos de teste usados no Teste 3 – Tempo de verificação sob demanda acima; porém, a verificação é definida para um determinado horário por meio da interface do usuário do cliente ou, caso a opção não esteja disponível no cliente, usando o console de gerenciamento. Teste 8 – Uso médio da CPU durante a verificação Esta métrica mede a quantidade de CPU usada ao executar uma verificação. Teste 9 – Tempo de navegação A verificação de dados em busca de malware durante o download de dados da Internet ou intranet constitui um comportamento comum dos produtos de proteção de endpoints. Esse comportamento pode afetar negativamente a velocidade de navegação à medida que os produtos verificam se há malware no conteúdo da Web. Esta métrica mede o tempo levado para navegar por um conjunto de sites populares da Internet para serem carregados consecutivamente de um servidor local em uma janela do navegador do usuário. Teste 10 – Taxa de transmissão da rede Esta métrica mede o tempo levado para o fazer o download de arquivos variados de um servidor local usando HTTP, que é o principal protocolo usado na Web para navegação, links e transferência de dados. Os arquivos desse teste incluem formatos de arquivos que os usuários geralmente transferem da Web, como imagens, arquivos mortos, arquivos de música e arquivos de filme. Teste 11 – Cópia, movimentação e exclusão de arquivos Esta métrica mede o tempo levado para mover, copiar e excluir um conjunto de arquivos de amostra. O conjunto de arquivos de amostra contém diversos tipos de formatos de arquivo que um usuário do Windows utilizaria no seu dia‐a‐dia. Esses formatos incluem documentos (por exemplo, documentos do Microsoft Office, arquivos PDF da Adobe, arquivos Zip etc.), formatos de mídia (por exemplo, imagens, filmes e músicas) e arquivos de sistema (por exemplo, executáveis, bibliotecas etc.). Teste de desempenho Relatório 11 Página 7 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 12 – Compactação e descompactação de arquivos Esta métrica mede o tempo levado para compactar e descompactar diferentes tipos de arquivos. Os formatos de arquivo usados nesse teste incluíram documentos, filmes e imagens. Teste 13 – Uso da memória durante tempo ocioso do sistema Esta métrica mede a quantidade de memória (RAM) usada pelo produto durante o tempo em que o computador e o software de proteção de endpoints estão em estado ocioso. O uso total da memória foi calculado identificando todos os processos do software de proteção de endpoints e a quantidade de memória usada por cada processo. A quantidade de memória usada enquanto o computador está ocioso fornece uma boa indicação da quantidade de recursos do sistema que estão sendo consumidos pelo software de proteção de endpoints em caráter permanente. Produtos com melhor desempenho ocupam menos memória enquanto o computador está ocioso. Teste 14 – Uso médio da CPU durante tempo ocioso do sistema Esta métrica mede a quantidade de CPU usada quando o sistema e o produto estão ociosos. Teste de desempenho Relatório 11 Página 8 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Resultados do teste Teste 1 – Tempo de instalação (segundos) O gráfico a seguir compara o tempo de instalação mínimo necessário para que os produtos estejam totalmente funcionais e prontos para utilização pelo usuário final. Produtos com tempos de instalação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 2 – Tempo de inicialização da interface do usuário (milissegundos) O gráfico a seguir compara o tempo médio necessário para iniciar a interface do usuário de um produto. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 9 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 3 – Tempo de inicialização de um documento do Word (milissegundos) O gráfico a seguir compara o tempo médio levado para iniciar o Microsoft Word e abrir um documento de 10 MB. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 4 – Tempo de inicialização do Internet Explorer (segundos) O gráfico a seguir compara o tempo médio levado para carregar o Internet Explorer sucessivamente. Produtos com tempos de carregamento mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 10 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 5 – Tempo de inicialização (segundos) O gráfico a seguir compara o tempo médio levado para inicializar o sistema (de uma amostra de cinco inicializações) para cada produto testado. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 6 – Tempo de verificação sob demanda (segundos) O gráfico a seguir compara o tempo médio levado para verificar um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse tempo é calculado tirando a média dos tempos de verificação inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com tempos de verificação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 11 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 7 – Tempo de verificação por agendamento (segundos) O gráfico a seguir compara o tempo médio levado para verificar um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse tempo é calculado tirando a média dos tempos de verificação inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com tempos de verificação mais baixos são considerados produtos com melhor desempenho nesta categoria. *Nenhum resultado foi obtido para o Sophos Endpoint Security neste teste, pois não havia opção de agendar uma verificação para uma pasta específica Teste 8 – Uso da CPU durante a verificação (percentual) O gráfico a seguir compara o uso médio da CPU durante uma verificação de um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 12 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 9 – Tempo de navegação O gráfico a seguir compara o tempo médio levado para o Internet Explorer carregar sucessivamente um conjunto de sites populares de um servidor local através da rede local. Produtos com tempos de navegação mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 10 – Taxa de transmissão da rede (segundos) O gráfico a seguir compara o tempo médio para fazer o download de um conjunto de tipos de arquivo comuns de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 13 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 11 – Cópia, movimentação e exclusão de arquivos (segundos) O gráfico a seguir compara o tempo médio levado para copiar, mover e excluir diversos conjuntos de arquivos de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste 12 – Compactação e descompactação de arquivos (segundos) O gráfico a seguir compara o tempo médio levado para que os arquivos de amostra fossem compactados e descompactados para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 14 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Teste 13 – Uso da memória durante tempo ocioso do sistema (megabytes) O gráfico a seguir compara a quantidade média de RAM em uso por cada produto durante um período de ociosidade do sistema. Essa média é calculada por meio de uma amostra de dez imagens da memória capturadas aproximadamente a cada 60 segundos após a reinicialização. Produtos com uso mais baixo de RAM durante ociosidade do sistema são considerados produtos com melhor desempenho nesta categoria. Teste 14 – Uso da CPU durante tempo ocioso do sistema (percentual) O gráfico a seguir compara o uso médio da CPU durante o tempo ocioso do sistema. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria. Teste de desempenho Relatório 11 Página 15 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Isenção de responsabilidade e divulgação Este relatório abrange apenas versões de produtos que estavam disponíveis na época dos testes. As versões testadas são as indicadas na seção “Produtos e versões” deste relatório. Os produtos testados não constituem uma lista exaustiva de todos os produtos disponíveis nessas categorias altamente competitivas. Isenção de responsabilidade Embora todos os esforços tenham sido feitos para garantir que as informações apresentadas neste relatório sejam precisas, a PassMark Software Pty Ltd não assume nenhuma responsabilidade por erros, omissões ou informações desatualizadas e não se responsabilizará de maneira alguma por danos diretos, indiretos, incidentais, consequentes ou punitivos resultantes da disponibilidade, do uso, da impossibilidade de uso dessas informações ou do acesso essas informações. Divulgação A Symantec Corporation financiou a elaboração deste relatório e forneceu alguns dos scripts usados para os testes. Marcas comerciais Todas as marcas comerciais são propriedade de seus respectivos proprietários. Detalhes para contato PassMark Software Pty Ltd Suite 202, Level 2 35 Buckingham St. Surry Hills, 2010 Sydney, Australia Tel. + 61 (2) 9690 0444 Fax + 61 (2) 9690 0445 Web www.passmark.com Local para download Uma cópia eletrônica deste relatório pode ser encontrada no seguinte local: http://www.passmark.com/avreport Teste de desempenho Relatório 11 Página 16 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Apêndice 1 – Ambiente de teste Para os nossos testes, a PassMark Software usou um ambiente que executava o Windows 7 Ultimate (64 bits) e as seguintes especificações de hardware: Sistema de endpoint com o Windows 7 (64 bits) CPU: Placa de vídeo: Placa‐mãe: RAM: Disco rígido: Rede: Intel Core i5 750 de 2,66 GHz ATI Radeon 4350 de 1 GB ASUS V‐P7H55E, LGA1156 4 GB de RAM DDR3, 1333 MHz Samsung de 1,5 TB e 7200 RPM Gigabit (1 GB/s) Servidor da Web e de arquivos O servidor não está sendo testado diretamente. Porém, ele é necessário para fornecer as páginas da Web e os arquivos usados durante os testes nos endpoints. CPU: Placa de vídeo: Placa‐mãe: RAM: Disco rígido: Rede: Pentium 4 de 3200 MHz Vídeo integrado Intel D865PERL 1 GB Seagate ST380023AS de 80 GB Gigabit (1 GB/s) Servidor Active Directory O servidor não está sendo testado. Porém, ele é necessário a alguns produtos para facilitar a implementação remota dos produtos nos endpoints. CPU: Placa de vídeo: Placa‐mãe: RAM: Disco rígido: Rede: Dual Xeon de 3,4 GHz RADEON X600 PRO HP 08B4h 2 GB de RAM Infineon ECC registrada WD740GD‐50FLA2 (Raptor) de 74 GB e 10.000 RPM Gigabit (1 GB/s) Servidor do console de gerenciamento de antivírus O servidor não está sendo testado. Porém, é necessário para a implementação do software de endpoint e para agendar verificações de malware. Máquinas virtuais serão usadas para os consoles de gerenciamento de cada produto. CPU: Placa de vídeo: Placa‐mãe: RAM: Disco rígido: Rede: Teste de desempenho Relatório 11 AMD Phenom II x4 940 (Quad Core) ASUS GeForce 9400GT Gigabyte GA‐MA790XT‐UD4P 16 GB de memória DDR3 de 1333 MHz PC3‐10600 Western Digital Caviar Green WD10EADS de 1 TB Serial ATA‐II Gigabit (1 GB/s) Página 17 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Apêndice 2 – Descrição da metodologia Criação da imagem do Windows 7 Assim como nos testes realizados no Windows Vista, o Norton Ghost foi usado para criar uma imagem de linha de base “limpa” antes dos testes. Nosso objetivo é criar uma imagem de linha de base com o menor espaço ocupado possível e reduzir a possibilidade de variação causada por fatores externos ao sistema operacional. A imagem de linha de base foi restaurada antes do teste de cada produto diferente. Esse processo garante que todos os produtos sejam instalados e testados no mesmo computador "limpo". As etapas adotadas para criar a imagem do Windows 7 de base foram as seguintes: 1. Instalação e ativação do Windows 7 Ultimate Edition. 2. Desativação das atualizações automáticas. 3. Alteração das configurações de controle da conta do usuário para “Nunca Notificar”. 4. Desativação das verificações automáticas do Windows Defender para evitar atividade inesperada em segundo plano. 5. Desativação do firewall do Windows para evitar interferência com o software de segurança. 6. Instalação do Norton Ghost para fins de geração de imagens. 7. Desativação do SuperFetch para assegurar resultados consistentes. 8. Instalação do HTTPWatch para teste de tempo de navegação. 9. Instalação do Windows Performance Toolkit x64 para teste de tempo de inicialização. 10. Instalação do Active Perl para interpretação de alguns scripts de teste. 11. Desativação de atualizações, aceleradores e atualizações de exibição de compatibilidade no Internet Explorer 8. 12. Criação de uma imagem de linha de base usando o Norton Ghost. Teste 1 – Tempo de instalação Este teste mede o tempo de instalação mínimo necessário para que um produto esteja totalmente funcional e pronto para ser utilizado pelo usuário final. O tempo de instalação geralmente pode ser dividido em três fases principais: Sempre que possível, a instalação será realizada por meio de implementação remota. Se isso não for possível, será feita uma instalação local. Cada etapa do processo de instalação foi cronometrada manualmente e registrada com o máximo possível de detalhes. Quando foi necessária uma contribuição do usuário final, o cronômetro foi pausado e a contribuição foi anotada nos resultados brutos entre parênteses após a descrição da fase. Sempre que possível, todas as solicitações de pré‐verificação ou verificação após a instalação feitas pelos produtos foram recusadas ou ignoradas. Quando não foi possível ignorar uma verificação, o tempo de verificação foi incluído como parte do tempo de instalação. Quando um componente opcional da instalação formava uma parte razoável da funcionalidade do software, ele também foi instalado (por exemplo, software de verificação de links de sites como parte de um produto de segurança de endpoint). Teste de desempenho Relatório 11 Página 18 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software O tempo de instalação inclui o tempo levado para o instalador do produto fazer o download dos componentes exigidos na instalação. Isso pode incluir atualizações obrigatórias ou a entrega do próprio aplicativo por download. Excluímos os tempos de ativação dos produtos devido à capacidade de variação da rede no contato com servidores do fornecedor ou ao tempo necessário para a criação da conta. Teste 2 – Tempo de inicialização da interface do usuário O tempo de inicialização da interface do usuário de um produto foi obtido usando o AppTimer (v1.0.1008). Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações da interface do usuário, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. O AppTimer está disponível publicamente no site da PassMark. Teste 3 – Tempo para abrir um documento do Word O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. Teste 4 – Tempo de inicialização do Internet Explorer O tempo médio de inicialização da interface do Internet Explorer foi obtido usando o AppTimer. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações do Internet Explorer, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Para este teste, usamos o Internet Explorer 8 (Versão 8.0.6001.18783) como nosso navegador de teste. Teste de desempenho Relatório 11 Página 19 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial. Teste 5 – Tempo de inicialização A PassMark Software usa ferramentas disponíveis no Windows Performance Toolkit versão 4.6 (como parte do Microsoft Windows 7 SDK, que pode ser obtido no site da Microsoft) com o objetivo de obter resultados mais precisos e consistentes para o tempo de inicialização na plataforma Windows 7. O processo de inicialização é primeiro otimizado com o xbootmgr.exe usando o comando “xbootmgr.exe ‐ trace boot –prepSystem”, que prepara o sistema para o teste em seis inicializações de otimização. Os rastreamentos de inicialização obtidos do processo de otimização são descartados. Após a otimização da inicialização, o teste é conduzido usando o comando "xbootmgr.exe ‐trace boot ‐ numruns 5”. Esse comando inicializa o sistema cinco vezes sucessivamente, obtendo rastreamentos detalhados para cada ciclo de inicialização. Por fim, uma ferramenta pós‐processamento foi usada para analisar os rastreamentos de inicialização e obter o valor BootTimeViaPostBoot . Esse valor reflete o tempo levado pelo sistema para concluir todos os processos do tempo de inicialização (e somente estes). Nosso resultado final é uma média de cinco rastreamentos de inicialização. Teste 6 – Tempo de verificação sob demanda Tempo de verificação é o tempo levado por cada produto para verificar um conjunto de arquivos de amostra. A amostra utilizada era idêntica em todos os casos e continha uma combinação de arquivos de sistema e arquivos do Office. No total, havia 8502 arquivos, cujo tamanho combinado era de 5,42 GB. A maioria desses arquivos vem de pastas de sistema do Windows. Como os tipos de arquivo podem influenciar a velocidade da verificação, a divisão dos principais tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é apresentada aqui. .avi .dll .exe .gif .doc .docx 247 773 730 681 160 267 1024 MB 25 MB 198 MB 63 MB 60 MB 81 MB .jpg .mp3 .png .ppt .sys .wav 2904 333 451 97 501 430 318 MB 2048 MB 27 MB 148 MB 80 MB 260 MB .wma .xls .zip 585 329 14 925 MB 126 MB 177 MB Sempre que possível, essa verificação foi executada sem iniciar a interface do usuário do produto, mas clicando com o botão direito do mouse na pasta de teste e escolhendo a opção "Verificar Agora”, embora alguns produtos exigissem a entrada na interface do usuário para verificar uma pasta. Para registrar o tempo de verificação, usamos o sistema de geração de relatórios ou temporizador de verificação interno do produto. Quando isso não foi possível, os tempos de verificação foram obtidos manualmente com um cronômetro. Para cada produto, cinco amostras foram obtidas, com o computador sendo reinicializado antes de cada amostra para limpar os efeitos do armazenamento em cache pelos sistemas operacionais. Teste de desempenho Relatório 11 Página 20 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Como resultado desse mecanismo, tiramos a média dos quatro tempos de verificação subsequentes para obter um tempo médio de verificação subsequente. Nosso resultado final para esse teste é uma média do tempo médio de verificação subsequente e o tempo da verificação inicial. Teste 7 – Tempo de verificação por agendamento O conjunto de dados usado foi uma cópia dos mesmos arquivos utilizados no teste Tempo de verificação sob demanda (anterior), mas a verificação foi iniciada através de um agendamento feito na interface do usuário. Quando essa opção não estava disponível, a verificação foi agendada no console de gerenciamento (sempre que possível). Teste 8 – Média da CPU durante a verificação A ferramenta CPUAvg foi usada para essa métrica. O sistema foi inicializado e aguardou‐se que ficasse ocioso (aproximadamente cinco minutos após a inicialização). Uma verificação de vírus foi executada em um conjunto predefinido de arquivos, enquanto o CPUAvg era executado durante a verificação. Teste 9 – Tempo de navegação Usamos um script em conjunto com o HTTPWatch (Basic Edition, versão 6.1) para registrar o tempo levado para carregar um conjunto de 106 sites "populares" consecutivamente de um servidor local. Esse script envia uma lista de URLs para o HTTPWatch, que instrui o navegador a carregar páginas em sequência e monitora o tempo levado pelo navegador para carregar todos os itens de uma página. Para este teste, usamos o Internet Explorer 8 (Versão 8.0.6001.18783) como nosso navegador. O conjunto de sites usado neste teste inclui páginas iniciais de sites de alto tráfego. Dentre eles havia sites de compras, redes sociais, notícias, finanças e sites de referência. O teste de tempo de navegação é executado cinco vezes e o nosso resultado final é uma média dessas cinco amostras. O servidor local é reiniciado a cada produto diferente e uma execução de "teste" inicial é conduzida. Teste 10 – Taxa de transmissão da rede Este teste mediu o tempo levado para fazer o download de um conjunto de amostra de arquivos binários de tipos e tamanhos variados através de uma conexão de rede de 100 MB/s. Os arquivos estavam hospedados em um servidor que executava o Windows Server 2008 e IIS 7. O CommandTimer.exe foi usado em conjunto com o GNU Wget (versão 1.10.1) para medir o tempo e conduzir o teste de download. O conjunto de arquivos de amostra completo era composto por 553.638.694 bytes em 484 arquivos e duas categorias de tipos de arquivo: arquivos de mídia (74% do total) e documentos (26% do total). A divisão dos tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é mostrada na seguinte tabela: Formato de Categoria Quantidade arquivo Testes de desempenho Edição 1 Tamanho (bytes) JPEG Mídia 343 30.668.312 GIF Mídia 9 360.349 PNG Mídia 5 494.780 Página 21 de 23 3 November 2010 Proteção de endpoints corporações Formato de Categoria Quantidade arquivo PassMark Software Tamanho (bytes) MOV Mídia 7 57.360.371 RM Mídia 1 5.658.646 AVI Mídia 8 78.703.408 WMV Mídia 5 46.126.167 MP3 Mídia 28 191.580.387 PDF Documentos 73 136.298.049 ZIP Documentos 4 6.295.987 7Z Documentos 1 92.238 Total 484 1503.382 Este teste foi realizado cinco vezes para obter o tempo médio de download dessa amostra de arquivos, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache. Teste 11 – Cópia, movimentação e exclusão de arquivos Este teste mede o tempo necessário para o sistema copiar, mover e excluir amostras de arquivos de vários formatos. Esta amostra era composta de 809 arquivos com 683.410.115 bytes e pode ser categorizada como documentos (28% do total), arquivos de mídia (60% do total) e arquivos PE (isto é, arquivos de sistema) (12% do total). Este teste foi realizado cinco vezes para obter o tempo médio para copiar, mover e excluir os arquivos de amostra, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache. Teste 12 – Compactação e descompactação de arquivos Este teste mediu o tempo necessário para compactar e descompactar um conjunto de arquivos de amostra. Para este teste, usamos um subconjunto dos arquivos de mídia e documentos usados no teste Cópia, movimentação e exclusão de arquivos. O programa CommandTimer.exe registrou o tempo necessário para o 7zip.exe compactar os arquivos em um arquivo *.zip e subsequentemente descompactar o arquivo *.zip criado. Testes de desempenho Edição 1 Página 22 de 23 3 November 2010 Proteção de endpoints corporações PassMark Software Esse subconjunto era composto de 404 arquivos com 277.346.661 bytes. A divisão dos tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é mostrada na seguinte tabela: Formato de Categoria Quantidade Tamanho (bytes) DOC Documentos 8 30.450.176 DOCX Documentos 4 13.522.409 PPT Documentos 3 5.769.216 PPTX Documentos 3 4.146.421 XLS Documentos 4 2.660.352 XLSX Documentos 4 1.426.054 JPG Mídia 351 31.375.259 GIF Mídia 6 148.182 MOV Mídia 7 57.360.371 RM Mídia 1 5.658.646 AVI Mídia 8 78.703.408 WMV Mídia 5 46.126.167 Total 404 277.346.661 arquivo Este teste foi realizado cinco vezes para obter a velocidade média de compactação e descompactação de arquivos, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache. Teste 13 – Uso da memória durante tempo ocioso do sistema O utilitário Perflog++ foi usado para registrar o uso da memória em processos no sistema durante a inicialização e depois a cada minuto por mais 15 minutos. Isso foi feito apenas uma vez por produto e resultou em um total de 15 amostras. A primeira amostra obtida na inicialização é descartada. O utilitário PerfLog++ registra o uso da memória de todos os processos, e não apenas aqueles do produto antimalware. Como resultado, os processos do produto antimalware precisaram ser isolados de todos os demais processos em execução no sistema. Para isolar o processo relevante, usamos um programa chamado Process Explorer, que foi executado imediatamente após a conclusão do registro do uso da memória pelo PerfLog++. O Process Explorer é uma ferramenta de software Sysinternals do Microsoft Windows que mostra uma lista de todos os processos de DLL carregados no momento no sistema. Teste 14 – Média da CPU durante tempo ocioso do sistema A ferramenta CPUAvg foi usada para isso. O sistema foi inicializado e aguardou‐se que ficasse ocioso (aproximadamente cinco minutos após a inicialização). Então, o CPUAvg foi executado por cinco minutos enquanto o sistema estava em estado ocioso. . Testes de desempenho Edição 1 Página 23 de 23 3 November 2010
