Avaliação de sites web centrada no usuário: um estudo

Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Titulo: Avaliação de sites web centrada no usuário: um estudo de caso.
Autor: Tatiana de Almeida Furquim
Orientador: Sueli Angélica do Amaral
(extrato da dissertação de mestrado em Ciência da Informação)
Introdução
Diariamente mais e mais sites web são adicionados à world wide web de forma
acelerada e irrestrita. Os contínuos imperativos informacionais característicos da
sociedade da informação levaram à corrida para o estabelecimento de uma “presença na
Internet” como condição sine qua non. A presença na Internet chegou a ser comparada à
condição de sobrevivência de empresas na sociedade globalizada.
Como conseqüência desse senso de urgência deu-se o desenvolvimento não
ordenado e não planejado de sites web, e embora existam sites web bem planejados e
que fornecem informações de qualidade, também encontra-se na web grande quantidade
de lixo informacional, disfarçados ou não através de peripécias multimídia.
O tema da avaliação de sites web conta com esforços de pesquisadores com
formação em Ciência da Informação, preocupados com a qualidade da informação na
web, bem como pesquisadores da Ciência da Computação, especificamente estudos
desenvolvidos na linha da Engenharia de Software. Como resultado, tem-se uma base de
quais critérios deveriam ser considerados para qualificar o site web. Todavia, poucos
esforços foram conduzidos no sentido de conhecer a opinião do usuário da web.
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
O que o usuário considera ao avaliar um site web? Quais serão os seus critérios de
avaliação? O que o leva a optar pelo uso de um site web ao invés de outras fontes de
informação? Ao se considerar o tema, uma multiplicidade de questões emergem. Esta
pesquisa explorou uma parte do tema, buscando conhecer os critérios de avaliação dos
usuários ao optarem pelo uso de um site web.
Referencial teórico
De acordo com Berners-Lee (1999, p. 124), “em 1996 a maioria do que acontecia
na web era levado a cabo por pura excitação”, porém a partir de 1998 a web passou a ser
vista como um “campo de batalha de grandes negócios e grandes interesses
governamentais”. Shneiderman (1997) complementa ao asseverar que “refinar a web é
mais do que um desafio técnico ou um objetivo comercial, pois cada vez mais o governo
passa a oferecer informações e serviços on-line e as instituições educacionais aumentam
sua dependência da web”.
Segundo Berghel et al. (1999) a uma base de 100 milhões de sites web, 10.000 são
adicionados por mês. Trochim (1996) assevera que, enquanto muitos esforços são
despendidos para criar, aumentar e potencializar o uso da Internet, poucos esforços são
conduzidos no sentido de avaliá-la.
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Bevan (1998) sugere o uso de listas de verificação como um dos métodos de
avaliação de sites web. Todavia, os critérios de avaliação discutidos nas listas de
verificação encontradas na literatura cientifica estão longe de atingirem um consenso:
“Não apenas existe pouca concordância entre as fontes sobre quais são os
critérios mais importantes ou mais apropriados para avaliar um site web, como também
poucos desses critérios aparecem em revisões, sugerindo uma falta de consenso
continuada” (SWEETLAND, 2001).
Outra alternativa para a avaliação de sites web é aquela fornecida dentro da
própria web, por sites web especializados em avaliação, como Argus Clearinghouse,
Infofilter, Webcrawler, entre outros. Um exemplo brasileiro é a avaliação realizada
anualmente pelo site web Ibest. De acordo com Nascimento (2000), os critérios utilizados
pelo Ibest, no ano de 2000 foram:
Fig. 3: Critérios de avaliação do prêmio IBest 2000
Design
1. Estética visual
Conteúdo
1. Profundidade,
Variedade
Navegabilidade
1. Recursos utilizados na
árvore
de
navegação
(tecnologia e elementos)
2. Estilo
2. Volume
2. Disposição espacial de links
3. Originalidade
3. Relevância
3. Peso das páginas web
4. Integração
dos 4. Segmentação
4. Navegação intuitiva (lógica
elementos
e fluidez da navegação)
5. Arquitetura
da 5. Interatividade
5. Otimização / racionalização
informação
dos elementos (informação,
assuntos)
Fonte: Adaptado de Nascimento (2000)
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Smith (1997) desenvolveu um trabalho de consolidação dos critérios utilizados
por sites web especializados em avaliação. O autor avaliou os critérios utilizados por sites
web de avaliação e os consolidou em uma tabela de freqüências, apresentando o número
de sites web em que esse critério é considerado, conforme mostra a tabela 1.
Tabela 1: Freqüência de consideração de critérios em sites web de avaliação
Critérios
Número de sites web
Gráficos e projeto multimídia
10
Navegabilidade e organização
8
Atualidade
8
Conteúdo (em geral)
7
Autoridade
5
Unicidade
4
Audiência
4
Funcionalidade (em geral)
4
Conectividade
4
Fonte: Adaptado de Smith (1997)
Os sites web avaliados pelo autor foram:
1. The Argus Clearinghouse (http://www.clearinghouse.net)
2. Best of 1996 Social Sciences, Humanities & Asian-Pacific Studies
WWW Resources (http://coombs.anu.edu.au/SpecialProj/QLTY/BEST/
Method96.html)
3. CyberHound (http://www.thomson.com/cyberhound/)
4. CyberStacks (http://www.public.iastate.edu/~CYBERSTACKS/)
5. Infofilter (http://www.usc.edu/users/help/flick/Infofilter/)
6. The Internet Public Library (http://www.ipl.org/)
7. Magellan Internet Guide (http://www.mckinley.com/)
8.SiteGrade (URL:http://www.sitegrade.com/)
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
9.
Stevie's
Web
Site
Ratings
Promoção
(http://www.steview.com/cgi-
bin/STEVIE/rat_home)
10. World Wide Web Virtual Library Maintainers: Criteria Used to Select
Links
for
Resources'
Catalogues
(http://www.vuw.ac.nz/~agsmith/evaln/evaln.htm).
Todavia, permanece a questão: o que pensam os usuários da web? Segundo
Rosenfield & Morvile (1998, p. 8), o usuário da web têm um período de atenção tão curto
que chega a ser mítico. Para os autores, o exercício de ir à campo conhecer as
expectativas dos usuários deve fazer o projetista de sites web, no mínimo, desconfortável.
Os autores ressaltam o quão difícil é para um projetista de sites web, geralmente
acostumado ao ambiente web, pensar da mesma forma que o usuário iniciante pensa ao
abrir uma página web pela primeira vez.
Para os autores, os usuários da web “detestam” quando não conseguem encontrar
no site web a informação que eles sabem que está lá, projeto gráfico pobre, uso gratuito
da tecnologia (figuras animadas, sons, filmes que somente tornam o tempo de resposta da
página web mais longo sem agregar valor ao conteúdo), “tom inapropriado” (uso de
jargões ou de uma linguagem não adequada ao usuário), construção da página web
centrada nos critérios do produtor, páginas web “em construção”, e “falta de atenção aos
detalhes”, (links que não funcionam, conteúdo desatualizado, falta de datas, programas
que executam com erro). Por outro lado, consideram que os usuários são motivados por
estética: ou seja, os usuários podem usar um site web somente porque o site web é
esteticamente agradável; boas idéias: sites web que mudam a forma como o usuário
enxerga as coisas; utilidade: para os autores, os usuários visitam e retornam a um site web
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
que de alguma forma julgam úteis; possibilidade que a web oferece de se poder encontrar
praticamente tudo e, finalmente, a possibilidade de se poder obter no site web
informações customizadas e personalizadas.
Assim, outra forma de se conhecer critérios de avaliação de sites web é
perguntando diretamente ao usuário o que ele/ela espera de um site web e como ele/ela o
avalia. As listas de verificação mais encontradas na literatura dizem respeito à avaliação
do site web sob a ótica do provedor da informação, porém no trabalho desenvolvido por
Abels, White, Hahn (1997 e 1998) foram encontrados subsídios para uma pesquisa
centrada no usuário. As autoras, com o intuito de construir um site web baseado nos
critérios do próprio usuário, identificaram junto ao público alvo do site web a ser
desenvolvido quais seriam os critérios que eles/elas considerariam como os mais
importantes, a partir dos quais avaliariam o site web como “bom” ou “ruim”. Estes
critérios são apresentados a seguir, pela ordem de importância indicada pelos usuários,
conforme identificada no estudo de Abels, White, Hahn (1998).
De uma forma geral, critérios relativos ao conteúdo e aos aspectos visuais do site
web foram preocupações unânimes entre os autores pesquisados. Outros critérios, embora
não tenham apresentado unanimidade de opinião, se destacam na literatura como: a
arquitetura da informação, também referenciada sob o termo “estrutura”, a
navegabilidade e a facilidade de uso (ABELS, WHITE, HAHN, 1998; RODRIGUES,
2000; TROCHIM, 1996; STROKER & COKE, 1994; ROSENFIELD & MORVILE,
1998). A preocupação de se evitar o emprego gratuito dos recursos de multimídia
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
também é ressaltada em Nielsen (1997), Rosenfield & Morvile (1998). Verifica-se que a
preocupação com a correção dos códigos de programação e do tempo de resposta das
páginas web também é citada com freqüência (TROCHIM, 1996; CIOLEK, 1996;
NIELSEN, 1999; ROSENFIELD & MORVILE, 1998).
Objetivo da pesquisa
O princípio que norteou esta pesquisa foi a busca de quais seriam os critérios
relativos a um site web que levam um indivíduo a se tornar usuário deste site web.
Buscou-se conhecer o que é relevante para o usuário no momento da sua tomada de
decisão sobre o uso do referido site web, no momento em que define sua opção pelo uso
deste site web para resolver o seu problema, ou atender seus interesses ou necessidades
informacionais.
Após a revisão da literatura sobre o assunto, chegou-se a um conjunto de critérios
de avaliação de sites web centrados no usuário. Todavia, a escassez de pesquisas sob esta
ótica (FURQUIM, 1999/2000) levou ao questionamento: os critérios apontados na
literatura que foram considerados em outro estudo funcionariam em contexto diferente,
para definir critérios determinantes da tomada de decisão de outros usuários sobre o uso
de outro site web?
Devido à impossibilidade de se contatar todos os usuários de sites da web, foi
proposta a avaliação do site web Comprasnet (www.comprasnet.gov.br), por ser um site
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
web com média de 147.000 acessos mensais (dados coletados em 29/10/2001),
reconhecido por prêmios como o Prêmio CONIP Cidadania na Internet, Prêmio Hélio
Beltrão, entre outros.
Assim, buscou-se com esta pesquisa responder à seguinte questão: Quais são os
critérios considerados pelos usuários do Comprasnet como determinantes na tomada de
decisão pelo uso do site web?
Método
A estratégia de pesquisa adotada foi o estudo de caso exploratório (YIN, 1994), e
a coleta de dados foi realizada em âmbito nacional, através de entrevistas por telefone
durante o período de 21 a 28 de agosto de 2002.
O universo desta pesquisa foi composto pelos usuários cadastrados no sistema de
atendimento corporativo ao cliente do Serviço Federal de Processamento de Dados
(SERPRO), que é contratado pelo Ministério do Planejamento, Orçamento e Gestão para
desenvolver e manter o site web Comprasnet. O SERPRO mantém uma central de
atendimento ao usuário (CAS) que pode ser acessada a partir de ligação telefônica
gratuita pelos usuários do Comprasnet. Cada chamada à central de atendimento SERPRO
é registrada, contendo dados do usuário que fez a chamada, o serviço a que se referia e o
histórico da solução, compondo uma base de dados de usuários do Comprasnet que
buscaram apoio na central de atendimento. Esta base de dados foi utilizada para delimitar
o universo desta pesquisa.
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Em levantamento realizado em 14 de agosto de 2002, o número de usuários
distintos registrados na base era 2.719. A pesquisa se valeu de amostra aleatória, e seu
tamanho foi calculado a partir da fórmula apresentada por Richardson (1999, p. 171).
Trabalhou-se com nível de confiança de 99% e a margem de erro admitida de 4%. Para
tanto o índice de resposta satisfatório calculado foi de 928 respostas dos usuários.
Resultados
Perfil dos usuários
Fig. 2: Freqüência de uso do Comprasnet
Fig. 3: Tempo de uso do Comprasnet
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Fig. 4: Critérios da tomada de decisão da opção pelo uso do Comprasnet por
freqüência de ocorrência
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Uma das preocupações motivadoras desta pesquisa foi a busca de um conjunto de
valores de julgamento da importância dos critérios analisados para o usuário do
Comprasnet, uma vez que a freqüência de ocorrência com que o critério é mencionado
como determinante da opção pelo uso do Comprasnet pode ser considerado como
indicativo desta importância para o usuário.
Para tanto, calculou-se a média da freqüência de ocorrência dos critérios
determinantes de opção pelo uso do Comprasnet, com a intenção de estabelecer, entre
estes critérios, uma linha divisória que pudesse categorizá-los em dois tipos: critérios
considerados como determinantes da opção pelo uso do site web que obtiveram
ocorrência acima ou igual à média e os critérios determinantes de opção pelo uso do site
web que obtiveram ocorrência abaixo da média .
Isto pode embasar a afirmação de que os critérios que obtiveram freqüência de
ocorrência superior ou igual ao valor do centro de gravidade da amostra (61, 21%),
podem ser considerados como critérios de maior “visibilidade” ou “apelo” para o usuário
do Comprasnet, enquanto os demais podem ser enquadrados como “desejáveis”,
conforme ilustrado na tabela 2, a seguir.
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Tabela 2: Visibilidade dos critérios determinantes na tomada de decisão do
usuário pelo uso do Comprasnet
Categoria
Critério
Freq.
Posição
Conteúdo
Conteúdo
Estrutura
Aparência
Conteúdo
Aparência
Links
Links
Uso
Estrutura
Conteúdo
Utilidade da informação
Confiabilidade da informação
Facilidade de entendimento da estrutura do site web
Efeito visual agradável
Atualidade da informação
Impressão satisfatória das telas
Coerência dos links
Inexistência de links quebrados
Facilidade de uso
Facilidade de localização da informação desejada
Comodidade para encontrar a informação
89%
88%
84%
84%
83%
82%
77%
74%
67%
63%
62%
1
2
3
3
4
5
6
7
8
9
10
Linha divisória: acima, critérios mais visíveis, abaixo critérios menos visíveis
Uso
Pesquisa
Uso
Uso
Pesquisa
Aparência
Estrutura
Aparência
Tempo de resposta
Existência de mecanismo de “busca no site”
Existência de mapa do site
Facilidade de navegação
Efetividade do mecanismo de busca
Inibição de figuras sem perda da funcionalidade
Ausência de textos longos
Utilização não excessiva de ilustração e efeitos visuais
56%
48%
45%
42%
40%
29%
27%
23%
11
12
13
14
15
16
17
18
Considerações finais
Este estudo de caso foi motivado pela busca do conhecimento de quais seriam os
critérios relativos a um site web que levariam um indivíduo a se tornar seu usuário.
Desta maneira, buscavam-se subsídios para o planejamento e desenvolvimento de sites
web centrados no usuário final, partindo-se do pressuposto que a perspectiva do site web
sob a ótica do usuário seria fundamental para sua melhor estruturação.
A partir da identificação, na literatura, de uma lista consolidada de critérios de
avaliação de sites web centrados no usuário, esta pesquisa tornou possível conhecer o
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Busca
perfil do usuário do Comprasnet em termos de freqüência e tempo de uso do site web e,
com base na autoridade da opinião do usuário demonstrada por seu perfil,
foi
identificada a importância relativa de cada critério para o usuário do Comprasnet, através
da avaliação da freqüência de ocorrência de cada critério na amostra pesquisada.
Foi identificada a necessidade de outros dados detalhados do perfil do usuário
para o desenvolvimento de estudos que pretendam explorar em profundidade questões
sobre como a percepção de cada critério pode ser afetada pelo conhecimento prévio do
usuário das tecnologias da informação, por exemplo. Uma sugestão seria a inclusão, no
instrumento de coleta de dados, de questões que mensurassem o conhecimento do
respondente sobre operação de computadores, bem como tempo, freqüência e tipo de uso
da Internet em geral e da web, especificamente.
Também é possível estabelecer subsídios para o planejamento e desenvolvimento
de quaisquer funcionalidades para o Comprasnet que pretendam ser consideradas como
centradas no usuário final, a partir dos resultados obtidos pela pesquisa. Pode-se sugerir,
para aqueles que forem implementar novas funcionalidades ou alterar as funcionalidades
existentes no Comprasnet, que considerem, ao planejarem ou desenvolverem tais
funcionalidades, os critérios identificados nesta pesquisa, caso desejem construir uma
funcionalidade centrada no usuário.
Todavia, enquanto limitadas à comprovação através de um estudo de caso, as
ponderações e observações quanto aos resultados desta pesquisa não podem ser
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Busca
consideradas válidas para todos os sites web existentes. Porém, os resultados desta
pesquisa podem ser utilizados para comparações em estudos similares.
Dentre
os
estudos que podem vir a utilizar os resultados desta pesquisa para confrontá-los ou
complementá-los, incluem-se estudos sobre planejamento e gestão de sistemas web,
qualidade de sites web, tipologia de sites web, avaliação de sites web, estudos de uso e
usabilidade de sites web, bem como estudos de usuários da web e estudos sobre
sistemas centrados no usuário (user-centered systems).
Comparações entre o uso de funcionalidades desenvolvidas sob a ótica dos
critérios identificados nesta pesquisa e de funcionalidades desenvolvidas sem que estes
critérios tenham sido levados em consideração, também podem auxiliar no
esclarecimento de diversas questões, ainda não respondidas, sobre a validade destes
critérios no contexto de outros sites web.
Finalmente, esta pesquisa possibilitou a identificação da percepção do usuário do
Comprasnet em relação aos produtos e serviços de informação na web. Através da
adaptação de critérios de avaliação de sites web sob diversas óticas, foi possível
estabelecer um conjunto balanceado de critérios que refletem a maneira como o usuário
do Comprasnet visualiza o site web, o que permite afirmar que o conjunto de critérios
estabelecido possibilita a avaliação de outros sites. Assim, pode-se considerar que o
conjunto de critérios estabelecidos por esta pesquisa pode identificar a percepção do
usuário do Comprasnet das características desejadas de
um produto/serviço de
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
informação na web, e por tanto a metodologia de pesquisa pode ser adaptada a outros
contextos.
Referências bibliográficas
ABELS, E. G.; WHITE, M. D.; HAHN, K. Identifying user-based criteria for web pages.
Internet Research : Electronic Applications and Policy, v. 7, n. 4, p. 252-262, 1997.
ABELS, E. G.; WHITE, M. D.; HAHN, K. A user-based design process for Web sites.
Internet Research : Electronic Applications and Policy, v. 8, n. 1, p. 39-48, 1998.
ALEXANDER, J.; TATE, A. T. Checklist for a Informational Web Page, 1996.
Disponível
em:
<http://www2.widener.edu/Wolf-Memorial-Library/inform.htm>
Acessado em: 19 jul. 2000.
ALEXANDER, J.; TATE, A. T. Web wisdom: how to evaluate and create
information quality on the web. New Jersey : LEA, 1999. 156 p.
BERNERS-LEE, T. Weaving the web: the original design and ultimate destiny of the
world wide web. San Francisco: HarperCollins, 1999. 219 p.
BEVAN, N. Usability issues in web site design. 1998. Disponível em:
<http://www.npl.co.uk/npl/sections/us> Acessado em: 25 nov. 2000.
CIOLEK, T. M. The six quests for the electronic grail: current approaches to information
quality in WWW resources. Review Informatique el Statistique dans les Sciences
Humaines,
v.
1-4,
p.
45-71,
1996.
Disponível
em:
<http://www.ciolek.com/PAPERS/QUEST/QuestMain.html> Acessado em: 17 ago.
2000.
FURQUIM, T. de A. Perspectivas para o estudo do consumidor de informação na Web.
Revista de Biblioteconomia de Brasília, v. 23/24, n. 1, p. 119-131, especial 1999/2000.
ISAAC, S.; MICHAEL, W. Handbook in research and evaluation: for education and
the behavioral sciences. San Diego: Edits, 1981. 234 p.
LINDROOS, K. Use quality and the World Wide Web. Information and Software
Tecnology, v.39, n.12, p.827-836, dec. 1997.
NASCIMENTO, N. J. Avaliação de sites sobre gestão do conhecimento na world wide
web: um estudo exploratório. Belo Horizonte, 2000. 139 f. Dissertação (Mestrado em
Busca
Objetivo
Comissões
Palavra do Editor Relação de Títulos Relação de Autores
Promoção
Ciência da Informação) – Escola de Biblioteconomia, Universidade Federal de Minas
Gerais.
NIELSEN, J. “Top ten mistakes” revisited three years later, 1999. Disponível em:
<http://www.useit.com> Acessado em: 11 set. 2001.
NIELSEN, J. Top ten mistakes of web management, 1997. Disponível em:
<http://www.useit.com> Acessado em: 10 set. 2001.
RICHARDSON, R. J. Pesquisa social: métodos e técnicas. São Paulo : Atlas, 1999, 3.
ed., 334 p.
ROSENFIELD, L.; MORVILE P. Information architecture for the world wide web:
designing large-scale web sites. Cambridge: O’Reilly, 1998. 197 p.
SHNEIDERMAN, B. Designing information abundant Web sites: issues and
recommendations. International Journal of Human-Computer Studies, v. 47, n. 1, p.
5-29, 1997.
SMITH, A. G. Testing the surf: criteria for evaluating internet information sources.
Public-Access Computer Systems Review, v.8, n. 3, 1997. Disponível em:
<http://info.lib.uh.edu/pr/v8/n3/smit8n3.html> Acessado em 21 set. 2001.
STOKER, D.; COOKE, A. Evaluation of networked information sources, 1995.
Disponível em:<http://omni.ac.uk/agec/essen.html> Acessado em 17 ago. 2000.
SWEETLAND, J. H. Reviewing the World Wide Web: theory versus reality. Library
Trends, v. 48, n. 4, p. 748-768, Spring 2000.
TROCHIM, W. M. K. Evaluating websites, 1996. Disponível em:
<http://trochim.human.cornell.edu/WebEval/webintro/webintro.htm> Acessado em: 08
jan. 2001.
YIN, R. K. Case study research: design and methods. Thousand Oaks: Sage
Publications, 1994. 171 p.
Busca