ESTUDO EXPLORATÓRIO SOBRE CARACTERÍSTICAS DE QUALIDADE EM WEB

ESTUDO EXPLORATÓRIO SOBRE CARACTERÍSTICAS DE QUALIDADE EM
WEB SITES ACADÊMICOS
Sílvio Carvalho Neto – Uni-FACEF
Hiroo Takaoka - Unesp
Introdução
O presente artigo procura apresentar uma revisão exploratória da literatura e
busca discutir as dimensões e as características de qualidade de informação para
ambientes on-line, ou seja, a qualidade para informações disponíveis em sites da
internet. A questão principal advinda da pesquisa neste texto apresentada consiste
na indagação de quais as principais características e dimensões de qualidade em
web sites acadêmicos.
Alguns estudos, como os de Albuquerque e Belchior (2001), Barnes e Vidgen
(1999) e Matheus (2004), dentre outros, já procuraram demonstrar as características
de qualidade em sites de internet, porém, sempre com o foco essencialmente em
web sites comerciais (sites de e-commerce). Poucos foram os estudos que tiveram
foco em web sites de instituições de ensino, com destaque para os trabalhos de
Olsina et al (1999) e Irwaaden (2004). Em relação aos web sites de instituições
acadêmicas brasileiras, são ainda mais escassos os trabalhos relativos ao tema.
Os
objetivos
desta
pesquisa
consistem
em
verificar
as
principais
características de web sites acadêmicos, fazer uma revisão teórica das dimensões
de qualidade da informação, para, posteriormente, ter condições de elaboração de
uma listagem dos atributos de qualidade especialmente para web sites acadêmicos.
O artigo está dividido de forma a apresentar inicialmente uma revisão da literatura
encontrada na pesquisa de dados já existentes em relação às características de web
sites. Em um primeiro momento, definições sobre sites acadêmicos, seus clientes
(audiências), produtos e serviços são apresentados. Em seguida, são apresentadas
algumas classificações das dimensões de qualidade da informação obtidas na
literatura. Essas classificações permitem estabelecer e propor uma classificação
geral classes de características de qualidade para web sites acadêmicos. Por fim,
algumas considerações finais são estabelecidas, em relação à seqüência de
pesquisas que procuram investigar a opinião dos professores, alunos e
desenvolvedores web quanto à importância das características de qualidade
encontradas.
1. Qualidade em web sites Acadêmicos
É de fundamental importância a discussão de qualidade da informação
encontrada em web sites. O site é a conexão entre instituições e clientes no mundo
virtual, ou seja, é a interface que faz a ligação entre a instituição e seus clientes, ou
entre as empresas e seus consumidores no caso de sites de comércio eletrônico, ou
das instituições de ensino e seus públicos (usuários dos serviços disponíveis), no
caso de instituições de ensino e pesquisa.
No entanto, o contato do cliente/usuário no mundo virtual tem a peculiaridade
de inexistência de alguns aspectos de interação entre pessoas existentes no mundo
real. No web site inexiste contato humano, ou pelo menos existe muito pouco, como
em raríssimos casos de atendimento on line simulado por meio de chats ou
atendimento via VoIp - Voice IP. Porém, mesmo quando simulada, a interação é
diferente, pois alguns aspectos da interação humana, como cortesia, simpatia,
auxílio, preocupação, comprometimento, flexibilidade e clareza, não podem ser
substituídos pela tecnologia. A ausência desses aspectos deve ser substituída por
excelência na qualidade.
Quando se fala em qualidade de dados, é importante notar que existem
trabalhos voltados para a qualidade em banco de dados estruturados e outros
trabalhos que tratam exclusivamente de dados organizados em web sites. A análise
da qualidade em web sites distingue-se da análise de dados estruturados, uma vez
que leva em conta alguns aspectos importantes quando se trata de hypermedia,
como a apresentação e a entrega da informação, filmes, sons, imagens, textos
integrados e lida também com problemas específicos de usabilidade em ambiente
internet, como a quantidade de informação irrelevante, a sobrecarga cognitiva e a
desorientação na navegação (KIM et al 2004).
Segundo Signori (2005) há três visões de qualidade referentes a web sites. As
duas primeiras visões envolvem a visão do desenvolvedor e a visão do
administrador,
que
estão
principalmente
interessados
em
questões
como
manutenção, atualização e eficiência do web site, que são características internas
2
de qualidade. A outra visão consiste na perspectiva do usuário/cliente, que está
essencialmente interessado na qualidade do uso do web site, que representa na sua
essência as características externas de qualidade.
A perspectiva da visão do cliente pode ser considerada como fundamental
quando se trata de qualidade. A qualidade de dados consiste na preocupação de
atender o cliente, ou seja, a qualidade é igual a satisfação do cliente. Para medir
então a qualidade, é necessário compreender o que satisfaz e o que não satisfaz o
cliente. English (1999) reafirma que qualidade é atender de maneira consistente as
expectativas dos knowledge workers - usuários finais do conhecimento/informação.
Técnicas de qualidade total, como o QFD, focam essencialmente o cliente como
ponto de partida para obtenção da qualidade. Alguns estudos, como os de Zultner
(1993) e Haag et al (1996) sugerem a aplicação de QFD para busca de qualidade do
software a partir dos requisitos determinados pelos clientes, o que sugere uma
aplicação de técnicas de Qualidade Total em busca da qualidade de informação em
sites.
É importante observar que na internet encontram-se diversos tipos de web
sites. Existem sites exclusivamente voltados para o comércio eletrônico, outros
voltados para o e-government, outros sites de instituições não governamentais, sem
fins lucrativos, sites institucionais e grandes portais de conteúdo. A discussão de
qualidade em sites em web sites vem sendo discutida principalmente no âmbito de
sites de comércio eletrônico (e-commerce).
Os web sites acadêmicos se distinguem dos demais em vários aspectos. Ao
contrário de web sites de comércio eletrônico, em que o propósito principal é o de
obtenção de lucro, os sites acadêmicos têm propósito principal não comercial, com
função de ensino, pesquisa e extensão e foco em serviços. Nos sites de ecommerce a audiência principal é o cliente consumidor, pois o propósito do site é
exclusivamente comercial (venda). Em quase todos os tipos de site a disponibilidade
de acesso total a todo o momento - 24x7x365- sempre será desejável, contudo em
sites de comércio eletrônico a disponibilidade 24x7x365 é essencial, uma vez que a
indisponibilidade de acesso gera automaticamente perda de receitas, pela
possibilidade de diminuição no número de vendas efetivas, uma vez que o sistema
de vendas está fora do ar.
A audiência dos sites acadêmicos é caracterizada por vários tipos de usuários
com interesses distintos. Os principais grupos de audiência dos sites acadêmicos
3
são: alunos correntes, alunos potenciais (prospects – visitantes parentes/pais dos
alunos), visitantes em geral, pessoal acadêmico (pesquisadores e professores),
patrocinadores de pesquisas, pessoal administrativo, outras instituições e seus
pesquisadores e a comunidade em geral. Esses diversos tipos de clientes possuem
interesses variados em relação ao acesso ao site de instituições de ensino. Nem
todas as seções e informações contidas no site serão de interesse comum para os
diversos grupos de usuários já apresentados. Desta forma, algumas informações do
site serão de interesse comum e outras serão de interesse restrito.
Informações de acesso comum serão destinadas principalmente ao público
em geral, que corresponde ao site institucional da organização, aos alunos,
prospects e seus familiares, à comunidade em geral, e aos pesquisadores, tanto
internos quantos externos à instituição. Informações de acesso restrito serão
principalmente àquelas ligadas aos alunos, professores, pessoal administrativo,
pesquisadores e patrocinadores de pesquisas feitas pela instituição.
Parentes / Família
Ex-alunos
Alunos
Alunos Potenciais
Professores
Web Site
Acadêmico
Comunidade
Administrativo
Patrocinadores de
Pesquisa
Pesquisadores
Outras instituições
Figura 1: Audiência de web sites Acadêmicos
2. Dimensões de Qualidade da Informação
4
Sob certo prisma, os web sites podem ser visualizados como prestação de
serviço, entrega de informações em tempo real, portanto uma primeira maneira de
se tentar captar e medir a qualidade das informações na internet é mediante a
classificação da qualidade de serviços. O modelo SERVQUAL, apresentado por
Zeithaml et al (1990) procura classificar as dimensões de qualidade para serviços.
Neste modelo a qualidade é avaliada em cinco dimensões: tangíveis, confiabilidade,
responsivo, segurança e empatia. A dimensão nomeada de tangível se refere às
características físicas e aos equipamentos do serviço oferecido, a confiabilidade se
refere à credibilidade, ou seja, a habilidade em cumprir o serviço prometido. A
dimensão responsiva está ligada à reação, a habilidade em fornecer serviços
solicitados prontamente aos clientes. A dimensão de segurança remete à
competência, credibilidade e segurança no serviço oferecido, e a dimensão
denominada de empatia se refere à atenção individual dada aos clientes. Esta
primeira abordagem é interessante para medir os serviços oferecidos por web sites.
O trabalho de Olsina et al (2001) visou avaliar a qualidade de sites
acadêmicos, com uma pesquisa sobre a qualidade em seis sites acadêmicos de
instituições de diversos países. As instituições pesquisadas foram: Stanford, Univ.
do Chile, Univ. Singapore, Univ. Tecnológica de Sidney, Poli da Cataluña, Univ.
Quebec em Montreal. Estes pesquisadores estabeleceram seis dimensões avaliação
de
sites
acadêmicos:
usabilidade,
funcionalidade,
confiança,
efici6encia,
portabilidade e manutenção, sendo que essas duas últimas dimensões não são
preocupações diretas dos visitantes, mas sim, características internas relativas
especialmente ao grupo de desenvolvedores do site. Uma grande contribuição do
trabalho do estudo destes pesquisadores está no estabelecimento de uma árvore de
requisitos para medição de qualidade em sites, ou seja, a proposta de um modelo
conceitual de requisitos de qualidade para web sites com mais de 120
características e atributos de qualidade para web sites acadêmicos, sendo que
aproximadamente 80 deles diretamente mensuráveis.
Outros trabalhos procuram estabelecer dimensões para medição da qualidade
de informações, como o de Wang et al (2002), que estabelece 19 características
iniciais que devem ser consideradas para se avaliar a qualidade da informação. As
características apresentadas são: facilidade de acesso, quantidade apropriado de
dados, rastreabilidade, credibilidade, abrangência, concisão, consistência de
5
representação, facilidade de operação, exatidão, facilidade de interpretação,
objetividade,
relevância,
segurança
de
acesso,
atualidade,
facilidade
de
compreensão, valor adicionado, flexibilidade, reputação e eficácia de custo. O
Quadro 1 apresenta as dimensões propostas por Wang et al (2002), com uma breve
descrição de suas definições operacionais.
Estas dezenove características foram posteriormente usadas como entradas
em uma análise fatorial, que reduziu as características em quatro dimensões:
intrínseca, acessibilidade, contextual e representação. A dimensão intrínseca está
relacionada com os aspectos inerentes á informação, dentre eles a sua acurácia,
objetividade, credibilidade e reputação. A dimensão de acessibilidade é composta
pelas características de acessibilidade e segurança de acesso. A dimensão
contextual é ligada à relevância da informação para o usuário, ao seu valor
adicionado, à temporalidade, completude e quantidade de informação. A última
dimensão é relativa à representação, que consiste na interpretabilidade, facilidade
de compreensão, representação concisa e consistente da informação.
Esta classificação de dimensões gera uma matriz de qualidade da informação
relacionada com a performance da qualidade em relação ao produto e serviço (PSP
– Product and Service Performance IQ – Information Quality). Os autores enxergam
aspectos da qualidade do produto e da qualidade do serviço informação. Existe uma
visão de que a informação pode ora ser vista como um produto consumível e que
pode posteriormente ser reaproveitado, e ora vista como um serviço. Portanto
expande os conceitos de qualidade de serviços para qualidade de produtos e
serviços simultaneamente.
Quadro 1: Dimensões de Qualidade de Dados
Estão disponíveis ou são facilmente recuperados.
A quantidade e o volume de dados disponíveis são adequados
São bem-documentados, verificáveis e atribuíveis a uma fonte.
São aceitos ou considerados como verdadeiros e autênticos.
Têm abrangência, validade e profundidade adequadas à tarefa.
São representados de forma concisa, mas completa e na medida
necessária.
São apresentados no mesmo formato e compatíveis com informações
prévias.
São administrados e manuseados com facilidade.
São corretos, confiáveis e certificados como livres de erros.
Estão em linguagem e unidades apropriadas, e suas definições são claras.
São imparciais e não tendenciosos.
São aplicáveis e úteis à tarefa a ser executada.
O acesso aos dados pode ser restrito e, portanto mantido seguro.
Facilidade de acesso
Quantidade apropriada
Rastreabilidade
Credibilidade
Abrangência
Concisão
Consist. Representação
Facilidade de operação
Exatidão
Facil. de interpretação
Objetividade
Relevância
Segurança de acesso
6
A atualidade/idade dos dados é adequada à decisão tomada.
São claros, sem ambigüidades e facilmente compreendidos.
Geram benefícios e vantagens devido ao seu uso.
Podem ser desenvolvidos, adaptados e aplicados a outras necessidades.
São garantidos ou considerados em termos de sua fonte ou conteúdo.
O custo de coleta de dados é razoável.
Atualidade
Fácil. compreensão
Valor adicionado
Flexibilidade
Reputação
Eficácia de custo
Fonte: WANG et al, 2002
A visão da qualidade da informação sob dois prismas, o da qualidade de
produto e o da qualidade de serviço é compartilhada por outros autores que
abordam o tema da qualidade, como English (1999), Signori et al (2005), Kim et al
(2005), Moustakis et al (2004) e Irwaaden et al (2005). English (1999) define três
dimensões de qualidade das informações. As dimensões de definição e arquitetura
da informação e de conteúdo, relacionadas aos aspectos da informação como
produto, e a dimensão de apresentação da informação, que remete ao aspecto da
informação como serviço.
Signori et al (2005) também classificam as dimensões por critérios
semelhantes. As dimensões de precisão visam os aspectos técnicos e internos de
qualidade. As demais dimensões visam aspectos relacionados aos serviços. A
dimensão de representação se refere ao layout de página, apresentação de textos,
apresentação multimídia, links e formulários. A dimensão contextual está ligada à
facilidade de leitura, arquitetura da informação, estrutura e atualização da
informação.
O
trabalho
destes
autores
adiciona
duas
outras
dimensões
especialmente relacionadas à qualidade de web sites. A dimensão de navegação
envolve aspectos de navegação do usuário pelo site, como a estrutura da barra de
navegação, a estrutura do site e o nível de scrolling. Outra dimensão é a dimensão
de interação, que se refere à transparência, busca, ajuda e recuperação da
informação.
Outro trabalho que procurou estabelecer dimensões de qualidade para sites
foi o trabalho de Kim et al (2005). Este trabalho dividiu os aspectos de qualidade em
aspectos intrínsecos (conteúdo), como a acurácia, relevância e completude da
informação, em aspectos relacionados à forma ou representação, como a estrutura
da interface, a variedade multimídia e a acessibilidade, e em aspectos relacionados
ao tempo e entrega da informação, como a manutenção histórica e a atualização
das informações. Estes autores propõem um modelo para avaliar a qualidade de
web sites denominado de “EQ Framework”. Este modelo envolve as dimensões
7
acima expostas e a atuação sobre as dimensões deste modelo auxiliam na solução
de problemas de usabilidade na internet, como a quantidade de informações
irrelevantes, a sobrecarga cognitiva e a desorientação (ver Figura 2). Para Kim et al
(2005) a qualidade final de web sites consiste na habilidade de incorporar todas as
dimensões de qualidade para evitar estes problemas em relação à informação
irrelevante, sobrecarga cognitiva e desorientação, ou seja, todos os aspectos da
qualidade de web sites devem estar integrados.
Ainda em relação aos aspectos de qualidade em web sites, Irwaaden et al
(2005) destacam alguns itens com importância em relação à qualidade final
percebida pelos usuários de web sites de comércio eletrônico. Esses itens se
referem aos aspectos de usabilidade na internet. São eles: acesso rápido; facilidade
de navegação; acessibilidade 24x7x365; visão completa do pedido antes de finalizar
a compra; mecanismos de busca eficientes; detalhes do pedido enviados por e-mail
em até 24 horas; processo de registro simplificado; impostos e outras taxas são
claramente apresentados; informação é encontrada com menor número de cliques;
condições da venda estão acessíveis; opções de cancelamento do pedido e
rastreamento do pedido.
Figura 2: Modelo E-Quality
Fonte: KIM et al, 2002
8
Os resultados dos trabalhos já apresentados mostram várias dimensões e
características de qualidade das informações. Em comum, nota-se que algumas
características estão relacionadas à informação como produto e outras em relação à
informação como serviço. Liu (2002), em sua pesquisa sobre qualidade de web site
também faz essa distinção, à medida que enxerga a qualidade como um processo
que envolve as características de software, de serviço e de internet, com uma
divisão clara entre qualidade das informações e qualidade do design.
3. Características de Qualidade para web sites Acadêmicos
A partir de uma reflexão sobre as várias dimensões e características
apresentadas pelos vários pesquisadores que estudam o tema, foi possível
estabelecer uma lista das principais características que cerca a busca de qualidade
em sites acadêmicos. Essas características estão distribuídas em dois grupos
principais, um grupo de características que se referem á credibilidade da visita do
usuário ao site, ou seja, se ligam à qualidade do design do site, e outro grupo de
características que se referem à credibilidade da mensagem, ligado à qualidade da
informação. As classes de características que se referem à qualidade do design são:
Aparência; Padronização; Navegação; Interatividade; Procura e recuperação;
Consistência; Performance; Acessibilidade; Estrutura; Segurança. As classes que se
referem à qualidade da informação são: Atualização; Acurácia; Funcionalidade;
Completude; Multimídia e Utilidade.
Consistência
Performance
Atualização
Aparência
Acurácia
Funcionalidade
Identidade Única
Navegação
Interatividade
Completude
Web Site
Acadêmico
Procura/recuperação
Multimídia
Utilidade
Acessibilidade
Segurança
Estrutura
9
Figura 3: Classes de Características de Qualidade para web sites Acadêmicos
3.1. Credibilidade da Visita - Qualidade do Design
As características deste grupo de classes se referem especialmente à
qualidade da produção, da estrutura e do desenho do web site. A preocupação com
essas características é o que leva à busca de qualidade para dar credibilidade à
visita do usuário ao site. Na maioria das classes, as características de qualidade
estão ligadas aos aspectos da informação contida no site como produto. A seguir
são apresentadas as classes sugeridas com suas respectivas características de
qualidade:
- Aparência: tem a ver com a apresentação das informações no site, a
interface e estética das páginas, o layout do site, a coesão dos objetos de controle, a
presença de um estilo global padronizado. Esta classe se compõe de aspectos
referentes à representação gráfica e a aparência e contribuição dos gráficos para
navegação, que devem visar a facilidade de leitura do conteúdo na tela. Alguns
aspectos que levam a essa facilidade são: qualidade de gráficos, indicador de
resolução de tela, indicação de diferentes tipos de páginas e presença de títulos de
página.
- Padronização / Identidade única: Deve haver uma identidade do site, que
deve ter características padronizadas que o deixem único e consistente. Além disso,
o conteúdo deve ser único, ou seja, deve haver originalidade na informação
fornecida. Em relação à estética, a aparência do site deve ser padronizada e o site
deve ser único também no design.
- Navegação: Deve haver links para outros sites, conexão com outros sites ou
banco de dados, os links internos devem ser consistentes, haver indicação de saída
para links externos, deve haver títulos e qualidade das frases dos links. Em relação
aos controles de navegação, é preciso procurar a facilidade de uso das ferramentas
de navegação, a partir de preocupações como o nível de scrolling, conveniência das
ferramentas de navegação, facilidade de navegação pelo layout, disponibilidade de
meios de navegação, busca por interatividade por meio de mecanismos de feedback
disponíveis, menus de ajuda, FAQs e procuras de conteúdo de ajuda.
10
- Procura e recuperação: deve haver preocupação para o estabelecimento de
características de procura de informação, como os mecanismos de busca dentro do
site, de procura e de recuperação de informações no site.
- Consistência: preocupação com a consistência do site, que se refere à
compatibilidade com vários browsers, habilidade de usar o site com vários
navegadores e também à ausência de erros. Os erros mais comuns em sites são os
erros em links, links inválidos, links não implementados, deficiências geradas por
diferentes navegadores, erros inesperados (problemas com frames, erros em
procura), caminhos em construção e caminhos sem volta.
-
Performance:
as
características
de
performance
estão
ligadas
especialmente a rapidez com que as páginas são carregadas para o usuário. A
principal característica de performance consiste no acesso rápido à página, medido
pela velocidade de donwload do web site.
- Acessibilidade: a acessibilidade do site envolve características como o
suporte a versão com texto apenas; a leitura de texto em imagens não carregadas, o
título das imagens, a facilidade de leitura global do site e a acessibilidade das
janelas (versão dos sites sem quadros).
- Estrutura: essas características estão ligadas à arquitetura do site, se
referem à ordem dos elementos – consistência na representação, presença de mapa
do site ou índice vinculado à home page, com pelo menos os tópicos principais. As
informações disponíveis no site devem ter uma ordem a ser seguida, com vistas ao
entendimento global do site. A presença de elementos como tabela de conteúdo,
índice alfabético, tutoriais reforça as características de qualidade da estrutura do
site.
- Segurança: os aspectos de características de segurança do site estão
ligados às questões de vulnerabilidade, autenticação do site, autenticação dos
clientes, controle de acesso confidencialidade e privacidade das informações.
3.2 Credibilidade da Mensagem - Qualidade da Informação
O outro grupo de classes é composto por características que se referem à
qualidade da informação em si. A preocupação com a qualidade nessas
características leva à credibilidade da mensagem a ser passada pelo site. Essas
11
características se ligam tanto à informação como produto, quanto à informação
como serviço.
- Acurácia: as características de qualidade remetem à credibilidade da
informação, ou seja, se a informação está correta, verdadeira, se é confiável, e se é
passível de haver verificação de fontes (rastreamento da informação).
- Completude: a completude da informação significa se a informação é
apresentada de uma maneira completa, sem necessidade de decodificação,
interpretação ou cálculo pelo usuário final.
- Utilidade: se referem a utilidade do conteúdo informacional, grau em que a
informação é essencial, útil e atualizada e a relevância do conteúdo para o usuário
final
- Funcionalidade: a funcionalidade se refere à presença de especialização das
informações por assunto, ou seja, o fornecimento de informações específicas para
aqueles que precisam destas informações.
- Atualização: se referem às características de atualização da informação.
Aspectos de qualidade nesta classe de características levam em conta a presença
de indicador de atualização, notícias atualizadas, constante manutenção do site,
eliminação de informações ultrapassadas e divulgação de datas de sites em
construção.
- Multimídia / Sintaxe do conteúdo: a combinação de imagem, voz e vídeo
contribui para a facilidade de uso do site, deve haver uma diversidade de
apresentação das informações – textos, imagens, voz e gráficos em tempo real.
Além disso, deve haver uma preocupação com a facilidade de visualização do
conteúdo multimídia.
Considerações Finais
O propósito principal deste artigo foi o de apresentar uma breve revisão
teórica sobre a discussão das dimensões e características de qualidade de
informações para ambientes on-line. Procurou-se verificar quais as principais
características e dimensões de qualidade em web sites acadêmicos. Foi realizada
uma revisão sobre as dimensões de qualidade da informação e, posteriormente,
elaborada uma lista das características de qualidade para web sites acadêmicos.
12
Cabe aqui tecer algumas considerações para a seqüência deste trabalho de
pesquisa que envolve a qualidade das informações em sites, em busca de um
refinamento das características de qualidade que realmente importam para os
diversos públicos de web sites acadêmicos. Além da elaboração da lista de
características relativas aos sites acadêmicos, é importante estabelecer qual a
importância que alunos, professores e desenvolvedores web fornecem para cada
uma destas dimensões de qualidade. Desta forma, a seqüência deste trabalho será
em busca da verificação da importância dada por alunos, professores e
desenvolvedores de sites acadêmicos para as características de qualidade em web
sites acadêmicos.
A metodologia de pesquisa usada para atingir esses objetivos propostos
compreende uma posterior aplicação de pesquisa exploratória qualitativa que será
realizada a partir da discussão sobre dimensões de qualidade com professores,
alunos e desenvolvedores de web sites acadêmicos. Os resultados da pesquisa
qualitativa fornecerão subsídios para a confecção de questionário usado em uma
pesquisa descritiva quantitativa. Esta pesquisa quantitativa irá em busca da
obtenção de uma análise da opinião de alunos e professores quanto à importância
das dimensões de qualidade encontradas para web sites acadêmicos.
Referências
ALBUQUERQUE, A.; BELCHIOR, A. E-commerce web sites: a Qualitative
Evaluation. Unifor, 2001.
BARNES, S.; VIDGEN,R. WebQual: An exploration of web site quality. University
of Bath, 1999.
ENGLISH, Larry P. Improving Data Warehouse and Business Information
Quality : Methods for Reducing Costs and Increasing Profits. Wiley, 1999.
HAAG, S.; RAJA, M.K.; SCKADE, L.L. Quality Function Deployment Usage in
Software Development. Communications of the ACM, Vol 39, Janeiro, 1996.
IWAARDEN, J.; WIELE, T.; BALL, L.; MILLEN, R. Perceptions about the quality of
web sites: a survey amongst students at Northeastern University and erasmus
University. Information and Management, 41. 2004.
13
KIM, Y.; KISHORE, R.; SANDERS, G.L. From DQ to EQ: Understanding Data
Quality in the Context of E-Business Systems. Communications of the ACM,
Outubro, 2005.
MATHEUS, Anne. Web Design Quality Versus Web Information Quality.
Proceedings of the Ninth International Conference on Information Quality (ICIQ-04),
2004.
MOUSTAKIS, V.; LITOS, C.; DALIVIGAS, A.; TSIRONIS, L. Web site Quality
Assessment Criteria. International Conference of Information Quality, Setembro,
2004.
OLSINA L., GODOY D., LAFUENTE G., G. ROSSI. Specifying Quality
Characteristics and Attributes for web sites, Proceedings of the ICSE’99 Web
Engineering Workshop, Los Angeles, 1999.
OLSINA L., GODOY D., LAFUENTE G. G. ROSSI. Assessing the Quality of
Academic web sites: a Case Study, UNLP, Argentina, 2001.
SIGNORE, Oreste. A comprehensive Model for Web site Quality. Proceedings of
IEEE-WSE2005 – Budapest, Hungria, Setembro, 2005.
WANG, B.; STRONG, D.; KAHN, B. Information Quality Benchmarks: Product
and Service Performance. Communications of the ACM, Abril, 2002.
WANG, B.; PIPINO, L.; LEE, Y.. Data Quality Assessment. Communications of the
ACM, nr 45. Abril, 2002.
ZEITHALM, V.A.; BERRY, L.L.; PARASURAMAN, A. Delivering Quality Service:
balancing Customer Perceptions and Expectations. Free Press, New York, 1990.
ZULTNER, R. TQM for Technical Teams. Communications of the ACM, Vol 36, nr
10. Outubro, 1993.
14