avaliação da interface gráfica com o usuário de um sistema

AVALIAÇÃO DA INTERFACE GRÁFICA COM O USUÁRIO DE UM SISTEMA
OPERACIONAL DE 32 BITS SEGUNDO A FACILIDADE DE APRENDIZADO
Inês Maria Silva Maciel
UFRJ / COPPE - Coordenação dos Programas de Pós-graduação em Engenharia
Av. Brigadeiro Trompowsky s/no Ilha do Fundão - CT - Bloco G - sala G-207
The objective of this study is demonstrate what dimension of impact of new system in a certain
user group, stimulated by changes in dialogue structure of a GUI- Graphical User Interface,
that occured between different versions of a operation system. This observation was done in a
real situation of learning, during the professional capacitation course in a educational
foundation of government of state of Rio de Janeiro. These observations was done in the
period of April / August 96 with nine (9) groups of students. The students groups was
stratificated in thre categories: expert, intermittent and novice users. And the performance of
each categorie was evaluated based in time of execution of certain task. The results of this
observation showed that the Windows 95’GUI increased the cognitive and affective costs of all
categories of users during the course. And was noted a greated effect of this costs in
intermittent users, which had the worse performance in all categories of users. These
conclusions intended understand which influences of knowledge transfer in learning process
and what dimension of levels of user experience in learning process.
Keywords: Human - Computer interaction, Cognitive Ergonomics, Human Factors in
Computing Systems
1 - Apresentação
Este estudo efetua uma avaliação da interface gráfica com o usuário de um sistema operacional
de 32 bits, segundo o aspecto da facilidade de aprendizado. O objetivo da pesquisa é
demonstrar a dimensão do impacto de um novo sistema junto à uma população de usuários,
provocado pelas mudanças na estrutura de diálogo de uma GUI - Graphical User Interface,
ocorrida entre as versões de um sistema operacional. Com este intuito, foi efetuada uma
mensuração do tempo de execução de uma tarefa, em três categorias de usuários, buscando
comprovar as seguintes hipóteses:
n O usuário com pouco ou nenhum conhecimento dos conceitos computacionais terá muito
mais dificuldade de aprender um sistema operacional do que um usuário com um bom
conhecimento dos conceitos computacionais.
n O usuário com um pequeno conhecimento dos conceitos computacionais terá mais
dificuldade de aprender um sistema que utilize novos conceitos, do que um usuário sem
experiência e que desconheça os conceitos computacionais.
Desta forma, o estudo busca a verificação da existência de uma correlação entre a experiência
anterior do usuário e a facilidade de aprendizado, através do tempo gasto na realização de uma
tarefa.
2 - Metodologia
O sistema operacional escolhido como objeto de estudo foi o Windows 95, considerado um
produto de destaque no mercado e que pertence a uma nova geração de sistemas operacionais
com características multitarefa, interface orientada a objeto etc.. (Linthicum, 1995)
A pesquisa foi realizada em uma situação real de aprendizado, durante um curso de
capacitação profissional oferecido por uma fundação educacional do governo do estado do Rio
de Janeiro, no período de Abril/Agosto de 1996, em oito turmas de Windows 95. As turmas
observadas, perfizeram um total de 50 alunos, que possuíam apenas uma característica em
comum: não tinham nenhuma experiência anterior com sistemas operacionais de 32 bits.
O presente estudo baseou sua mensuração no tempo de execução de uma tarefa, avaliando o
desempenho de três categorias de usuários, durante a execução de uma tarefa padronizada.
Apesar de grande parte dos estudos visando a avaliação de interfaces adotarem uma
abordagem reducionista (Kieras, 1988; Card, Moran e Newell,1980; Shneiderman,1992;
Preece, 1993), a metodologia escolhida privilegiou uma estratégia holística, baseando-se na
estratégia adotada por Whiteside et al. (1989), devido à evidente complexidade das variáveis
envolvidas no processo de interação homem-máquina. Desta forma, o processo foi avaliado
como um todo, levando em consideração tanto as variáveis inerentes ao processo quanto as
inferências envolvidas nas etapas do aprendizado.
2.1 Procedimentos da Observação
A estratégia adotada teve como ponto de partida a aplicação de questionários, seguidos da
observação da turma durante os três dias de aula, e só então no último dia é aplicado o
exercício. Vale ressaltar, que durante o curso os alunos são instruídos sobre todas as
ferramentas, conceitos e princípios contidos no sistema operacional em questão, de forma que
possam ser esclarecidas todas as dúvidas, inclusive através da aplicação de alguns exercícios
acompanhados pelo instrutor. Contudo, durante a aplicação do exercício final os alunos são
instruídos a executarem a tarefa sózinhos e só procurarem a ajuda do instrutor se forem
absolutamente incapazes de executar a tarefa sem ajuda. As sessões do exercício final têm
aproximadamente 45 minutos de duração e durante todo o período os alunos são
cronometrados.
O questionário foi construído com perguntas abertas e fechadas, que determinavam a
estratificação da amostra por idade, instrução e qual a categoria do usuário de acordo com sua
experiência anterior. Os resultados relacionados com a experiência do usuário foram
interpretados segundo a categorização de Shneiderman (1992), como descrevemos a seguir:
Usuários Novatos
Fazem parte de uma categoria que utiliza o computador pela primeira vez ou
possui uma experiência mínima (menos de 6 meses). A estes usuários não é atribuído nenhum
conhecimento sintático sobre o uso do sistema e nenhum ou pouquíssimo conhecimento
semântico dos conceitos computacionais.
Usuários Intermitentes
Pertencem a uma classe de usuários que já possuem alguma experiência com
computador, podem conhecer de forma superficial muitos sistemas, ou programas, ou até
utilizam o sistema há pouco tempo e com uma freqüência pequena. Esses usuários podem
dominar o conhecimento semântico da tarefa e dos conceitos computacionais, mas têm
dificuldade de absorver o conhecimento sintático.
Usuário Experiente
Faz parte de um grupo de usuários bastante familiarizados com os conceitos
sintáticos e semânticos do programa. Não sentem medo de investigar e experientar um novo
programa e/ou sistema. Tais usuários apresentam menos dificuldades com o conhecimento
sintático, mas como este é dependente da máquina, pode gerar problemas como confusão entre
os conceitos sintáticos dos diversos sistemas e/ou programas.
Procedimentos de Avaliação
Com o intuito de avaliar a dimensão do aprendizado na execução da tarefa e o
desempenho dos usuários foram adotadas duas estratégias para a medição do tempo. A
primeira estratégia buscou a dimensão do tempo de execução da tarefa, e a dimensão do tempo
na avaliação do desempenho.
O desempenho, por sua vez, foi classificado em Muito Bom, Bom, Regular, Fraco
e Deficiente, e é considerado regular quando determinado pelo intervalo de tempo que se
enquadra na média de tempo de execução da tarefa para cada categoria. Portanto, os valores
arbitrados para cada categorização de desempenho mudam de acordo com as categorias,
devido às mudanças apresentadas pelas médias de tempo. Por exemplo, se a média apresentada
pelos usuários experientes for de 16 minutos, esse será o desempenho regular.
2.2 Dimensão do Tempo da Tarefa
Para se determinar o tempo de execução da tarefa, sem a influência dos fatores
aprendizado e experiência, foram cronometrados 15 usuários experientes, que possuíam
habilidade no uso do Windows 95, para se ter idéia do tempo da tarefa e com isto definiu-se
quanto tempo é necessário para se executar a tarefa para um usuário experiente que já
conhecia o sistema operacional.
O tempo médio dos usuários experientes e especialistas em Windows 95, na
execução da tarefa, é igual a 5,19 minutos, com um desvio padrão igual a 1,68. Portanto, o
tempo adotado como tempo de execução da tarefa é 5,19 minutos.
3 - Resultados
3.1 Resultados Quantitativos
Cada categoria de usuário possui um perfil que deve ser cuidadosamente
observado para efetuar uma avaliação. Nesse sentido foi realizada uma estratificação empírica
da amostra, baseada no questionário aplicado no início do curso, para categorizar os usuários
em novatos, intermitentes e experientes. Cada uma dessas categorias possui a sua própria
dimensão de tempo devido à grande influência da experiência no desempenho dos usuários.
Portanto, foi utilizado o tempo médio de execução da tarefa em cada categoria para se ter um
parâmetro de avaliação do desempenho. Esse método foi adotado devido à evidente
diversidade entre as categorias, que se fossem comparadas entre si só determinariam o reflexo
óbvio dos níveis de experiência na velocidade de desempenho.
Os tempos médios encontrados para cada categoria foram:
- Tempo Médio dos Usuários Novatos: 34,3 minutos;
- Tempo Médio dos Usuários Intermitentes: 27,6 minutos;
- Tempo Médio dos Usuários Experientes: 16,6 minutos.
A partir dos tempos médios de execução da tarefa para cada categoria, foram encontrados os
seguintes resultados:
Usuários Novatos
- 13% tiveram um desempenho muito bom e realizaram a tarefa entre 15 e 25 min;
- 50% tiveram um desempenho bom e completaram a tarefa entre 25 e 35 min;
- 25% tiveram um desempenho regular e efetuaram a tarefa entre 35 e 45 min;
- 6% tiveram um desempenho fraco e completaram a tarefa entre 45 e 55 min;
- 6% tiveram um desempenho deficiente e realizaram a tarefa entre 55 e 65 min;
Usuários Intermitentes -14% tiveram um desempenho muito bom e efetuaram a tarefa entre 5 e 15 min;
-27% tiveram um desempenho bom e realizaram a tarefa entre 15 e 25 min;
-27% tiveram um desempenho regular e completaram a tarefa entre 25 e 35 min;
-23% tiveram um desempenho fraco e efetuaram a tarefa entre 35 e 45 min;
-9% tiveram um desempenho deficiente e completaram a tarefa entre 45 e 55 min;
- Usuários Experientes - 47% tiveram um desempenho bom e executaram a tarefa entre 5 e 15 min;
- 37% tiveram um desempenho regular e completaram a tarefa entre 15 e 25 min.;
- 16% tiveram um desempenho fraco e realizaram a tarefa entre 25 e 35 min.
3.2 Resultados Qualitativos
O comportamento dos usuários foi observado durante todo o curso, com o intuito de identificar
as principais dificuldades enfrentadas pelos usuários no processo de interação. Essas
dificuldades foram identificadas e classificadas em 5 categorias, baseadas na definição de
alguns conceitos, princípios e guidelines descritos por Wolf (1989), Apple Computer (1992) e
Grudin (1989):
- Inconsistência Através do Tempo Apesar de o Windows 95 ser considerado, pelo seu próprio fabricante, um upgrade do sistema operacional Dos/Windows, foram identificados alguns problemas
denominados, segundo Wolf (1989), de problemas na consistência através dos aplicativos.
Esses conflitos de interpretação foram provocados por diferenças sutis na função de alguns
comandos e na execução de tarefas básicas entre os dois sistemas e envolveram
exclusivamente usuários experientes e intermitentes.
- Inconsistência Interna do Projeto da GUI A interface do Windows 95 embute um novo conceito de lixeira reciclável dentro
de sua interface que aciona uma função delicada do sistema. Esse novo conceito possui
comportamentos distintos quando trabalha com arquivos de disco rígido e arquivos de diskete.
Isto é , quando o arquivo está no disco rígido ele, mesmo depois de deletado, permanece na
lixeira reciclável até que o usuário limpe a lixeira, porém, no caso de arquivo de diskete, o
arquivo é realmente deletado. Contudo, o usuário, devido a ausência de feedback do sistema,
só percebe que aconteceu alguma coisa errada quando não há mais nada a fazer. Esse problema
atingiu todas as turmas e todas as categorias de usuários.
- Ausência de Feedback do Sistema Algumas funções oferecidas pelo Windows 95 provocam resultados imprevisíveis e
perigosos devido a ausência de feedback do sistema sobre os riscos envolvidos na operação.
Esses problemas foram percebidos em todas as categorias de usuários e foram identificados
em várias funções do sistema.
- Mensagens Obscuras As mensagens de ajuda do sistema, quando acionadas pelo mouse, são mal
interpretadas pelos usuários, porque ela se divide em duas etapas, uma inicial, que faz uma
pergunta, e a seguinte, que responde a essa pergunta. Os usuários, na sua maioria novatos com
pouca habilidade com o mouse, acionavam o comando pelo mouse acidentalmente e
interpretavam a pergunta na tela como um questionamento vago do sistema.
- Inconsistência Procedural O Windows 95 adota um método de interação através do botão direito do mouse,
que é pouco desenvolvido pelos usuários de forma geral. Os usuários experientes e
intermitentes apresentaram problemas no acionamento dos comandos, por confundirem qual
botão deveria ser acionado. No caso dos usuários novatos, o problema apresentou uma
amplitude maior porque o aprendizado procedural, ao qual eles deviam se submeter, era mais
complexo do que o anterior.
- Inconsistência Proposicional A modificação no formato de execução de alguns procedimentos e a inclusão de
novos formatos com o mesmo objetivo confundem o usuário e o induz ao erro, porque o
usuário normalmente faz inferências baseadas em sua experiência anterior para executar uma
determinada ação no sistema.
4 -Conclusões
A partir das hipóteses formuladas e dos dados coletados podemos concluir que a
primeira hipótese foi comprovada segundo os dados de desempenho dos usuários novatos e
experientes. A segunda hipótese, no entanto, não pôde ser comprovada através dos dados
coletados, apesar do desempenho dos usuários intermitentes ter demonstrado indícios da
existência de algum problema que prejudica a interação com o sistema. Esse fato identifica que
o estudo do comportamento dos usuários intermitentes merece um trabalho mais profundo,
envolvendo ferramentas de gravação por software na coleta de dados.
Contudo podemos conjecturar que o desempenho fraco dos usuários intermitentes
está relacionado a dificuldade na busca pelos comandos e funções oferecidas pelo sistema,
supostamente ocasionada pela mudança na forma sintática e semântica dos comandos do
Windows 3.11 e Windows 95.
Tomando como base os custos cognitivos e afetivos envolvidos, podemos dizer
que a interface do Windows 95 possui algumas qualidades e alguns problemas. As qualidades
refletem-se na adoção da manipulação direta como processo de interação, o uso de ícones com
suporte textual, o uso de efeitos de animação durante o feedback de comandos, provocando
uma reação positiva nos usuários.
No entanto, os custos cognitivos tiveram um aumento significativo com o uso do
botão direito do mouse, criação de duas funções para a visualização do sistema, modificação
completa do desenho de interface promovida entre as versões do Windows 3.11 e Windows
95, dificultando o processo de execução da tarefa e inibindo os usuários a utilizarem os
métodos de aprendizado prediletos, a exploração do sistema e o método de tentativa e erro.
Desta forma, concluímos que talvez a adoção de uma solução mais adequada, que
levasse em consideração a experiência anterior dos usuários, transformando a interface
gradativamente entre as versões , talvez pudesse evitar o forte impacto sentido pelos usuários
intermitentes e experientes. E permitiria que o produto fosse aceito de forma mais rápida pelo
mercado.
Este trabalho é um resumo da tese de mestrado “Avaliação da Interface Gráfica
com o Usuário de um Sistema Operacional de 32 bits Segundo a Facilidade de Aprendizado”,
defendida na COOPE / UFRJ, na Área de Engenharia de Produção, em Setembro de 1996.
REFERÊNCIAS BIBLIOGRÁFICAS
APPLE COMPUTER. Macintosh Human Interface Guidelines, Apple Computer Inc.
Massachusets, Addison Wesley, Waltham, 1992. 384p.
CARD, S. K., MORAN, T. P., NEWELL, A.The Keystroke Level Model for User
Performance Time with Interactive Systems. Communications of the ACM,
New York, 23 (7): 396-410, Julho, 1980.
GRUDIN, J.,1989, The Case Against User Interface Consistency. Communications of
the ACM, New York, 32 (10) : 1164 - 1173, Outubro.1989.
INTERNATIONAL BUSINESS MACHINES, System Application Architecture.
Common User Access, Basic Interface Design Guide, SC26-4583, IBM,
1989.375p.
KIERAS, D. E. Towards a Practical GOMS Model Methodology for User Interface
Design. In: Handbook of Human Computer Interaction, M. Hellander ( ed.)
Elsevier Science B.V. (North-Holland) 1988. p. 135-157.
LINTHICUM,D.S. How Best to Migrate to Windows 95. Byte Magazine, New Jersey,
(7): 51-54, Julho, 1995.
PREECE, J. A Guide to Usability: Human Factors in Computing. Massachusetts,
Addison - Wesley Publishing Company, 1993.144p.
SHNEIDERMAN, B. Designing the User Interface: Strategies for Effective Human
Computer Interaction. Massachusets, Addison -Wesley Publishing Company,
1992. 573 p.
WHITESIDE, J., JONES, S., LEVY, P. S., WIXON, D. User Performance with
Command, Menu and Iconic Interfaces; In: CHI'85 Human Factors in
Computing Systems, San Francisco, 1985.Proceedings. New York, ACM,
1989. p. 185-191.
WOLF, R. Consistency as Process. Coordinating User Interfaces for Consistency,
Academic Press, New York, 1989. p. 89-92.