Aula 12 - Faccamp

1
Aula 12
Interação HumanoHumano-Computador
(com
com foco em métodos de pesquisa
pesquisa)
Prof. Dr. Osvaldo Luiz de Oliveira
Sumário dos comentários sobre os
artigos que relatam a atividade prática
• Problemas com o resumo.
•
Problemas de não aderência ao formato do WCF.
• Problemas com citações.
• Problemas com a descrição do perfil da amostra.
• Problema da descrição de detalhes desnecessários para um leitor da comunidade científica.
• Problemas de conferir valor ao software estatístico utilizado e não ao resultado estatístico.
• Problema do título não refletir o conteúdo do estudo.
• Problemas de apresentar informações não utilizadas na argumentação central do texto.
• Problema de tratar o ser humano como uma “coisa”.
• Problema das figuras ilegíveis.
• Problema de “marcar um gol contra” ou lançar dúvidas sobre o próprio trabalho.
O1
3
Resumo
• Deve resumir todo o artigo.
• Deve conter obrigatoriamente:
▫ O que foi feito.
▫ Resultados.
• Outras coisas:
▫ Declarar o assunto ou problema.
▫ Ressaltar a importância do assunto.
▫ Motivar o leitor.
▫ Falar do método empregado (como foi feito).
Slide 3
O1
Osvaldo; 31/3/2014
4
Resumo
•
O que foi feito
The aim of this study was to compare psychological evaluations of a robot constructed using a virtual
reality (VR) system (VR robot) with a real robot. The same design was used for both the VR and real
robot in order to make a direct comparison. For the psychological evaluation, we measured behavioral
reactions (the amount of personal space the participants desired between themselves and the robot) and
subjective impressions (from a psychological scale). The psychological scale included six dimensions that
are typically used to evaluate a humanoid: utility, clumsiness of motion, possibility of communication,
controllability, vulnerability, and objective hardness. Sixty-one participants observed both the VR and
real robots walking toward them and reported their level of desired personal space. Next, the participants
evaluated their psychological impressions of the robots. The results indicated no significant difference in
the level of desired personal space between the situations with the real and VR robots. However,
regarding the psychological dimensions, participants reported higher scores for utility and the possibility
of communication, and lower scores for controllability for the real robot as compared with the VR robot.
The usability of a VR robot is discussed.
O método (como foi feito)
Resultados
Kamide, H. (2014). Direct comparison of psychological evaluation between virtual and real humanoids:
Personal space and subjective impressions. International Journal of Human-Computer Studies, v. 72, n. 5,
pp. 451-459.
5
Resumo
Declara o assunto, ressalta a importância dele
e motiva o leitor
• Although Web Standards, guidelines, checklists, techniques, methods and tools have been
proposed and evaluated by the academic community and practitioners to improve Web
accessibility and usability, efforts are still necessary to fit all those design artifacts in a
design framework that deeply considers the multiplicity and diversity of users. This work
presents the concepts and challenges of design for inclusion and combines contributions
coming from some disciplines, especially Human-Computer Interaction, Organizational
Semiotics and Software Engineering, to address the challenges that the users' differences
bring to the process of constructing web-based systems applications and their interfaces. A
process model for the inclusive design of information systems in the Web is delineated.
O que foi feito
Resultados
Melo, A. M., Baranauskas, M. C. C. (2006). Design para a Inclusão: Desafios e Proposta. Proceedings of the
IHC '06 Proceedings of VII Brazilian Symposium on Human Factors in Computing Systems. Natal, RN, pp.
11-20.
6
Problemas com o resumo
• Estudo experimental comparativo de
velocidade de digitação entre os layouts de
teclado Opti e Metropolis.
7
Problemas com o resumo
• Este artigo descreve um teste comparativo
considerando a queda de velocidade de digitação
em grupos separados conforme sua proficiência
em digitação de textos simples.
8
Problemas com o resumo
• O presente artigo apresenta resultados e análises da
pesquisa experimental com uma população de 16
pessoas, separadas em dois grupos de gêneros sexuais. O
experimento foi realizado, no primeiro trimestre de
2014, durante a oferta da disciplina “Interação Humano
Computador” do Programa de Mestrado em Ciência da
Computação da Faculdade Campo Limpo Paulista –
FACCAMP.
9
Problemas com o resumo
• A partir do advento dos teclados virtuais a possibilidade do uso de um
teclado diferente do padrão comercial tornou-se o grande mote para a
melhoria do desempenho na entrada de caracteres através de digitação em
dispositivos móveis, portáteis e desktops. Os estudos comparativos de
desempenho entre esses novos layouts tornaram-se uma ferramenta
importante para nortear os fabricantes em busca de alternativas mais
eficientes nesse assunto importante da computação que é a interação
humano computador. Este artigo demonstra um estudo comparativo entre
dois layouts de teclados virtuais (Metropolis e Fitaly), na tarefa de digitação
de frases curtas por uma população que faz uso diário do padrão de layout
comercial QWERTY. A comparação das quantidades de palavras por
minuto entre os layouts permitiu identificar a opção mais adequada quanto
ao desempenho.
Esconde o resultado, “faz suspense”.
10
Problemas de não aderência ao
formato de submissão ao WCF
• Mais do que 4 páginas.
• Numeração de seções, citações e referência não
aderentes ao formato do WCF (formato da SBC).
11
Sugestão para citação – questão da
quantidade de autores
• Um autor:
▫ Silva (2014) argumenta ...
• Dois autores:
▫ Silva e Souza (2014) argumentam ...
• Três autores:
▫ Silva, Souza e Pereira (2014) argumentam ...
• Quatro ou mais autores:
▫ Silva et al. (2014) argumentam ...
12
Dois tipos frequentes de citação
• Citação no início ou meio de uma sentença.
▫ Makenzie (2013) define o desempenho humano como
a capacidade ... .
▫ Mais recentemente, os pesquisadores como Norman
(2004), e outros, tem dado destaque ao estudo das
emoções no design de interfaces.
• Citação de fim de sentença ou oração
▫ Decisões de escolha por determinados sites também
sofrem forte influência das emoções positivas (Deng e
Poole, 2010).
13
Problemas comuns com citações
• Não utilização da sintaxe de citação de fim de
sentença.
▫ Para ambientes de ensino/aprendizagem baseados em computadores há
estudos, no Brasil, para design de interfaces , que explicitamente, se
preocupa com as respostas afetivas chamado de Design para
Afetibilidade. Hayashi e Baranauskas (2013).
• Mistura de estilos no mesmo texto.
▫ ... (Silva, 2014).
▫ ... [Silva, 2014] .
▫ ... (SILVA, 2014)
14
Problemas na descrição do perfil da
amostra
• Especificação imprecisa
▫ Para o desenvolvimento do experimento utilizado
neste artigo foram recrutadas 12 pessoas que eram
na maioria adultos, podendo também haver idosos
mas não numa quantidade significativa, sendo
portanto um grupo misto referente a idade com
predominância de adultos.
15
Definindo o perfil com maior precisão
16
Artigo científico vs. capítulo de livro didático
• Artigo: objetiva relatar resultado para uma
comunidade científica.
• Capítulo de livro didático: objetiva descrever um
assunto para ensinar um aluno.
17
Problema da descrição de detalhes desnecessários
para um leitor da comunidade científica
Figura 4: t - teste de amostras pareadas.
De acordo com os resultados apresentados pelo software BioEstat obtivemos o valor de p =
0,57. ...
18
Problema da descrição de detalhes desnecessários
para um leitor da comunidade científica
• Explicando como se aplica o Teste t.
▫ Para tanto, as etapas a serem seguidas foram o
estabelecimento das hipóteses, escolha do nível de
significância, obtenção das estatísticas e
verificação do valor p (bilateral).
▫ As etapas para o t test das amostras pareadas
dentro do grupo são: a) estabelecimento das
hipóteses, b) escolha do nível de significância,
obtenção de resultados, e verificação do valor p
(bilateral).
19
Problema de conferir valor ao software estatístico
utilizado (e não ao resultado estatístico).
• Com os resultados apresentados pelo software
BioStat, pode-se observar que o valor de
p(bilateral) = 0,001.
• O software que será utilizado para a avaliação
dos dados amostrais será o BioEstat.
20
Como informar um resultado estatístico?
• Para a população estudada, o Teste t sugere que
existe uma diferença significativa no tempo de
realização da tarefa de edição entre o grupo que
usou o software Word-Prediction e aquele que
não o usou ( t (14) = 2.17, p < 0.05).
Neste caso, o grupo que usou o software WordPrediction teve um desempenho melhor.
21
Problema do título não refletir o
conteúdo do estudo
• Estudo sobre Usabilidade em Diferentes Modelos de Teclados
▫ Conteúdo: Comparação da eficiência de uso de dois teclados de
diferentes tamanhos por grupos de usuários com e sem proficiência no
uso de computadores.
• Estudo Experimental de Percepção e Tempo de Resposta
▫ Conteúdo: Comparação do tempo de reação simples entre um grupo de
indivíduos com idade menor ou igual a 39 anos e um grupo de indivíduos
com mais do que 39 anos.
• Audível ou Visual, Escolhendo um Bom Tipo de Comunicação
▫ Conteúdo: Comparação entre tempos de reação simples audível e visual.
• Cálculo da atenção em interfaces computacionais a partir de
medidas de tempo de reação simples
▫ Conteúdo: A rigor, nenhum cálculo foi realizado.
22
Título desnecessariamente extenso
• Pesquisa Experimental de Comparação do
Tempo de Reação em Busca Visual por Gênero:
Feminino e Masculino
▫ Uma alternativa:
O gênero influi no tempo de reação em busca visual?
23
Problema de apresentar informações que não são
utilizadas na argumentação central do texto
24
Problema de tratar o ser humano como
uma “coisa”
• Para a realização do experimento foram testadas
28 pessoas com idades ... .
▫ Alternativa: Participaram do experimento 28
pessoas com idades ... .
25
Problema das figuras ilegíveis
26
Problema de “marcar um gol contra” ou
lançar dúvidas sobre o próprio trabalho
• Considera-se também, que os dados sofreram uma alteração devido
a situação emocional de alguns participantes que expressaram
nervosismo e desconforto pensando que era uma competição.
Entretanto, fatos como estes, no campo experimental, também são
esperados como situações naturais e que o avaliador deve manter o
controle.
• Outra desvantagem é a quantidade de tempo que o participante
deve disponibilizar para a realização do experimento, pois para cada
um é aplicado todas as condições. Da mesma forma a limitação de
uma frase por condição e a não realização do treinamento, diminuiu
a quantidade de tempo, fadiga e frustração dos participantes.
27
Avaliação 2
• Comentários sobre as questões.
28
Questão 1
José possui na frente de sua casa um grande gramado. Um dia José chega à sua casa e constata o fato de que o gramado está
molhado. Considere que:
- A ocorrência de chuva pode molhar o gramado.
- Irrigadores instalados podem molhar o gramado.
- O registro de entrada de água está fechado e, com o registro fechado, os irrigadores não molham o gramado.
Que hipóteses explicam o fato do gramado estar molhado? Responda esta questão utilizando o formalismo para raciocínio
abdutivo estudado em aula.
Formalizando na linguagem da Lógica Proposicional as sentenças acima, temos:
T = { c → m, i → m }
C = { r, r → ¬ i }
F = { m },
onde estamos admitindo as seguintes proposições:
c: Ocorre chuva.
i: Irrigadores ligados.
m: Gramado fica molhado.
r: O registro está fechado.
Continue ... .
29
Questão 1
• FNC para T, C e F.
-
FNC (c → m) = (¬ c ∨ m).
FNC (i → m) = (¬ i ∨ m)
FNC (r, r → ¬ i) = r ∧ (¬ r ∨ ¬ i)
FNC (¬ m) = (¬ m).
Notação clausal de
T ∪ C ∪ ¬F = { {¬ c, m}, {¬ i, m}, { r }, {¬ r, ¬ i } {¬m } }.
30
Questão 1
• Resolução de R = { {¬ c, m}, {¬ i, m}, { r }, {¬ r, ¬ i} {¬m } } :
- R = { {¬ c, m}, {¬ i, m}, { r }, {¬ r, ¬ i} {¬m } }.
- R = { {¬ c }, {¬ i }, { r }, {¬ r, ¬ i} }.
- R = { {¬ c }, {¬ i }, {¬ i} }.
- R = { {¬ c }, {¬ i } }.
31
Questão 1
• Precisamos formular hipóteses h ∈ H tal que R ∪ { h } seja uma
contradição.
- R = { {¬ c }, {¬ i } }
- h = ¬ {¬ c } = { c }.
- h = ¬ {¬ i } = { i }.
• Hipóteses formuladas (outras existem):
H = { c, i }
• Logo H = { c }.
Esta hipótese é inconsistente com o sistema de raciocínio.
Ou seja, o conjunto T ∪ C ∪ { i } é inconsistente. Em
outras palavras é inconsistente aceitar as condições de que o
registro está fechado, que com registro fechado os
irrigadores não são ligados e ter como fato que ocorre dos
irrigadores estarem ligados . Esta hipótese deve ser retirada.
32
Questão 1
Mostrando que a hipótese “i” é inconsistente.
• T ∪ C ∪ { i } deve ser consistente, ou seja,
{ c → m, i → m, r, r → ¬ i, i } não pode ser uma contradição.
- R = { {¬ c, m }, {¬ i, m }, { r }, {¬ r, ¬ i } { i } }.
- R = { {¬ c, m }, {¬ i, m }, { ¬ i } { i } }.
- R = { { m }, {¬ i, m }, { } }.
• Logo, hipótese “i” é inconsistente.
33
Questão 2
O que é teste de significância? Por que nós precisamos executar testes de
significância?
Solução:
Testes de significância servem para mostrar o quanto um resultado (por
exemplo, a diferença entre as médias de duas amostras) é significante, ou
seja, não ocorreu por acaso.
Precisamos executar testes de significância para evitar o erro de
considerar que um resultado é significante, quando ele na verdade não é.
Por exemplo, considerar que a média de duas amostras é diferente
quando, na verdade, a chance delas serem diferentes é pequena (em
Estatística, erros Tipo I).
34
Questão 3
Para cada uma das hipóteses nulas abaixo, identifique quais são as
variáveis dependentes e quais são as variáveis independentes.
a) H0: Não existe diferença entre velocidade de leitura do usuário
e taxa de retenção do usuário quando eles lêem jornais em um
computador desktop ou em um tablet.
Solução:
Dependentes: velocidade de leitura e taxa de retenção.
Independentes: tipo de computador utilizado.
35
Questão 3
b)
H0: Não existe diferença de velocidade de seleção de um alvo e
taxa de erro entre dispositivos joystick, touch screen e de
reconhecimento de gestos.
Solução:
Dependentes: velocidade de seleção e taxa de erro.
Independentes: tipo de dispositivo utilizado.
36
Questão 4
Para cada cenário de pesquisa experimental descrito a seguir, indique
um método de análise estatística apropriado. Argumente por que você
está indicando certo método. Os cenários referem-se a experimentos
nos quais:
a) Dois grupos de indivíduos foram estudados com relação ao
tempo (em horas) que usam a Internet por dia. O Grupo 1 é
formado por indivíduos solteiros e o Grupo 2 por indivíduos
casados. O objetivo do experimento é verificar se existe ou não
diferença entre as médias dos tempos de dedicação por dia a
atividades na Internet pelos dois grupos.
Solução:
Teste t para amostras independentes.
37
Questão 4
b)
A interface do Samsung Galaxy S5 e a interface do iPhone 5s foi
experimentada por um grupo de indivíduos sem experiência
com o uso destes dispositivos. Cada indivíduo utilizou ambos
dispositivos e mediu-se o tempo para completar em seqüência
a tarefa de conectar-se a uma rede Wi-Fi e a tarefa de acessar
um Web Site. O objetivo do experimento é verificar se existe
diferença entre as médias dos tempos gastos para realizar as
tarefas no Samsung Galaxy S5 e no iPhone 5s.
Solução:
Teste t para amostras pareadas.
38
Questão 4
b)
Três grupos de estudantes, sem conhecimento prévio em programação,
estudaram durante um semestre a disciplina de Fundamentos de
Programação. Os Grupos 1, 2 e 3 estudaram a disciplina utilizando,
respectivamente, as linguagens Pascal, C e Java. Esforços foram feitos
para tentar manter constantes diversos outros fatores envolvidos no
ambiente de aprendizagem: mesmo professor, mesma estratégia de
exposição dos assuntos, mesma lista de exercícios e mesma avaliação. Ao
final do semestre mediram-se as notas, em uma escala de 0 a 10, obtidas
pelos alunos. O objetivo do experimento é verificar se existe diferença
entre as médias de notas finais obtidas pelos três grupos.
Solução:
Teste ANOVA. Se houver diferença significante, pode-se utilizar posteriormente o
Teste t para amostras independentes para cada par de grupos.
39
Questão 5
Considere o seguinte cenário de pesquisa. O
Underground (metrô) de Londres lhe contratou para
um estudo de avaliação da interação de seus
controladores com um novo sistema computacional.
Você não é especialista em Metrô nem em cultura
britânica. Que tipo de pesquisa você planeja utilizar?
Justifique a sua resposta.
Solução:
Inicialmente, Entrevistas e Grupos Focais.