O que avaliar?

Os objetivos de uma avaliação determinam quais aspectos relacionados ao uso do sistema devem ser investigados.

• apropriação de tecnologia pelos usuários, incluindo o sistema computacional a ser avaliado mas não se limitando a ele;
• ideias e alternativas de design;
• conformidade com um padrão;
• problemas na interação e na interface.

Apropriação de tecnologia

Requer a participação dos usuários para permitir uma melhor compreensão sobre: o contexto em que o sistema avaliado se insere, quais os objetivos e as necessidades dos usuários, como os usuários costumam alcançá-los, em que grau as tecnologias disponíveis satisfazem suas necessidades e preferências e como elas afetam sua vida pessoal e profissional.

Idéias e alternativas de design

Busca comparar diferentes alternativas de solução de acordo com critérios relacionados com o uso e com a construção da interface com usuário. O avaliador deve considerar o contexto de uso, os objetivos, as necessidades e as preferências dos usuários, como eles costumam satisfazê-los e por que o fazem assim.

Conformidade com um padrão

Avaliar se uma solução de IHC segue os padrões do ambiente computacional em que será inserida.

Os usuários de sistemas desses domínios já estão acostumados a certos termos e a certas formas de realizar determinadas operações. Desse modo, se a solução de IHC estiver próxima das convenções adotadas no domínio do sistema, os usuários tendem a ter menos dificuldades para utilizá-lo.

Problemas de interação e na interface

analisa os dados coletados com objetivo de identificar problemas na interação e na interface que prejudiquem a qualidade de uso do sistema.

Os problemas identificados costumam ser classificados de acordo com sua gravidade (grau de impacto nocivo), com a frequência em que tendem a ocorrer e com os fatores que compõem os critérios de qualidade de uso prejudicados — usabilidade, experiência do usuário, acessibilidade ou comunicabilidade.

O que avaliação de IHC pode responder

Objetivos:

• analisar a apropriação da tecnologia
• comparar ideias e alternativas de design
• verificar a conformidade com um padrão
• identificar problemas na interação e interface

analisar a apropriação da tecnologia

• De que maneira os usuários utilizam o sistema? Em que difere do planejado? Como o sistema interativo afeta o modo de as pessoas se comunicarem e relacionarem?
• Que variação houve no número de erros cometidos pelos usuários ao utilizarem o novo sistema? E no tempo que levam para atingir seus objetivos? E na sua satisfação com o sistema?
• O quanto os usuários consideram o apoio computacional adequado para auxiliá-los na realização de suas atividades?
• O quanto eles são motivados a explorar novas funcionalidades?
• Quais são os pontos fortes e fracos do sistema, na opinião dos usuários? Quais objetivos dos usuários podem ser alcançados através do sistema? E quais não podem? Quais necessidades e desejos foram ou não atendidos? A tecnologia disponível pode oferecer maneiras mais interessantes ou eficientes de os usuários atingirem seus objetivos? O que é possível modificar no sistema interativo para adequá-lo melhor ao ambiente de trabalho?
• Por que os usuários não incorporaram o sistema no seu cotidiano?

comparar ideias e alternativas de design

• Qual das alternativas é a mais eficiente? Mais fácil de aprender?
• Qual delas pode ser construída em menos tempo?
• De qual delas se espera que tenha um impacto negativo menor ao ser adotada?
• Qual delas torna mais evidente os diferenciais da solução projetada? Qual delas os usuários preferem? Por quê?

verificar a conformidade com um padrão

• O sistema está de acordo com os padrões de acessibilidade do W3C?
• A interface segue o padrão do sistema operacional? E da empresa?
• Os termos na interface seguem convenções estabelecidas no domínio?

identificar problemas na interação e interface

Para cada perfil de usuário:

• O usuário consegue operar o sistema?
• Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros?
• Que parte da interface e da interação o deixa insatisfeito?
• Que parte da interface o desmotiva a explorar novas funcionalidades?
• Ele entende o que significa e para que serve cada elemento de interface? Ele vai entender o que deve fazer em seguida?
• Que problemas de IHC dificultam ou impedem o usuário de alcançar seus objetivos?
• Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas?
• Quais barreiras o usuário encontra para atingir seus objetivos? Ele tem acesso a todas as informações oferecidas pelo sistema?

Quando avaliar o uso de um sistema?

• Avaliação formativa ou construtiva: durante a elaboração da solução
• Avaliação somativa ou conclusiva: depois de uma solução estar pronta

formativa ou construtiva

Realizada ao longo de todo o processo de design para compreender e confirmar a compreensão sobre o que os usuários querem e precisam, e para confirmar se e em que grau a solução sendo concebida atende às necessidades dos usuários com a qualidade de uso esperada.

somativa ou conclusiva

Realizada ao final de um processo de design, quando existir uma solução (parcial ou completa) de interação e de interface pronta, de acordo com um escopo definido. A solução de IHC final pode ser representada por um protótipo de média ou alta fidelidade, ou até mesmo pelo sistema interativo implementado.

Que tipos de dados coletar e produzir?

Os dados coletados são interpretados e analisados de acordo com o método de avaliação escolhido, para produzirem resultados que atendam aos objetivos da avaliação.

• Qualitativos
• Quantitativos

Qualitativo

Além dos dados nominais, também são dados qualitativos as respostas livres coletadas em questionários e entrevistas, tais como expectativas, explicações, críticas, sugestões e outros tipos de comentário.

Quantitativo

Dados com uma grandeza resultante de uma contagem ou medição, tais como: o tempo e número de passos necessários para alcançar determinado objetivo; o número de erros cometidos durante uma sessão de uso; quantas vezes a ajuda on-line e o manual de uso foram consultados; e quantos usuários conseguiram alcançar o objetivo satisfatoriamente.

Qual o tipo de método de avaliação escolher?

Os métodos de avaliação de IHC podem ser classificados em:

• investigação
• observação de uso
• inspeção

investigação

Esses métodos permitem ao avaliador ter acesso, interpretar e analisar concepções, opiniões, expectativas e comportamentos do usuário relacionados com sistemas interativos.

Utiliza: questionários, a realização de entrevistas, grupos de foco e estudos de campo, entre outros.

observação de uso

fornecem dados sobre situações em que os usuários realizam suas atividades, com ou sem apoio de sistemas interativos. Através do registro dos dados observados, esses métodos permitem identificar problemas reais que os usuários enfrentaram durante sua experiência de uso do sistema sendo avaliado.

inspeção

Permitem ao avaliador examinar (ou inspecionar) uma solução de IHC para tentar antever as possíveis consequências de certas decisões de design sobre as experiências de uso.

Ao inspecionar uma interface, os avaliadores tentam se colocar no lugar de um usuário com determinado perfil, com um certo conhecimento e experiência em algumas atividades.

Métodos de avaliação por inspeção costumam ser mais rápidos e de custo de execução mais baixo do que os métodos de investigação e de observação, pois eles não gastam tempo com recrutamento e sessões de coleta de opiniões ou de observação de usuários.