Performance and usability testing of multidimensional taxonomy in web site search and navigation

de Mohammad Nasir Uddin et Paul Janecek

Résumé par Simon Côté-Lapointe

Référence : Uddin, M. N., & Janecek, P. (2007). Performance and usability testing of multidimensional taxonomy in web site search and navigation. Performance Measurement and Metrics, 8(1), 18-33.

Cliquez ici pour accéder à l’article original.

Abstract

[Traduction du résumé de l’article]

Objectif

Les études sur l’utilisabilité servent au développement de systèmes et d’interfaces de recherche efficaces. Cet article présente les résultats de l’évaluation empirique menée à l’aide d’un prototype de moteur de recherche pour les sites web utilisant des taxonomies multidimensionnelles dérivées d’une classification à facettes.

Design / méthodologie / approche

Un prototype de Système de Classification à Facettes (SCF) [« Faceted Classification System (FCS) »], qui classifie et organise les documents web selon différentes facettes (ensembles de catégories orthogonales), a été développé dans le contexte d’une institution d’enseignement. Les facettes sont créées à partir des métadonnées de contenu, puis assemblées en plusieurs taxonomies — qui expriment d’une autre manière la classification du contenu du site web tels que par sujet et lieu. Ces taxonomies donnent aux utilisateurs l’accès à l’information souhaitée à travers une interface de recherche. Le présente recherche fait la comparaison entre les interfaces utilisant les SCF avec les interfaces utilisant le système à classification standard unidimensionnel (SS) dans le but d’évaluer l’utilisabilité des facettes lors de tâches de navigation et de recherche courantes.

Résultats

Les résultats trouvés suggèrent que la performance et l’utilisabilité sont significativement améliorés avec le SCF sous les aspects de facilité d’accès, de succès des recherches, de flexibilité, de compréhension du contenu, de pertinence des résultats et de satisfaction des usagers. Ces résultats sont particulièrement prometteurs lorsqu’on tient compte du fait que les utilisateurs, dans un contexte de nouveauté, ont généralement tendance rejeter l’utilisation des nouvelles interfaces.

Originalité / valeur

Les résultats présentés dans cet article peuvent contribuer significativement à la recherche sur les interfaces, mettant l’emphase sur les avantages qu’apportent les taxonomies multidimensionnelles  sur la recherche d’information dans les collections en ligne.

Plan du texte

Introduction
Review of related works
Faceted classification system interface design
Usability evaluation

Participants
Apparatus
Procedure
Search tasks
Variables studied
Hypotheses

Results of the study

System performance
Perceived usability
Usefulness of the system features
User satisfaction

Discussion
Conclusion
Références sélectionnées

Introduction

Présentation des principaux enjeux et mise en contexte de la recherche. Présentation de recherches antérieures.

 

1. Utilisateurs : Deux principaux problèmes liés à la recherche en ligne :

–        Difficulté à trouver l’information :

a) Cause 1 : l’utilisateur n’a pas les compétences et connaissances pour utiliser efficacement les moteurs de recherche.

– Problème lié à l’imprécision des requêtes, donnant des résultats imprécis.

b) Cause 2 : la description du contenu du site n’est pas claire.

– Problème lié à l’architecture du site, donc problème d’accès au contenu.

 

2. Certains types d’interfaces sont mieux adaptés à certains types de recherche :

a) La recherche très pointue (avec plusieurs conditions) et la recherche d’un produit ou d’un article familier (déjà connu par l’utilisateur) fonctionnent mieux avec des interfaces de recherche à partir de mots clés.

b) Les recherches plus larges à formulation très ouverte fonctionnent mieux avec des interfaces explorateurs / navigateurs [« browsing interfaces »].

 

3. Caractéristiques des interfaces pour une recherche efficace :

• possibilité d’utilisation d’une terminologie,
• possibilité rétrécissement et élargissement de la portée de la requête,
• possibilité de modifier la requête.

– Cependant, peu d’interfaces présentent ces caractéristiques. La recherche reste un problème de premier plan pour le design de sites web.

 

4. Explication et présentation du Système de Classification à Facettes (SCF) :

– Structures multiples pour naviguer [« browse »] à travers la collection d’information et  organiser les résultats de la recherche.

– Méthode de description et d’arrangement multidimensionnelle des ressources l’informationnelles à travers leurs concepts, attributs et propos.

– Exemples…

– Développement récent de la classification à facettes dans le web.

Retour au plan de l’article

Review of related works

Revue des recherches précédentes : sujets connexes.

 

1. Résultats de recherches antérieures :

– Utilisateurs préfèrent la présentation des résultats d’une recherche sous forme de catégories multidimensionnelles (basées sur les métadonnées).

– Conclusion des auteurs : Il faut intégrer la navigation et la recherche dans une seule interface pour atteindre un équilibre dans l’architecture de l’information.

 

2. Exemples :

– Flamenco (images)

– Epicurious (site web de recettes de cuisine)

– Utilité prouvée de la recherche à facettes pour les collections organisées de manière hiérarchique et de même type (images, recettes).

 

3. La présente recherche tente de transposer ce type d’expérience dans un environnement institutionnel. À la différence des deux exemples précédents, le contenu est souvent très diversifié et la structure appropriée pour le classement souvent floue.

Retour au plan de l’article

Faceted classification system interface design

Implantation et structure du SCF : explications et présentation.

 

1. Deux phases d’implantation du SCF :

a) Analyse du contenu du site web institutionnel

b) Développement du prototype à partir d’un Système de Gestion de Contenu (SGC) [« open source Content Management System (CMS) »].

 

2. Création de quatre facettes pour construire les taxonomies de métadonnées :

 

(1) Purpose: why the document/information will be used.

(2) Topic: “aboutness” of the document/information object, subject addressed.

(3) People: Person concerned/described by the document.

(4) Area: space or places of the document.

 

– Sont des classes mutuellement exclusives.

– Un document institutionnel a toujours ces quatre caractéristiques.

 

3. Interface utilisateur : trois types de présentation pour la recherche :

a) Navigation / exploration par facettes.

– Caractéristiques :

• Facettes présentées sous forme de hiérarchie.
• Nombre de documents indiqués entre parenthèse pour chaque facette évitant les recherches inutiles.
• Prévisualisation des résultats.
• Résultats affichés à droite du moteur de recherche et fil d’Ariane montré.
• Présentation des métadonnées (titre, sommaire, type de fichier) des résultats pour que l’utilisateur puisse juger facilement de leur pertinence.

b) Recherche avancée combinant les facettes multiples.

– Caractéristiques :

• Combinaison possible de différentes facettes.
• Résultats présentés en bas du moteur de recherche.

c) Recherche par mots clés avec opérateurs booléens.

Retour au plan de l’article

Usability evaluation

Cette section décrit les détails et les résultats de l’expérimentation.

 

But : Comparer le SCF avec le système web standard [« standard web-based system (SS) »] sous les aspects suivants :

a) Efficience de l’accès et de la recherche ;

b) Compréhension du contenu de l’information ;

c) Facilité de la navigation et de l’exploration [« navigation and browsing »];

d) Pertinence des résultats ;

e) Satisfaction globale de la recherche.

Participants

– 19 étudiants et membres du personnel de l’Asian Institute of Technology (AIT) de Thaïlande.

– Sélectionnés d’après leur niveau d’expérience dans l’utilisation d’Internet. Deux classes : expert et non-expert.

– Motivation est un facteur important dans les tests web liés à l’utilisabilité, donc les participants sélectionnés ont le désir de participer.

Apparatus

Contexte et instruments utilisés lors de l’expérimentation :

– Avait lieu dans un laboratoire informatique, environnement Windows, explorer 6.

– Données recueillies manuellement avec un questionnaire utilisant des échelles de Likert.

– Notes descriptives sur les attitudes et commentaires des utilisateurs.

– Questions ouvertes sur les recommandations et préférences.

– Données analysées avec le logiciel SPSS (Statistical package for Social Science)

– Importance statistique des résultats testés avec des échantillons appariés [« t-test and ANOVA (Analysis of Variance) with post-hoc analysis »].

Procedure

– Un seul participant à la fois.

– Période de familiarisation / exploration libre de l’interface SCF de huit minutes.

– Puis trois tâches de recherche précises (maximum de trois minutes chacune) à compléter tant sur le SCF et que sur le SS (moteur de recherche standard).

Search tasks

– Trois tâches arrangées selon un niveau de difficulté croissant conçues pour garder un intérêt chez les participants.

Variables studied

– Variables indépendantes : interfaces SCF et SS,  caractéristiques des SCF, types de tâches, caractéristiques démographiques des participants.

– Variables dépendantes : temps d’accès, facettes utilisées, métadonnées / terme de recherche utilisé, succès, résultat vide, facilité de navigation et d’exploration, simplicité, compréhension des facettes, satisfaction, pertinence des résultats.

Hypotheses

Formulées sous forme d’hypothèses nulles :

– Il n’y a pas de différence entre les interfaces SCF et l’interface SS en terme de :

H1. Efficience d’accès et de recherche.

H2. Succès dans les résultats.

H3. Simplicité et facilité d’utilisation.

H4. Intérêt et flexibilité lors de l’utilisation.

H5. Facilité de la navigation du contenu informationnel.

H6. Compréhension du contenu de l’information.

H7. Pertinence des résultats.

H8. Satisfaction vis-à-vis des interfaces.

– Hypothèses basées sur les caractéristiques démographiques :

H9. Il n’y a pas de différence dans la perception de l’utilisabilité des SCF ou SS selon la différence de statut (étudiant ou employé) de l’utilisateur.

H10. Il n’y a pas de différence dans la perception de l’utilisabilité des SCF ou SS selon le sexe des participants.

H11. Il n’y a pas de différence dans la perception de l’utilisabilité des SCF ou SS selon l’expérience d’utilisation d’Internet.

Retour au plan de l’article

Results of the study

System performance

– Plus d’efficience d’accès et de recherche pour les SCF (hypothèse 1 rejetée).

– Plus de succès dans les résultats les SCF (hypothèse 2 rejetée).

Perceived usability

– Plus d’intérêt et flexibilité lors de l’utilisation des SCF (hypothèse 4 rejetée).

– Plus de compréhension du contenu de l’information avec les SCF (hypothèse 6 rejetée).

– Plus de pertinence dans les résultats avec les SCF (hypothèse 7 rejetée).

– Pas de différence quant à la simplicité et facilité d’utilisation (hypothèse 3 confirmée) et la facilité de la navigation du contenu informationnel (hypothèse 5 confirmée).

Usefulness of the system features

– Les caractéristiques jugées les plus utiles sont : la capacité de passer d’une facette à l’autre, pré-visualiser les résultats, combiner les facettes, le fil d’Ariane.

– Les usagers experts ont donné des notes plus élevées que les non-experts.

User satisfaction

– Compréhension du concept de système de classification à facettes assez élevé.

– Préférence pour l’interface avancée SCF (voir page 5 : interface 2 : avec possibilité de combiner les métadonnées et les facettes).

– Différence significative en terme de satisfaction pour le SCF (hypothèse 8 rejetée).

Retour au plan de l’article

Discussion

– Les résultats de cette expérimentation prouvent que la performance et l’utilisabilité d’un SCF sont meilleurs en terme d’accès à l’information, de succès dans les résultats, flexibilité, compréhension du contenu, pertinence dans les résultats et de satisfaction des usagers. Hypothèses H1, H2, H4, H6, H7 et H8 rejetées.

– Cependant, certains utilisateurs, en particulier les non-experts, ont eu de la difficulté à comprendre certaines fonctions comme la prévisualisation de la recherche, le sommaire du contenu, etc. Hypothèses H3 et H5 confirmées.

– En moyenne, utilisation de trois facettes pour arriver au résultat escompté.

Conclusion

– L’utilisation de taxonomies multidimensionnelles dans une classification à facettes est une méthode efficace pour organiser l’information dans les sites web.

– Le SCF est une piste d’amélioration significative pour le design d’interfaces favorisant l’accès, la gestion et la recherche d’information sur le web.

Retour au plan de l’article

Références sélectionnées

Borland, P. and Ingwersen, P. (1997), “The development of a method for the evaluation of interactive information retrieval systems”, Journal of Documentation, Vol. 53 No. 3, pp. 225-50.

Broughton, V. (2006), “The need for a faceted classification as the basis of all methods of information retrieval”, ASLIB Proceedings: New Information Perspectives, Vol. 58 Nos 1/2, pp. 49-72.

Chen, H., Houston, A., Sewell, R. and Schatz, B. (1998), “Internet browsing and searching: user evaluations of category map and concept space techniques”, Journal of the American Society for Information Sciences (JASIS), Vol. 49 No. 7, pp. 582-603.

English, J., Hearst, M., Sinha, R., Swearingen, K. and Yee, K. (2002a), Flexible Search and Navigation using Faceted Metadata, submitted for publication, available at: http://flamenco.berkeley.edu/papers/flamenco02.pdf

English, J., Hearst, M., Sinha, R., Swearingen, K. and Yee, K. (2002b), “Hierarchical faceted metadata in site search interfaces”, CHI’02: Conference on Human Factors in Computing Systems, ACM Press, Minneapolis, MN, pp. 628-39.

Louie, A., Washington, W. and Maddox, E. (2003), Using Faceted Classification to Provide Structure for Information Architecture, poster presented at the Information Architecture Summit of the American Society for Information Science and Technology, Portland, OR, available at http://depts.washington.edu/pettt/presentations/conf_2003/IASummit.pdf

Marchionini, G. (1997), Information Seeking in Electronic Environments, Cambridge University Press, Cambridge.

Nielsen, J. (1994), “Heuristic evaluation”, in Nielsen, J. and Mack, R. (Eds), Usability Inspection Methods, John Wiley and Sons, New York, NY, pp. 25-62.

Pratt, W., Hearst, M. and Fagan, L. (1999), A Knowledge-based Approach to Organizing Retrieved Documents, Proceedings of the 16th Annual Conference on Artificial Intelligence (AAAI 99), Menlo Park, CA, pp. 80-5.

Sutcliffe, A., Ennis, M. and Watkinson, S. (2000), “Empirical studies of end-user information searching”, Journal of the American Society for Information Science (JASIS), Vol. 51 No. 13, pp. 1211-31.

Yee, K., Swearingen, K., Li, K. and Hearst, M. (2003), Faceted Metadata for Image Search and Browsing, CHI ’03: Proceedings of the SIGCHI Conference on Human factors in Computing Systems, Fort Lauderdale, FL, pp. 401-8.