Fagan
Usability Studies of Faceted Browsing: A Literarure Review
de Jody Condit Fagan
Résumé par François Valcourt
Référence : Fagan, J. C. (2010). Usability studies of faceted browsing: A literature review. Information Technology and Libraries, 29 (2), 58-66.
Cliquez ici pour accéder à l’article original
Résumé
Cet article passe en revue la littérature traitant de la navigation à facettes. Les articles cités résument essentiellement des expérimentations réalisées auprès de participants afin d’évaluer l’efficacité d’interface qui intègrent le classement par facettes. Le texte s’intéresse notamment à l’utilisabilité de ce type de classification auprès des utilisateurs. Le taux de réponse obtenu lors de requête, le temps nécessaire à exécuter une recherche et l’ergonomie des facettes furent considérés. Dans un premier temps, l’auteure s’intéresse aux moteurs de recherches à facettes et à l’expérience des usagers (Section : «Results : empirical studies of faceted browsing»). Ensuite, l’auteure traite des possibilités offertes par la classification à facettes dans les catalogues de bibliothèques (Section : « Results: library literature»). Fagan propose finalement des barèmes méthodologiques pour d’éventuelles recherches.
Plan de l’article
1. Introduction
2. Method
3. Results
3.1 Results: empirical studies of faceted browsing
3.1.1 Pratt, Hearst and Fagan : A Knowledge-Based Approach to Organizing Retrieved Documents
3.1.2 Yee et al. : Faceted Metadata for Image Search and Browsing
3.1.3 English et al. : Flexible Search and Navigation
3.1.4 Uddin and Janacek. Performance and Usability Testing of Multidimensional Taxonomy in Web Site Search and Navigation
3.1.5 Capra et al. Effects of Structure and Interaction Style on Distinct Search Tasks
3.1.6 Zhang and Marchionini. Evaluation and Evolution of a Browse and Search Interface: Relation Browser++
3.2 Results: library literature
3.2.1 Sadeh,Tamar. User Experience in the Library : A Case Study.
3.2.2 Olson, Tod A. Utility of a Faceted Catalog for Scholarly Research.
4.1 Summary of empirical evidence related to faceted browsing
4.2 Summary of practical user studies related to faceted browsing
4.3 Methodological best practices
4.3.1 Designing the study
4.3.2 Designing tasks
4.3.3 Who to study?
4.3.4 Designing user of faceted browsing
5. Conclusion
6. Bibliographie
1. Introduction
-L’auteure affirme que plusieurs gestionnaires de bibliothèques cherchent à optimiser l’efficacité de leur catalogue informatisé grâce à de nouvelles interfaces. Celles-ci sont fréquemment qualifiées de «next generation library catalogs» ou de «discovery tools».
-La classification par facettes est un moyen d’optimiser ces interfaces. L’auteure cite quelques définitions précisant ce qu’est une classification par facettes. Selon Marti A. Hearst les facettes sont «a set of meaningful labels organized in such a way as to reflect the concepts relevant to a domain.» Selon Kathryn LaBarre «the categories, properties, attributes,characteristics, relations, functions or concepts that are central to the set of documents or entities being organized and which are of particular interest to the user group.»
-La recherche par facette permet d’aborder un sujet dans son ensemble pour ensuite préciser les résultats obtenus.
-Les catégories qui définissent les facettes sont généralement le nom de l’auteure, le sujet ou le format. Il peut s’agir aussi de n’importe quel champ faisant partie du catalogage MARC.
-D’un point de vue historique, Ranganathan est l’un des pionnier du classement par facette depuis 1960.
-Selon Deborah L. McGuinness, l’emploi de facettes dans un interface permet entre autres de garantir un vocabulaire contrôlé tout en constituant un support à la navigation et à la recherche.
2. Method
-L’auteure mentionne les bases de données employées pour effectuer ses recherches. Ces bases de données
sont:
-Association for Computing Machinery (ACM) Digital Library
-Scopus
-Library and Information Science and Technology Abstracts (LISTA)
-Dans les bases de données Scopus et ACM Digital Library, les requêtes ont été formulées de la façon
suivante:
-(facet* OR cluster*) AND (usability OR user stud*)
-facet* AND usability
-Dans LISTA, les termes de recherche ont été «aquabrowser» combiné à «usability».
-L’expression «catalog AND usability» a également été utilisée.
-Afin de repérer des articles qui n’ont pas encore été publiés, l’auteure a employé les moteurs de recherche Google et Next Generation Catalogs for Libraries (NGC4LIB).
-L’emploi du terme «clustering» peut néanmoins poser problème. Le terme est souvent associé aux nuages de mots (word clouds). Selon Marti A. Hearst, les nuages de mots ont leurs avantages. Ils sont automatisés, ils sont opérables dans la plupart des collections de textes et peuvent dégager de nouveaux sujets et de nouveaux termes. Leurs désavantages résident d’abord dans l’imperfection des algorithmes. Les sujets similaires ne sont pas toujours regroupés dans un même terme et l’emploi des groupes de mots est imprévisible. «Disadvantages to clustering include possible imperfections in the clustering algorithm, similar items not always being grouped into one cluster, a lack of predictability, conflating many dimensions, difficulty labeling groups, and counterintuitive subhierarchies.
(N.B. Voir à ce sujet : Hearst, Marti A. Clustering versus Faceted Categories for Information Exploration. Communications of the ACM 49. 2006. no.4 .)
3. Results
Fagan a regroupé la littérature obtenue en deux catégories :
1-User studies of faceted browsing
2-User studies of library catalog interfaces that include faceted browsing as a feature
3.1 Results : empirical studies of faceted browsing
Dans cette section, Fagan résume les articles et les résultats d’études qu’elle considère les plus significatifs.
3.1.1 Pratt, Hearst and Fagan : A Knowledge-Based Approach to Organizing Retrieved Documents
-L’étude Pratt, Hearst et Fagan consistait à déterminer si la recherche par facettes offre de meilleurs résultats que le «clustering» ou la recherche par pertinence (relevancy-ranked results).
-50 patientes du cancer du sein et leurs proches ont participé à l’étude. Ils ont utilisé trois types d’interface: une interface organisée par facettes, une autre utilisant les nuages de mots et un moteur de recherche qui présente les résultats par pertinence.
-Chaque utilisateur a dû effectuer un certain nombre de requêtes afin de comparer les résultats obtenus avec chacun des interfaces.
-Les chercheurs ont divisé l’expérience en deux étapes.
-Premièrement, ils ont demandé aux participants de repérer le plus de résultats possible en quatre minute. Ils devaient répondre à la question suivante: «What are the ways to prevent breast cancer?»
-Deuxièmement, une autre question fut posée aux participants en lien avec la première: «Can diet be used in the prevention of breast cancer?»
-À la première question, la recherche par facettes a offert les meilleurs résultats. En utilisant les facettes, les participants ont en moyenne trouvé 7,80 résultats a l’intérieur des quatre minutes qui leur étaient accordées. Les nuages de mots (cluster tool) ont permis de trouver en moyenne 4,53 résultats tandis que
la recherche part pertinence en a offert 5,60.
-En ce qui regarde la deuxième question, les chercheurs n’ont pas noté de différences significatives entre les différentes interfaces de recherche.
-Un questionnaire fut ensuite adressé aux participants afin d’évaluer leur taux de satisfaction. Sur les quatorze questions quantitatives posées aux répondants, treize ont confirmé que les usagers étaient plus satisfaits par la recherches à facettes.
-Les quinze répondants ont affirmé que la recherche à facette était utile et disposait de catégories faciles à comprendre. Ils ont également affirmé qu’ils utiliseraient les facettes lors de leurs éventuelles recherches.
3.1.2 Yee et al. : Faceted Metadata for Image Search and Browsing
-L’article de Yee a pour objet l’emploi des facettes dans le furetage et la recherche d’images. Le texte traite plus particulièrement de la banque d’images Flamenco.
-Yee et ses collaborateurs ont réalisé une étude auprès de 32 participants. Ceux-ci sont des usagers réguliers de l’Internet et effectuent des requêtes sur une base quotidienne ou hebdomadaire.
-Les participants devaient réaliser quatre tâches. Il s’agissait plus précisément de réaliser une recherche structurée ainsi qu’une recherche non structurée. Chacun de ces types de recherche devait être effectué en employant à la fois la banque d’images Flamenco et une interface de type plus traditionnel (baseline
interface).
-L’interface de type traditionnel a offert trois fois plus de requête sans résultat que le site Flamenco.
-Les chercheurs ont constaté que les participants étaient en mesure de construire et de préciser les recherches en employant les multiples facettes. L’emploi de plusieurs facettes fut favorisé dans 19% des recherches non structurées et dans 45% des recherches structurées.
-Un questionnaire a été adressé aux participants.
-Ils ont affirmé que les facettes étaient flexibles, simples à comprendre et facilitaient le furetage.
-Selon eux, une classification à facettes offre une meilleure vue d’ensemble (overhelimng).
-Sur les 32 répondants, 31 préfèrent la recherche à facettes. 28 ont affirmé que les facettes étaient plus efficace que les interfaces auxquelles ils étaient déjà familiers.
-Les participants considèrent la recherche à facettes plus lente. Néanmoins, ils apprécient l’organisation du site Flamenco puisqu’il facilite l’accès aux images.
3.1.3 English et al. : Flexible Search and Navigation
-Jennifer English a réalisé une expérience auprès de 19 participants afin d’évaluer l’utilisabilité de la banque d’images Flamenco. Le site internet fut comparé à deux autres sites internet d’images: Matrix View et SingleTree.
-Globalement, le site internet Matrix View permet de sélectionner plusieurs facettes. La sélection des termes peut se faire dans l’importe quel ordre et les résultats peuvent être regroupés à partir de n’importe quelle facette.
-Le site SingleTree est pour sa part moins flexible. Il permet de naviguer parmi les catégories et les sous-catégories mais il est impossible de sélectionner des termes provenant de plus d’une facette.
-English affirme que les participants préfèrent le pouvoir et la flexibilité de Matrix View.
-Les principaux avantages de Matrix View selon les participants sont
-la facilité de préciser et d’étendre les recherches
-la possibilité de passer d’une recherche à l’autre
-la possibilité de régler les problèmes de recherche
-SingleTree a l’avantage de localiser facilement des images précises.
-Lors de recherches spécifiques, SingleTree a permis de repérer l’image recherchée 66% du temps comparativement à 22% pour MatrixView.
-En utilisant Matrix View, certains participants ont employé les mauvaises catégories et sous-catégories.
-La plupart des participants débutent leurs recherches en furetant (browsing) plutôt qu’en effectuant une
requête par terme (searching).
3.1.4 Uddin and Janacek. Performance and Usability Testing of Multidimensional Taxonomy in Web Site Search and Navigation
-Uddin et Janacek ont réalisé une expérience auprès de 19 usagers. Ceux-ci étaient des étudiants et des
membres du personnel de l’Asian Institute of Technology.
-Les participants devaient utiliser des moteurs de recherche offrant des listes résultats dites
«traditionnelles» (traditional results list) et des listes de résultats par facettes.
-Les participants devaient remplir les trois tâches suivantes:
1- Trouver de l’information portant sur les bourses d’études pour les programmes de maîtrise
2- Trouver de l’information sur l’embauche de personnel.
3- Trouver des études et des membres associés de la faculté à laquelle le répondant fait partie
-L’expérience a révélé que les participants repéraient de l’information plus rapidement lorsqu’ils utilisaient une interface à facettes.
3.1.5 Capra et al. Effects of Structure and Interaction Style on Distinct Search Tasks
-Capra et ses collaborateurs ont comparé trois interfaces utilisées sur le site internet du «Bureau of Labor
Statistics».
-Les usager ont généralement préféré la familiarité des interfaces traditionnelles, c’est-à-dire la recherche
par hyperliens et la requête par mots-clés.
-Les auteurs ont conclu qu’un site internet bien organisé et hiérarchisé était privilégié par les participants.
3.1.6 Zhang and Marchionini. Evaluation and Evolution of a Browse and Search Interface: Relation Browser++
-Les auteurs ont étudié les résultats de recherches obtenus par 15 étudiants de premier cycle et de cycle supérieur. Les répondants ont employé l’interface «Relation Browser ++» qui présente les résultats de recherche d’après une organisation par facettes.
-Trois types de tâches furent demandées aux répondants:
1-Répondre à une simple requête. Exemple: est-ce que le film «The Matrix» est disponible dans la collection?
2-Explorer les données et analyser les résultats. Exemple: Durant quelle décennie Steven Spielberg a réalisé le plus de films?
3-Les répondants pouvaient ensuite répondre à une question libre telle «repérez cinq de vos films favoris.»
-L’interface à facettes à présenter un taux significatif de satisfaction auprès des usagers.
-Toutefois, les usagers apprécient peu l’apparence esthétique de l’interface et des facettes.
3.2 Results: library literature
3.2.1 Sadeh,Tamar. User Experience in the Library : A Case Study.
-Tamar Sadeh s’intéresse à l’«étude d’utilisabilité» réalisée à l’université du Minnesota.
-L’université dispose du catalogue de bibliothèque Primo vendu par la compagnie Ex Libris.
-L’auteur a également reçu la collaboration du «Usability Services lab» de l’université du Minnesota.
-La plupart des usagers ont affirmé que les facettes permettent de préciser les résultats de recherche et qu’elles distinguent l’interface Primo des OPACS auxquels ils sont habitués.
3.2.2 Olson, Tod A. Utility of a Faceted Catalog for Scholarly Research.
-Tod Olson s’est intéressé à l’emploi de l’interface Aquabrowser auprès de 12 étudiants de cycles supérieur en humanités.
-Aquabrowser est créé par MediaLab et distribué par Serials Solutions en Amérique du Nord.
-Sur les 12 participants, 9 d’entres eux ont repéré des résultats pertinents qu’ils n’avaient jusque là pas trouver avec les interfaces traditionnelles
-Olson considère les facettes comme des filtres permettant de préciser les résultats de recherche
-Un groupe de recherche de l’Université Yale a fait une étude sur l’interface VuFind
-la directrice de la recherche était Kathleen Bauer
-l’interface était un «pilot» de la bibliothèque médicale Whitney
-les participants étaient des étudiants de premier cycle
-un ensemble de 400 000 titres de documents dans la base de données
-VuFind est développé par à la Villanova University http://vufind.org
-Parmi les questions posées, certaines erreurs étaient volontairement incluses.
-l’orthographe de certains termes de recherche était incorrect.
-certains titres de documents étaient incomplets dans le questionnaire.
-L’étude portant sur la bibliothèque médicale comportait 8 participants de médecine et de sciences infirmières
-La moitié des participants a utilisé les facettes et l’autre moitié a utilisé l’option «search within».
-Selon Bauer, l’emploi de facettes afin de préciser les résultats n’est pas une option connue par les participants de l’étude.
-Antelman, Pace et Lynema ont étudié l’opac de nouvelle génération de la North Carolina State University.
-cette interface est réalisée par la compagnie Endeca
-Les 5 participants ont compris le fonctionnement des facettes.
-3 participants ont utilisé les facettes.
-L’emploi des facettes n’a pas été exécuté dans l’ordre où elles étaient présentées.
-Les participants utilisant les facettes ont repéré les documents plus rapidement.
4. Discussion
4.1 Summary of empirical evidence related to faceted browsing
Fagan énumère point par point plusieurs avantages de la recherche par facettes. Il mentionne entre autres:
-Les facettes contribuent à élaborer des structures de navigation
-Les catégories proposées par les facettes facilitent le repérage dans les bases de données
-Les facettes évite l’absence de résultats de requête
-Les usagers obtiennent plus de résultats avec interfaces disposant de facettes
-Les usagers sont plus satisfaits avec les systèmes à facettes qu’avec les autres interfaces
-Les usagers apprécient le caractère prévisible des facettes ainsi que leur hiérarchie
-Certains usagers préfèrent les sites internet traditionnels opérant avec des hyperliens et des requêtes par mots-clés
4.2 Summary of practical user studies related to faceted browsing
-La revue de littérature de Fagan considère aussi des études réalisées par des bibliothécaires professionnels (practicing librarians at live library implementations).
-Caractéristique de ce type d’étude:
-moins d’usagers
-examen de l’ensemble de l’interface plus que sur quelques aspects
-large diversité de méthodes
-La plupart des études portait sur des produits, des logiciels ou des interfaces spécifiques.
-Pour cette raison, les résultats varient entre les analyses portant sur les systèmes et les études d’utilisabilité.
-Il devient difficile de faire une synthèse générale.
-Lorsque la navigation à facettes est intégrée dans des situations concrètes, les usages effectuent des recherches plus efficaces.
-Toutefois, LaBarre demeure sceptique quant à l’efficacité de la navigation à facettes dans l’emploi de catalogue de bibliothèque (library information).
-Elle soutient que les termes employés en bibliothéconomie sont plus riches que les termes assignés aux facettes.
-Les conclusions obtenues en analysant la navigation par facettes de sites commerciaux ne peuvent substituer l’analyse d’OPAC de nouvelles génération généralement utilisés par les bibliothécaires.
-Les études de l’utilisatbilité des OPAC sont problématique pour d’autres facteurs:
-l’analyse d’une interface à facette spécifique ne peut se substituer à une autre
-la quantité de documents contenus dans une collection peut varier et cela influence les résultats obtenus.
-les pratiques de catalogage et l’enregistrement des métadonnées influences également les résultats.
-Néanmoins, il demeure pertinent de déterminer si la navigation à facettes améliore la recherche d’informations.
4.3 Methodological best practices
-Certaines méthodes peuvent être adoptées afin d’améliorer les études portant sur la navigation à facettes.
4.3.1 Designing the study
-Il est conseillé d’utiliser des protocoles de recherches issus de recherches précédentes.
-cela permet d’établir des points de comparaison.
-Lors des expérimentations, il faut imposer aux répondant des requêtes précises. Cela permet d’évaluer l’efficacité de l’interface.
-Réaliser une étude auprès d’une catégorie spécifique d’usagers.
-Exemple : Olson s’est intéressé à des étudiants de deuxième cycle en court de rédaction. Cela permet de s’assurer de l’intérêt des répondants à propos du sujet de recherche.
-Il faut d’abord permettre à l’usager de se familiariser avec l’interface et les procédures de l’étude. (English, 2002)
4.3.2 Designing tasks
-S’assurer que chaque requête imposée à l’usager est mesurable. Par exemple : le temps passé à compléter une requête.
-Établir des repères ou des références (benchmarks) à des fins de comparaison. Ces repères permettent de:
-déterminer les différences significatives entre les interfaces
-«test for differences between research subjects and an expert user»
-comparer les résultats obtenus avec les résultats projetés
-«looking at your existing OPAC logs for zeroresults searches or other issues that might inspire interesting questions.»
-Préciser les requêtes afin d’éviter des éléments pouvant distraire le répondant. Par exemple, si une collection contient une quantité considérable de documents gouvernementaux, il faut élaborer une requête qui ne tiendra pas compte de ceux-ci.
-Proposer des requêtes simples aux répondants plutôt que de laisser ceux-ci choisir leurs propres sujets de recherche. Cela permet d’évaluer de quelle façon les usagers formulent des requêtes.
-Considérer comment la lecture ou la compréhension de la requête influence les résultats obtenus. Par exemple, le temps passé à comprendre une requête influence le temps nécessaire pour trouver une réponse. (Pratt, Hearst et Fagan, 1999).
-«Consider the implications of your local implementation carefully when designing your study.»
4.3.3 Who to study?
-S’intéresser à un échantillon large.
-Nielsen considère qu’un échantillon de 20 usagers est suffisant.
-Il est conseillé de collaborer avec d’autres bibliothèques.
-Si l’échantillon est petit, il faut tenir compte que les résultats ne seront pas généralisables.
-S’assurer que les individus interviewés s’intéressent au sujet sur lequel ils font une requête. Par exemple, les répondants de l’étude d’Olson étaient des étudiants de deuxième cycle en cours de rédaction.
-Choisir des étudiants dont la scolarité est avancée. La Barre considère que les étudiants de premier cycle sont trop représentés.
-Afin de faire des études comparatives, il est conseillé d’avoir deux types d’étude: «between-subject designs» et «within-subject designs».
-«between-subject designs» : deux groupes de participants qui testent des systèmes différents.
-«within-subject designs» : un groupe de participants qui testent les deux systèmes.
-Ces précédents conseils sont utiles puisqu’ils permettent de comparer les résultats des études.
4.3.4 Designing user studies of faceted browsing
-Différence entre études empiriques de recherche (empirical research studies) et les cas d’études portant sur les bibliothécaires professionnels :
-spécificité de la requête et de la recherche d’informations
-moyens d’évaluer les hypothèses de recherche (measurements)
-La revue de la littérature et les études précédentes permettent d’exposer comment les hypothèses, les tâches demandées aux répondants et les «measurements» peuvent être formulés.
-En ce sens, une bonne formulation permet d’obtenir des résultats pertinents à propos de la navigation à facettes dans les catalogues de bibliothèques.
Exemple proposé par Fagan
Une question de recherche pourrait être formulée comme suit : «Compared with our current interface, does our new faceted interface improve the user’s ability to find different formats of materials?»
-Deux hypothèses sont alors proposées:
-Les résultats obtenus par l’usager seront plus précis lorsqu’il utilisera la navigation à facette en comparaison aux résultats qu’ils auraient obtenus avec une interface traditionnelle.
-L’usager va obtenir des résultats plus rapidement grâce à la navigation à facettes.
-Afin de vérifier ces hypothèses, des tâches précises peuvent être demandées aux participants. L’auteure en énumère quelques-unes en guise d’exemples.
-Tâche 1 : Utiliser l’interface A et recherchez le terme «interpersonal communication». Vérifiez vos résultats. Repérer le plus formats différents que vous êtes capable.
-Tâche 2 : Combien d’items vous avez repéré pour chaque format?
-Tâche 3 : Utilisez l’interface B et recherchez le terme «family communication». Quels formats vous voyez parmis les résultats?
-Tâche 4 : Combien d’items sont regroupés sous chaque format?
-Les termes «interpersonal communication» et «family communication» ont été choisis puisque des documents de différents formats existent sur ces sujets.
-Ces sujets sont compréhensibles pour la plupart des étudiants.
-L’auteure propose également de demander à la moitié des usagers d’utiliser une interface traditionnelle. L’autre moitié utiliserait l’interface à facettes.
-Les 4 tâches formulées permettraient de confirmer ou de rejeter les hypothèses de recherche:
-Les tâches 1 et 3 détermineraient le nombre de formats identifiés par les usagers. Ce nombre pourrait être comparé à celui obtenu par un spécialiste de l’information (expert searcher).
-À partir des tâches 2 et 4, on pourrait comparer le nombre d’items correctement identifiés et comparer le résultat avec celui obtenu par un spécialiste de l’information.
-Il serait aussi pertinent de calculer le temps nécessaire à l’accomplissement des requêtes. De cette façon, il serait possible de savoir avec quelle interface les usagers obtiennent des résultats le plus rapidement.
-Fagan propose d’adresser un questionnaire auprès des usagers afin d’évaluer leur satisfaction.
-Nom du questionnaire: System Usability Scale (SUS)
-Ce questionnaire devrait être rempli après avoir utilisé chaque interface
-Le questionnaire devrait également être rempli à la toute fin de l’étude
5. Conclusion
-Les études démontrent que la navigation à facettes améliorent l’efficacité des recherches des usagers.
-Toutefois, rien n’indique que les usagers de catalogues de bibliothèques obtiendraient d’aussi bons résultats.
-Les bases de données de bibliothèques sont plus complexes.
-Les études ayant traité de la navigation à facettes dans les catalogues de bibliothèques n’ont pas été concluantes jusqu’à maintenant.
-Afin d’obtenir des résultats concluants, il faudrait préciser les questions de recherche, les tâches à effectuer et les «measurements».
6. Bibliographie
Antelman,Kristin, Andrew K. Pace and Emily Lynema. 2006. Toward a Twenty-First Century Library Catalog. Information Technology & Libraries 25, no. 3 : 128–39.
Bauer, Kathleen. 2008. Yale University Library VuFind Test— Undergraduates. https://collaborate.library.yale.edu/usability/reports/YuFind/summary_undergraduate.doc
Capra, Robert et al. 2007. Effects of Structure and Interaction Style on Distinct Search Tasks. http://fredstutzman.com.s3.amazonaws.com/papers/JCDL2007_Stutzman.pdf
English, Jennifer et al. 2002. Flexible Search and Navigation. http://flamenco.berkeley.edu/papers/flamenco02.pdf
Hearst, Marti A. 2006. Clustering versus Faceted Categories for Information Exploration. Communications of the ACM 49. no.4 .
La Barre, Kathryn. 2007. Faceted Navigation and Browsing Features in New OPACS: Robust Support for Scholarly Information Seeking? Knowledge Organization 34, no. 2 : 82.
Olson, Tod A. Utility of a Faceted Catalog for Scholarly Research.
Pratt, Wanda. Hearst, Marti A. and Fagan, Lawrence M. A Knowledge-Based Approach to Organizing Retrieved Documents. Proceedings of the Sixteenth National Conference on Artificial Intelligence, July 18–22, 1999, Orlando, Florida (Menlo Park, Calif.: AAAI Pr., 1999): 80–85. http://www.aaai.org/Papers/AAAI/1999/AAAI99-012.pdf
Uddin, Mohammad Nasir et Paul Janecek. 2007. Performance and usability testing of multidimensional taxonomy in web site search and navigation. Performance Measurement and Metrics, Vol. 8 Iss: 1, pp.18 – 33.
Yee, Ka-Ping. Swearingen, Kirsten. Li, Kevin. Hearst, Marti. Faceted Metadata for Image Search and Browsing. http://kevinli.net/flamenco-chi03.pdf
Zhang, Junliang et Marchionini, Gary. 2005. Evaluation and evolution of a browse and search interface: Relation Browser++. In : Proceedings of the 2005 national conference on Digital government research. Digital Government Society of North America, 2005. p. 179-188. http://wing.comp.nus.edu.sg/downloads/keyphraseCorpus/87/87.pdf