Kules et Capra
Influence of Training and Stage of Search on Gaze Behavior in a Library Catalog Faceted Search Interface
de Bill Kules et Robert Capra
Résumé par Simon Côté-Lapointe
Référence : Kules, B., & Capra, R. (2012). Influence of Training and Stage of Search on Gaze Behavior in a Library Catalog Faceted Search Interface. Journal of the American society for information science and technology, 63(1), 114-138.
Cliquez ici pour accéder à l’article original.
Résumé
[Traduction du résumé de l’article]
Cette étude examine comment les chercheurs interagissent avec un catalogue de bibliothèque à facettes en ligne lors de recherches exploratoires. Elle applique plusieurs méthodes, incluant l’oculométrie [« eye tracking »] et des entrevues de rappel de la mémoire [« stimulated recall interviews »], pour enquêter sur les aspects importants de l’utilisation d’une interface de recherche à facettes, plus spécifiquement : (a) la façon de regarder de l’usager — à quels éléments il regarde; (b) comment sa façon de regarder diffère selon qu’il ait eu ou non une formation; (c) comment sa façon de regarder change à mesure qu’il devient plus familier avec l’interface; (d) comment sa façon de regarder diffère dépendamment de l’étape du processus de recherche. Les résultats confirment les découvertes subséquentes : les facettes comptent pour approximativement 10 à 30 % de l’utilisation de l’interface. Ces résultats montrent qu’une vidéo démonstration de 60 secondes augmente l’utilisation des facettes. Cependant, l’utilisation des facettes n’a pas évolué au cours de l’expérience, laissant croire que les utilisateurs n’emploient pas rapidement par eux-mêmes les interfaces à facettes. Les résultats suggèrent également que l’utilisation des éléments de l’interface varie selon le stade de la recherche durant la session, avec une utilisation plus marquée des facettes lors des étapes de prise de décision [« decision-making stages »]. Ces découvertes sont intéressantes pour les bibliothécaires et les designers d’interfaces qui veulent maximiser la valeur de la recherche à facettes pour leurs clients, ainsi que pour les chercheurs qui étudient le comportement de recherche [« search behavior »].
Plan du texte
Introduction
Literature Review
Exploratory Search
Faceted Search Interfaces
Eye-Tracking Studies of Web Search
Stages Within the Search Session
Online Training and Help
Summary
The North Carolina State University Faceted Library Catalog Testbed
Development of a Grounded Set of Exploratory Search Tasks
Development of a Set of User-Friendly Stages of Search
Query Terms: Coming Up With Search Terms
Overview: Getting an Overview of the Results of Your Search
Extracting: Extracting Specific Information From Your Results
Deciding Next: Deciding What to Do Next
Deciding topic: Deciding on a topic.
Research Questions
Methodology
Overview
Participants
Experimental Design
Procedure
Data Collection
Data Analysis
Independent measures
Dependent measures: Gaze behavior metrics
Analysis of the research questions
Task Perceptions and Differences
Analysis of the effect of task on gaze behavior metrics
Analysis of the posttask questionnaire responses
Differences Based on Areas of Interest AOI (RQ1)
Effects of Training/Online Help (RQ2)
Interface Familiarity (RQ3)
Stage of Search (RQ4)
Limitations
RQ1: How Does Gaze Behavior Differ Among the Major Interface Components?
RQ2: Does Gaze Behavior Differ Within Each Interface Component When Training or Online Help Is Provided?
RQ3: Does Gaze Behavior Change as Searchers Become Familiar With the Interface During the Session?
RQ4: Does Gaze Behavior Differ at Different Stages of a Search Session?
Practical Implications for Libraries
Implications for Designers
Implications for Researchers
Summary of Contributions
Introduction
– Introduction aux interfaces de recherche à facettes :
- Utilisation, fonctionnement et principales applications sur le web.
– Catalogues de bibliothèque en ligne [« online public access catalogs (OPACs) »] :
- Rendent visibles la classification, la structure et les métadonnées dans un contexte approprié durant la recherche.
- Utiles pour la recherche exploratoire, combinant des stratégies de navigation et de recherche.
– Questions :
- Comment les OPAC influencent les usagers dans l’usage du catalogue.
- Est-il nécessaire de fournir une formation pour les usagers des catalogues de bibliothèques d’aujourd’hui?
– Nouvelle génération se sert du catalogue de bibliothèque en conjonction avec les moteurs de recherche web, ou même ne s’en sert pas du tout.
– Avec la présence accrue d’interfaces de recherche à facettes sur le web, est-ce que les usagers vont utiliser rapidement les facettes sans formation?
- D’une part, succès des facettes pour plusieurs sites de commerce électronique (eBay, HomeDepot, Amazon);
- D’autre part, les compétences en recherche d’information littéraire ne sont pas aussi développées que les compétences web générales.
– Cette étude se penche sur l’effet qu’à une formation sur les interfaces de recherche à facettes.
– Comment les outils de recherche à facettes affectent les comportements?
- Interfaces de recherche à facettes changent les tactiques de requête, d’examen et de sélection des résultats.
- Différentes utilisations des facettes à même une seule session de recherche.
– Cette étude examine les actions des utilisateurs (oculométrie):
- Qu’est-ce qu’ils veulent faire?
- Qu’est-ce qu’ils regardent?
- Comparaison des comportements avec ou sans formation.
- Comparaison des comportements selon les étapes de la recherche.
Literature Review
Revues de littérature
– Revues de littérature sur : recherche exploratoire, conception des tâches en recherche exploratoire, études oculométriques d’interfaces de recherche, étapes d’une session de recherche et formation et soutien en ligne.
Exploratory Search
Recherche exploratoire
– Aspects des tâches d’exploration :
- Incertitude, ambigüité, itération et découverte.
- Tâches d’apprentissage ou d’enquête (à l’opposé de consultation).
- Associées à un niveau d’apprentissage plus abstrait ou complexe.
– Recherche exploratoire peut incorporer d’autres types de tâches comme :
- Recherche d’un élément connu;
- Recherche par navigation;
- Réponse à une question.
– Caractéristiques :
- Importance du contexte dans la détermination des besoins informationnels.
- Recherche exploratoire peut être sociale ou collaborative par nature.
- Le but influence l’interprétation des tâches, de la pertinence et des résultats.
- Recherche associée au début du processus de recherche d’information.
- Caractérisée par : incertitude des objectifs, des sources, des sujets et de la terminologie.
– Complexité de la tâche de recherche exploratoire :
- Moins bien structurée;
- Moins de connaissance sur le sujet;
- Moins bonne conceptualisation du problème;
- Structure du problème, complexité de la tâche et connaissance préalable ont un impact sur la recherche. Plus la tâche est complexe, plus elle est mal structurée.
– Créer des tâches représentatives pour l’étude des interactions humain-ordinateur est un élément important nécessaire à l’évaluation des systèmes de recherche exploratoires.
– Difficulté du design des tâches exploratoires due à l’interprétation individuelle, la pertinence et les résultats.
– Recommandations :
- Scénario de haut niveau devrait être utilisé pour inclure une part d’apprentissage et d’enquête.
- Simulation d’une tâche de travail (contexte plus signifiant et motivant) :
- dans laquelle le testeur peut s’identifier;
- dont le sujet est intéressant pour les testeurs;
- dont le contexte est assez imagé pour que le testeur soit capable d’y référer;
Inclure aussi, si possible, un besoin réel fourni par le testeur.
– Objectifs pour la construction des tâches de recherche exploratoire :
- Indiquer l’incertitude, l’ambiguïté dans le besoin d’information et/ou un besoin d’exploration;
- Suggérer des tâches d’acquisition, de comparaison ou de découverte de connaissances;
- Domaine non-familier pour le testeur;
- Pas beaucoup de spécificité quant à l’information nécessaire pour la recherche, comment chercher l’information et comment reconnaître l’information requise;
- Présente une situation dans laquelle le testeur peut se rapporter et s’identifier;
- Présente une situation que le testeur trouve intéressante;
- Présente un contexte assez imagé.
– Les lignes directrices pour le développement de la tâche ne sont pas toutes commodes dans une étude contrôlée ou semi-contrôlée.
- Problème de choix imposé de l’interface pour réaliser la tâche.
– Aspects additionnels pour la procédure :
- l’objet indiqué de la recherche;
- la nature des facettes.
Faceted Search Interfaces
Interfaces de recherche à facettes
– Défi de trouver une interface adaptée à la nature exploratoire de la tâche de recherche.
– Avantages des interfaces de recherche à facettes :
- Présentent des catégories cliquables pour aider l’utilisateur à préciser et naviguer à travers ses résultats sans être obligé de reformuler sans requête;
- Présentation inclut plusieurs catégories et valeurs sous forme de facettes;
- Fournit l’information sur les résultats et l’espace de recherche;
- Agit comme un outil de raffinement de requêtes.
– Interface à facettes aident à l’exploration de plusieurs façons :
Construire et modifier des requêtes complexes;
Filtrer rapidement des séries de résultats :
- facettes peuvent être ajoutées ou enlevées facilement d’un clic);
Interaction avec les métadonnées :
- montre des détails sur les facettes, catégories et valeurs disponibles dans la base de données;
- montre le nombre d’éléments associé pour chaque facette.
– Les utilisateurs ont été habitués aux ressources web comme Google, Facebook, Twitter, Amazon.com, et Wikipédia.
– En particulier, les « chercheurs » novices utilisent leurs propres termes pour exprimer leurs besoins informationnels, sans tenir compte de leur niveau de connaissance sur le sujet recherché.
– La plupart des requêtes sont courtes (moins de trois termes).
– Ceci est valable tant pour la recherche web, dans les catalogues de bibliothèque et les bases de données.
– Résultats des requêtes sont trop larges et vastes.
– Ainsi, les utilisateurs veulent que les outils leur permettent d’explorer de grandes quantités d’information en partant de simples requêtes par mots-clés.
– Avantages de l’interface à facettes :
- Peut raffiner les résultats,
- Préciser les requêtes vagues;
- Augmenter la vitesse de recherche;
- Présenter plus de résultats pertinents;
- Augmente la satisfaction.
– Facettes peuvent être conçues à partir de plusieurs types de métadonnées :
- Nom de l’auteur, sujet, genre, langue, emplacements (géographique ou bibliothèque), type de média, format, disponibilité.
– Deux méthodes pour évaluer l’utilisation des interfaces :
Analyse de longue durée [« large-scale log analysis »] :
- Utilise des données stockées par le système de recherche;
- Basé sur les actions directes comme cliquer et saisie de mots.
Étude comparative des utilisateurs :
- Enregistrement fin des activités;
- Tâches complétées;
- Rapports simultanés ou rétrospectifs.
– Plus récemment, utilisation de l’oculométrie [« eye tracking »].
– Analyses de longue durée : Résultats de recherches précédentes.
Facettes utilisées dans 30% des recherches, dans 15 à 18% des requêtes et 34% de toutes les sessions.
Comparaison entre utilisations de facettes entre les bibliothèques académiques (7%) et publiques (16%).
- Hypothèses :
- Plus élevé au public, car les facettes sont présentées sur la page principale et que les facettes décrivent mieux la collection;
- Académique : facettes les plus populaires sont administratives (ex : disponibilité);
Recherche par facettes dans deux catalogues de découverte [« discovery catalogs »] utilisée dans 8 à 10% des cas.
– Études comparatives des utilisateurs : Résultats de recherches précédentes.
- Habituellement de 10 à 35 participants.
- Pour examiner sous différentes perspectives comment les utilisateurs se servent des interfaces.
- Étude sur le temps pour réaliser une tâche [« time on task »] :
Plus de résultats trouvés avec l’interface à facettes, mais pas de différence pour le temps.
Satisfaction plus élevée de l’organisation, précision et convivialité avec les facettes .
- Étude sur la recherche d’images mesurant le nombre d’images pertinentes trouvées :
- Plus de succès et moins de silence avec les facettes.
- Satisfaction : facilité d’utilisation, flexibilité, moins fastidieux, plus intéressant.
Étude dans un environnement administratif sur le temps et la précision de réalisation des tâches :
- Performances comparables, participants ont préféré l’interface traditionnelle.
Étude sur site web académique :
- Plus rapide avec facettes;
- Satisfaction : flexibilité, intérêt, meilleure compréhension du contenu de l’information, pertinence des résultats.
Étude longitudinale (4 semaines) :
- Sélection de facettes comptent pour 34% des actions;
- Utilisation des facettes augmente entre la première et deuxième session;
- Permet des requêtes plus expressives.
Étude sur les items sélectionnés, le nombre de requêtes, etc. :
- Participants exploraient leurs résultats de recherche plus largement;
- Se sentaient plus organisés dans leur recherche;
- Facilite l’accès aux résultats;
Eye-Tracking Studies of Web Search
Études oculométriques sur la recherche web
– Permettent au chercheur de surveiller ce à quoi un utilisateur regarde sur un écran d’ordinateur et sur une page web.
– Fournit des données objectives qui complètent les autres approches sur l’utilisation de l’interface.
– Fixation :
- Période où l’œil est fixe sur une partie de l’écran (lecture).
- Fréquences, durées et séquences sont interprétées pour déterminer l’activité cognitive.
– Études sur les interfaces de recherche qui ont utilisé cette méthode :
Étude sur l’interaction des utilisateurs avec présentation traditionnelle des résultats;
Étude pour évaluer des éléments de design spécifiques d’applications de portails web;
Étude sur l’effet de fragments de différentes longueurs dans les résultats de recherche :
- De plus longs fragments améliorent la performance sur les tâches informationnelles et réduisent la performance sur les tâches de navigation.
Précédente étude des auteurs sur le temps relatif passé à regarder l’interface :
- Différences de temps passé à regarder les facettes selon une tâche exploratoire (27%) ou une tâche connue [« known-item task »] (14%).
- Tâche exploratoire : différence d’utilisation des facettes entre la première page vue (41%) et les deuxièmes (24%) et troisièmes pages (22%).
- Questions soulevées :
- Comment la formation affecte l’utilisation de l’interface?
- Avec l’utilisation grandissante des recherches web, est-ce que les utilisateurs commenceraient à utiliser les facettes sans formation?
- A-t-il un lien entre la différence temporelle des pages vues et les étapes de la recherche?
Stages Within the Search Session
Étapes d’une session de recherche
– La recherche est une activité dynamique et durant une seule session un utilisateur peut alterner entre une recherche d’information spécifique et une activité de recherche d’information et de résolution de problèmes de plus haut niveau.
– Les chercheurs ont proposé plusieurs modèles du processus de recherche et d’extraction de l’information.
– Cette revue de littérature met l’accent sur les modèles qui sont liés aux besoins exploratoires et les étapes de recherche.
– Modèles :
- Modèle de White et Roth (2009) :
- Recherche exploratoire dans lequel le chercheur alterne entre des activités de haut niveau (découvrir, apprendre, enquêter) et des activités plus précises (formulation de requête, examen de résultats, extraction de l’information).
- Interaction constante entre le contexte du problème et l’extraction de l’information.
Modèles hiérarchiques ou par couches [« layered »] :
- Mettent l’emphase sur la nature évolutive et contextuelle de la tâche de recherche lorsque le but est de haut niveau;
- But de haut niveau est motivant et met en contexte une tâche de recherche d’information [« information seeking (IS) task »].
Modèles des besoins informationnels dans le contexte exploratoire :
- L’utilisateur n’a pas une définition claire du sujet : il le raffine à travers plusieurs sessions de recherche;
- Mais la distinction entre les étapes de la recherche ne concorde pas avec les différentes sessions : une seule session peut entraîner plusieurs changements dans les besoins informationnels.
Modèle de Knight et Spink (2008) :
- Distinction entre modèles comportementaux de recherche d’information et modèles de recherche interactive d’information.
- Les deux types peuvent être utiles pour l’analyse d’une session.
– La Figure 1 présente les éléments des divers modèles applicables à la recherche exploratoire.
Figure 1 – Information Seeking and Interactive Information Retrieval Stages Relevant to an Exploratory Search Session.
– Étapes communes des modèles :
- Tâches de travail de haut niveau qui motive l’utilisateur et fournit le contexte du problème;
- Identification d’un besoin informationnel;
- Sélection d’une source;
- Sous processus pour la formulation et l’exploration de requêtes;
- Examen et différentiation des résultats;
- Extraction de l’information;
- Réflexion et prise de décision au sujet de la session de recherche ou du besoin informationnel de haut niveau;
- Fin.
– L’utilisateur peut alterner entre ces étapes.
– Cette étude vise à comprendre les différences entre les comportements oculaires des participants lorsqu’engagés dans les huit différentes étapes du processus de recherche.
– Construction d’étapes qui peuvent être signifiantes et compréhensibles pour l’utilisateur.
Online Training and Help
Formation et aide en ligne
– Un objectif de cette étude est d’enquêter sur l’utilisation de deux méthodes courantes pour l’utilisation de catalogues de bibliothèques :
- La courte vidéo de formation (1-3 minutes);
- L’aide en ligne contextuelle.
– Revue des pratiques de ces formes de support à l’utilisateur :
- Formation en présentiel est efficace, mais pas facilement disponible pour les usagers en ligne; coûteuse et nécessite de la planification.
- Aide en ligne (instruction directe) et courtes vidéos (apprentissage exploratoire) sont deux alternatives.
- L’expérience préalable de l’usager détermine quelle méthode (directe ou exploratoire) est préférable pour l’apprentissage.
- Recommandations générales pour la formulation des instructions d’apprentissage :
- Information orientée-tâche et hautement structurée pour faire sauver du temps;
- Sujets concis : pas plus de deux « écrans » de longueur;
- Fournir un accès contextuel aux informations.
– Les instructions par ordinateur semblent être aussi efficaces que les formations en présentiel lorsqu’il s’agit de compétences de base.
– Une aide contextualisée est une manière plus efficace d’apprendre que la vidéo, car elle permet à l’usager de choisir par lui-même lorsqu’il a besoin d’instructions, à son rythme et dans un environnement sans pression.
– Il est aussi important que la présentation de l’aide n’obstrue par l’interaction avec l’interface ou distraie l’usager de sa tâche première.
– Vidéos sont des outils importants d’instructions en ligne pour les bibliothèques.
– Exemples d’outils permettant de réaliser des vidéos aisément :
- Camtasia™ (http://www.techsmith.com/camtasia.html)
- Audacity® (http://audacity.sourceforge.net/)
– Recommandations générales pour les tutoriels vidéo :
- Segments très courts (30 à 60 secondes) sur des tâches précises;
- Éviter le matériel d’introduction;
- Look simple et sans but de divertissement;
- Rendre les vidéos facilement repérables sur le site;
- Fournir des liens vers les tutoriels lorsque nécessaire, plutôt que de faire une page tutoriel;
- Placer les éléments les plus importants au début.
Summary
Sommaire
– Cette revue de littérature a situé l’état de la situation dans le domaine de la recherche exploratoire.
The North Carolina State University Faceted Library Catalog Testbed
Banc d’essai sur le catalogue à facettes de la bibliothèque de la North Carolina State University (NCSU)
– Un des objectifs de cette étude : explorer comment les personnes utilisent les facettes dans une recherche exploratoire avec des OPAC [« online public access catalog »].
– Banc d’essai : adapter le catalogue à facettes en ligne de la NCSU.
Figure 2 – Les quatre sections de l’interface de NCSU
– Caractéristiques (voir Figure 2) des quatre sections de l’interface :
- Section Requête [« Query »] :
- Une boîte de recherche pour entre les mots-clés
Section Résultats [« Results »] :
- Résultats de recherche numérotés et présentés au centre;
- À la droite de chaque résultat, bouton « Ajouter au panier » [«Add to Bookbag »] : participants doivent utiliser ce bouton pour indiquer pour chaque tâche les items sélectionnés.
Section Facettes [« Facets »] :
- À gauche : trois facettes (Sujet, Région et Période) dans la section « Raffiner vos résultats »;
- Pour chaque facette, les cinq valeurs principales sont montrées, bouton « Montrer plus » pour voir le reste de la liste.
- Nombre d’items écrit entre parenthèses pour chaque valeur de facette.
Section Fil d’Ariane [« Breadcrumb »] :
- Montre les caractéristiques (mots-clés et facettes) de la recherche en cours;
- Les facettes peuvent être enlevées en cliquant sur le X.
– Ceci est assez standard comme type d’interface (voir http://www.flickr.com/photos/morville/collections/72157603789246885/ pour d’autres exemples de construction)
– Participants dans le groupe contrôle et dans le groupe de la formation vidéo ont utilisé l’interface telle quelle.
– Ajout d’un lien « Qu’est-ce que c’est? » [« What’s This? »] dans la section des Facettes pour les participants dans le groupe d’aide en ligne (voir Figure 3).
Figure 3 – Ajout du bouton d’aide en ligne
Development of a Grounded Set of Exploratory Search Tasks
Développement d’une série de tâches de recherche exploratoire
– Six tâches basées sur des situations réelles.
– Sujets trouvés dans la base de données des requêtes d’utilisateurs réels de la bibliothèque et sélectionnés d’après les critères suivants :
- Chaîne d’interrogation [« query string »] associée à la consultation de multiples pages;
- Utilisation des facettes (une fois ou plus);
- Interaction avec les résultats et/ou reformulations des requêtes;
- Recherche de plusieurs items.
– Puis les sujets sont mis en contexte dans un scénario de haut niveau (écriture d’un article universitaire).
– Ce scénario adapté aux participants, qui sont des étudiants universitaires de premier cycle.
– Les tâches ont été testées dans le catalogue de NCSU dans le but de :
- Clarifier la formulation des tâches;
- S’assurer que les tâches ne sont pas trop faciles (se qualifient comme exploratoires);
- S’assurer que l’usage des facettes bénéficie à la tâche.
– Puis modifiées en conséquence.
– Les tâches ont ensuit été évaluées avec un groupe de prétest.
– Exemple de tâche :
- « Imaginez que vous êtes inscrit au cours « Féminisme aux États-Unis ». Vous devez réaliser un papier sur un aspect du mouvement féministe étasunien, mais n’avez pas décidé du sujet. Utilisez le catalogue pour trouver deux sujets possibles pour votre recherche. Puis utiliser le catalogue pour trouver trois livres pour chaque sujet pour que vous puissiez ainsi choisir le sujet sur lequel écrire. »
Development of a Set of User-Friendly Stages of Search
Développement d’une série d’étapes de recherche conviviales
– Comment l’étape du processus de recherche dans lequel se trouve l’utilisateur influence l’utilisation (à travers l’analyse des mouvements des yeux) des composantes de l’interface?
– But : Demander aux participants d’identifier par eux-mêmes les étapes de recherche à différents moments de l’expérience.
– Moyen : Proposer un modèle pour le processus de recherche d’information accessible et facilement compréhensible.
– Les étapes identifiées dans la Figure 1 ont servi de point de départ :
- Les trois premières étapes (Contexte de haut niveau, Besoin informationnel et Sélection de la source) sont fournies par la tâche et par le système utilisé.
- L’étape de Fin est inutile.
- Ce qui réduit aux cinq étapes suivantes :
Query Terms : Coming Up With Search Terms
Trouver les termes de recherche
– Étape de la formulation initiale de la requête.
– Dimension importante où l’utilisation de facettes d’information peut influencer le processus.
Overview : Getting an Overview of the Results of Your Search
Aperçu des résultats de la recherche
– Étape de compréhension des résultats retournés par la recherche.
– Typiquement, une liste de résultats et de métadonnées présentée dans la section Résultats, mais aussi des facettes dans la section Facettes.
Extracting : Extracting Specific Information From Your Results
Extraction d’informations spécifiques à partir des résultats
– Plusieurs modèles incluent des étapes d’extraction ou de collecte des résultats.
– Examiner la liste de livres et de matériel pour identifier les items pertinents et utiles.
Deciding Next : Deciding What to Do Next
Décision : Que faire ensuite
– Étape basée sur les phases réflexives et la nature itérative des modèles de recherche d’information.
– Utilisateurs doivent analyser ce qui a été fait et formuler leur prochaine action et tactique.
Deciding topic: Deciding on a topic.
Décider du sujet
– Contexte de sélection de sous-sujets et d’identification des livres.
– Étape basée sur le fait que les facettes sont utilisées pour choisir les sujets les plus prometteurs.
Research Questions
Questions de l’étude
– L’objectif global de l’étude est d’améliorer la compréhension de l’effet des facettes sur les actions et tactiques de l’usager lors de tâches de recherche exploratoire dans un catalogue en ligne de bibliothèque.
– Plus précisément : comprendre l’utilisation des composantes de l’interface en examinant le mouvement des yeux (oculométrie).
– Quatre questions de recherche pour examiner des aspects plus spécifiques de cet objectif :
1. Comment le mouvement des yeux diffère selon les différentes composantes de l’interface?
Fréquence et temps passé à regarder les composantes dans un catalogue de bibliothèque à facettes (Sections : Boîte de recherche, Résultats, Facettes et Fil d’Ariane) lors de recherche exploratoire.
- Cela aide à comprendre leur utilisation et leur importance dans le processus de recherche.
– Mesurer, par exemple, combien de temps un usager fixe les facettes pour avoir un aperçu des résultats.
2. Est-ce que le mouvement des yeux diffère lorsqu’il y a eu une formation ou une aide en ligne?
Comparaison de l’utilisation de chacune des composantes principales de l’interface sous trois conditions :
-
- Groupe témoin;
- Avec vidéo de formation de 60 sec.;
- Avec l’aide en ligne.
- Variable indépendante pour cette analyse : environnement de formation / aide.
- Variable dépendante : les données de l’oculométrie.
3. Est-ce le comportement oculaire change durant la session au fur et à mesure que les participants deviennent familiers avec l’interface?
Effet possible d’apprentissage similaire à la formation, plus particulièrement après avoir accompli les six tâches.
- Comparer l’amélioration entre la formation et l’apprentissage autodidacte.
- Exemple : comparer le temps passé à regarder les facettes entre la première et la dernière tâche.
4. Est-ce que les comportements oculaires diffèrent selon les différentes étapes d’une session de recherche?
- Mesure de l’utilisation des différentes composantes de l’interface à travers les différentes étapes.
- Différentes étapes impliquent différents processus cognitifs et interactions avec l’interface.
- Exemple : offrir du support lors de la reformulation de la requête et de la sélection des résultats est important dans le cas de recherches exploratoires où l’utilisateur n’est pas familier avec le sujet.
- Variable indépendante : étape de recherche telle que reportée par les participants durant une session rétrospective.
- Variable dépendante : les données de l’oculométrie.
Methodology
Méthodologie
Overview
Aperçu
– Expérience en laboratoire avec 18 participants divisés en trois groupes qui ont accompli les six tâches.
– Enregistrement des mouvements oculaires tout au long.
– Après chaque tâche, les participants ont rempli un questionnaire sur leur expérience.
– Aussi, technique de rappel par stimulation rétrospective [« retrospective stimulated recall technique »] :
- Après avoir réalisé les tâches, montrer aux participants les enregistrements vidéo de leurs mouvements oculaires.
- Puis leur demander d’indiquer les étapes de recherche dans le vidéo.
Participants
18 étudiants universaires de première année : 8 hommes et 10 femmes.
Voir Figure 4 pour l’âge des participants, la fréquence d’utilisation de recherche en ligne et de catalogues de bibliothèque et l’évaluation des compétences de recherche.
Figure 4 – Caractéristiques des participants
Experimental Design
Conception de l’expérience
– Nombre égal de participants assigné à trois groupes :
- Pas de formation (groupe témoin)
- Formation vidéo de 60 secs;
- Pas de formation, mais aide en ligne dans l’interface (lien vers page web).
– Information équivalente entre l’aide en ligne et la formation
– Six tâches de recherche exploratoire : les participants devaient sélectionner dans un panier virtuel [« book bag »] les livres sélectionnés.
– Ordre des tâches était contrebalancé entre les groupes pour mesurer l’effet de familiarisation.
Procedure
Procédure
– Session d’une heure et demie environ.
– Compensation financière de 15 $.
– Chaque tâche de recherche était présentée (description et confirmation verbale de la compréhension de la tâche).
– Temps alloué de 6 minutes par tâche de recherche, plusieurs participants terminaient avant.
– Après chaque tâche, un questionnaire était rempli : noter les huit attributs suivants sur une échelle de 1 à 5 :
- Êtes-vous familier avec ce sujet?
- Quel était le niveau de difficulté de la tâche?
- Êtes-vous sûr d’avoir réussi la tâche?
- À partir des résultats trouvés, à quelle fréquence avez-vous changé d’idée sur ce que vous cherchiez?
- Êtes-vous intéressé par le sujet?
- Est-ce le genre de sujet que vous rechercheriez vous-même?
- À quel point êtes-vous convaincu que l’information nécessaire pour accomplir la tâche existe?
- À quel point êtes-vous convaincu que vous compreniez ce qu’il fallait faire dans cette tâche?
– Tâches de recherche exploratoire sont par nature ambigües et incertaines, il n’y a donc pas une seule bonne réponse. Les réponses des usagers aident ainsi à comprendre l’expérience vécue.
– Après avoir accompli les six tâches, une liste des cinq étapes de recherche avec description était présentée aux usagers. Ils devaient ensuite, à partir de l’enregistrement vidéo ralenti de leurs deux dernières recherches (étant celles dont ils se souviennent le plus), verbaliser lorsqu’ils changent d’étape.
– Pour finir, les participants devaient remplir un questionnaire additionnel pour les données statistiques.
Data Collection
Collecte des données
– Outils de collecte :
- Système de suivi oculaire : Tobii T120;
- Fichiers journaux du serveur NCSU pour le banc d’essai;
- Questionnaire post-tâches;
- Rapports rétrospectifs verbaux (doivent être faits tout de suite après les tâches pour une plus grande efficacité).
Data Analysis
Analyse des données
Independent measures
Variables indépendantes
– Questions de recherche (QR) et variables :
QR1. Comment le mouvement des yeux diffère selon les différentes composantes de l’interface?
- Composantes de l’interface comme variables indépendantes.
- Opérationnalisation des variables en définissant des régions d’intérêt [« areas of interest (AOIs) »] sur l’écran et utilisation d’un logiciel d’analyse.
QR2. Est-ce que le mouvement des yeux diffère lorsqu’il y a eu une formation ou une aide en ligne?
- Exemple : y a-t-il des différences d’utilisation des régions d’intérêt selon les trois groupes/conditions.
- Variable indépendante : groupes / conditions.
QR3. Est-ce le comportement oculaire change durant la session au fur et à mesure que les participants deviennent familiers avec l’interface?
- Variable indépendante : ordre de présentation des tâches.
- Sont contrebalancées entre les groupes.
QR4. Est-ce que les comportements oculaires diffèrent selon les différentes étapes d’une session de recherche?
- Variable indépendante : Étape identifiée par les participants
Dependent measures : Gaze behavior metrics
Variables dépendantes : mesures du comportement oculaire
– Un logiciel d’analyse des données oculaires a été utilisé pour identifier les fixations et sections de l’interface.
– En tenant compte de trois mesures :
- Nombre de fixations : Combien de fois l’utilisateur a-t-il fixé les quatre sections?
- Durée totale des fixations : Combien de temps au cours d’une tâche de recherche l’utilisateur a-t-il fixé les quatre sections?
- Durée de fixation des sections : Combien de temps l’utilisateur a-t-il fixé telle ou telle section?
Analysis of the research questions
Analyse des questions de recherche
– Pour les trois premières questions de recherche (QR 1 à 3) :
- Analyses de variance [« analyses of variance (ANOVAs) »] des effets des variables indépendantes sur les variables dépendantes (mesures oculaires).
– Pour la question 4 (QR4) :
- Collecte de données sur les étapes de recherche pour deux sessions par participant.
- À cause de la nature exploratoire de cette section d’analyse et pour certaines étapes il y avait un nombre restreint de données, l’analyse des données a été faite avec des statistiques descriptives.
Results
Résultats
Task Perceptions and Differences
Perceptions et différences des tâches
– Comprendre les différences qui peuvent exister par rapport plutôt aux tâches qu’aux effets des variables principales.
– Différences des tâches selon deux dimensions :
- Mesures des comportements oculaires;
- Analyse des réponses au questionnaire « post-tâches ».
Analysis of the effect of task on gaze behavior metrics
Analyse des effets des tâches sur le comportement oculaire
– Examen des résultats de trois analyses de variance pour vérifier les effets des tâches.
– Les tâches, régions d’intérêt [« AOI »], conditions expérimentales et interactions sont incluses dans ces modèles d’analyse de variance.
– Résultats :
- Les tâches ou les interactions impliquant les tâches n’ont pas d’effet déterminant sur les trois mesures oculaires.
Analysis of the posttask questionnaire responses
Analyse des réponses du questionnaire post-tâches
– Analyses des réponses aux huit questions post-tâches (voir section Procédure précédente).
– But de l’analyse : mettre en perspective les différences de perception des participants après la réalisation de chaque tâche.
– Résultats :
- Les tâches ont un effet significatif sur les réponses aux questions concernant la familiarité, difficulté de la tâche, intérêt au sujet, représentativité du sujet et confiance que l’information désirée est disponible.
- Pas d’effet sur la confiance dans la capacité de réussir la tâche, sur le changement d’objectif durant la tâche et sur la certitude qu’ils comprennent la tâche.
Differences Based on Areas of Interest AOI (RQ1)
Analyse des différences basées sur les régions d’intérêt (QR1)
– Pour les trois mesures dépendantes (nombre de fixations, fixations totales et durée du regard), des effets significatifs des régions d’intérêt ont été trouvés.
– Résultats :
- Nombre de fixations, résultats en ordre croissant : Résultats, Facettes, Fil d’Ariane et Boîte de recherche.
- Résultats similaires pour les fixations totales et la durée du regard.
Effects of Training/Online Help (RQ2)
Effets de la formation et de l’aide en ligne (QR2)
– Effets des conditions expérimentales (groupes contrôle, formation vidéo et aide en ligne) sur les comportements oculaires.
– Comment les formations affectent ces comportements dans chaque région d’intérêt.
– Résultats :
- Pour la section des Facettes : les trois mesures oculaires étaient significativement plus élevées avec la formation vidéo qu’avec les autres conditions.
- Pour la section Fil d’Ariane : le nombre de fixations et les fixations totales étaient significativement plus hauts avec la formation vidéo qu’avec les autres conditions.
- Pour la section résultat : Durée du regard moins long avec la formation qu’avec le groupe témoin et le groupe d’aide en ligne (mais différence moins importante).
Interface Familiarity (RQ3)
Familiarisation avec l’interface (QR3)
– Effet de la familiarisation sur le comportement oculaire.
– Inclusion de la position des tâches comme variables indépendantes.
– Résultat :
- Pas d’effet significatif de l’ordre de présentation des tâches sur les trois mesures oculaires.
– Effet de la familiarisation (ordre de présentation des tâches) sur chaque région d’intérêt.
– Résultat :
- Pas d’effet significatif observé pour les régions de l’interface.
– Conclusion : les participants n’augmentent pas leur utilisation des facettes à travers une série de six tâches.
Stage of Search (RQ4)
Étapes de recherche (QR4)
– Différences dans le comportement oculaire à travers les étapes du processus de recherche (voir section précédente : Développement d’une série d’étapes de recherche conviviales).
– Résultats (voir Figure 5) :
- Participants passent le plus clair de leur temps dans l’étape d’Extraction (71.21 secondes).
- Autres étapes : durées entre 21 et 34 secondes, différence de 26 à 50 secs avec l’étape d’Extraction.
- Étapes d’Extraction et d’Aperçu : participants ont passé 75% de leur temps sur la section Résultats et 15% sur les Facettes.
- Étape de Termes de requête : 25% du temps sur les Résultats et 35% sur les Facettes.
- Étapes de Décision : 50-55% sur les Résultats et 25-35% sur les Facettes.
– La Figure 5 présente le nombre de fixations pour chaque étape. Le scénario est similaire pour la durée des fixations.
Figure 5 – Nombre de fixations moyennes pour chaque région d’intérêt par étapes de recherche.
Limitations
Limites de la recherche
– Motivation pour la tâche : pas de participants avec un intérêt particulier (par ex. : Histoire).
– Tâches sélectionnées pour correspondre de près aux facettes fournies par le système : comportement oculaire peut différé lorsque tâches non correspondantes.
– Définition opérationnelle de la recherche exploratoire : compte pour seulement quelques attributs possibles. Différences entre les tâches en ce qui a trait à la familiarité, intérêt et représentativité auraient pu contribuer aux différences observées.
– Interface simplifiée : trois facettes utilisées par rapport à huit dans la version originale de l’interface et quelques fonctionnalités retirées. Comportement peut varier dans un environnement plus complexe.
Discussion
RQ1 : How Does Gaze Behavior Differ Among the Major Interface Components?
QR1 : Comment le mouvement des yeux diffère selon les différentes composantes de l’interface
– Différences consistantes dans le comportement oculaire à travers les régions d’intérêt de l’interface.
– Section des Résultats :
- Le plus de fixations, plus longue durée totale de fixation et plus longue durée du regard, indiquant son importance relative dans le processus de recherche.
– Sections du Fil d’Ariane et de la Boîte de recherche :
- Valeurs des mesures oculaires significativement plus basses que pour les Facettes et les Résultats.
– Section des Facettes :
- Plus bas que section Résultats, mais plus haut que Fil d’Ariane et Boîte de recherche.
- Pour les participants non entrainés (conditions de contrôle et d’aide en ligne) : Facettes comptent pour 9 à 17% de l’utilisation totale de l’interface. Les utilisateurs regardent les facettes sans nécessairement cliquer dessus.
- Pour les participants entrainés (avec formation) : Facettes comptent pour 22 à 29% de l’utilisation totale et les Résultats pour 55-58%.
– Ces résultats illustrent le rôle important joué par les facettes en lien avec les autres composantes (sections) de l’interface.
– Renforce l’idée que les facettes sont utilisées parfois de manière passive, pour en apprendre plus sur la collection.
RQ2: Does Gaze Behavior Differ Within Each Interface Component When Training or Online Help Is Provided?
QR2. Est-ce que le mouvement des yeux diffère lorsqu’il y a eu une formation ou une aide en ligne?
– La formation vidéo a un effet sur l’utilisation de l’interface.
– Participants utilisent plus les facettes et plus de fixations oculaires sur le Fil d’Ariane.
– Durée moins importante de la fixation sur la section des Résultats.
– Pas de différence significative avec l’aide en ligne : les liens n’ont pas été utilisés par les utilisateurs.
– D’autres éléments pourraient être conçus pour améliorer le système d’aide en ligne : éléments colorés, police de caractères plus gros, fenêtres « popup » ou notes adhésives [« sticky notes »].
– Conclusion : Lorsque les utilisateurs sont informés des facettes, ils les utilisent. Lorsqu’ils ne sont pas informés, ils les utilisent aussi, mais moins.
RQ3: Does Gaze Behavior Change as Searchers Become Familiar With the Interface During the Session?
QR3. Est-ce le comportement oculaire change durant la session au fur et à mesure que les participants deviennent familiers avec l’interface?
– Pas de changements significatifs dans le comportement oculaire dans les régions de l’interface au cours de la session.
– Pas d’augmentation de l’utilisation des facettes au cours des six tâches.
– Renforce l’idée de formation pour encourager les utilisateurs à utiliser les facettes.
RQ4: Does Gaze Behavior Differ at Different Stages of a Search Session?
QR4. Est-ce que les comportements oculaires diffèrent selon les différentes étapes d’une session de recherche?
– Section Résultats plus regardée dans les étapes d’Extraction et d’Aperçu.
– Étapes Termes de recherche et Décisions : utilisation plus élevée des facettes :
– Participants utilisent les facettes pour les aider à identifier les termes de recherche et à prendre des décisions, fournissant de l’information additionnelle (support cognitif aux prises de décisions).
– Facettes moins utilisées dans l’étape de l’Aperçu : les facettes sont plus utiles à certains points spécifiques du processus de recherche.
– Corrobore les résultats de plusieurs études :
- Usagers font plus de contrôle de pertinence [« relevance feedback (RF) »] implicite au milieu de la recherche et plus de contrôle de pertinence explicite à la fin.
- Suggestions de requêtes sont utiles pour soulever des idées : les facettes servent d’inspiration pour trouver de nouvelles avenues de recherche.
Conclusions
Practical Implications for Libraries
Implications pratiques pour les bibliothèques
Un peu de formation augmente l’utilisation des facettes.
Donne l’opportunité à l’utilisateur d’appliquer différentes tactiques pour aider à raffiner et rendre plus rapide leur recherche, améliorer la précision de leurs requêtes et filtrer les résultats les plus pertinents.
Sans encouragement extérieur, les usagers n’adapteront pas aussi rapidement leurs tactiques pour tirer avantage des facettes.
Bibilothèques devraient fournir une brève formation sur les interfaces de recherche à facettes.
Un seul lien (Qu’est-ce que c’est?) n’est pas suffisant pour que les usagers lisent les instructions, mais un court vidéo oui.
Défi pratique : Rendre les usagers conscients de la valeur tactique des facettes.
Implications for Designers
Implications pour les concepteurs
– Les concepteurs devraient considérer quels éléments spécifiques pourraient aider les usagers à des points spécifiques.
– Exemples :
- Lors de l’étape de décision, quels types de facettes pourraient être utiles?
- Des données additionnelles ou une présentation alternative pourraient-elles être aidants à des moments spécifiques de décision?
– Les concepteurs devraient continuer à explorer des manières de rendre les utilisateurs avertis de l’existence des facettes, et de les informer de la manière des appliquer pour satisfaire leurs besoins d’information.
Implications for Researchers
Implications pour les chercheurs
– Ces résultats confirment et élargissent les découvertes empiriques sur les facettes en bibliothèque.
– Confirment le rôle des facettes dans un contexte large.
– Fournissent des indications que les utilisateurs se servent de plusieurs parties de l’interface selon les différentes étapes de leurs recherches.
– Suggèrent plusieurs hypothèses quant à l’utilisation de facettes durant les différentes étapes d’une recherche, en particulier durant l’étape de Décision.
– L’utilisation de vidéo ralentie de moitié pour les rapports rétrospectifs est un bon moyen d’enregistrer des annotations temporelles.
– Les modèles de nombre de fixations, fixations totales et durée du regard étaient très similaires.
– Des recherches additionnelles devraient examiner si le comportement oculaire est corrélé au comportement en terme de clics.
– Des études longitudinales pourraient aider à déterminer si les usagers changent leurs tactiques d’utilisation des facettes sur une longue période (semaines ou mois).
Summary of Contributions
– Les résultats fournissent une preuve empirique du comportement des utilisateurs avec les catalogues de bibliothèque à facettes et suggèrent des différences dans leur utilisation selon les étapes de la session de recherche.
– Les résultats confirment la valeur d’une courte formation.
Références sélectionnées
Andrade, O.D., Bean, N., & Novick, D.G. (2009). The macro-structure of use of help. In Proceedings of the 27th ACM International Conference on Design of Communication (SIGDOC ’09) (pp. 143–150). New York : ACM Press.
Bates, M. (1989). The design of browsing and berrypicking techniques for the online search interface. Online Review, 13(5), 407–424.
Bates, M. (1990). Where should the person stop and the information search interface start. Information Processing and Management, 26(5), 575–591.
Belkin, N.J. (1996). Intelligent information retrieval: Whose intelligence. In Proceedings of the Fifth International Symposium for Information Science (ISI ’96) (pp. 25–31). Konstanz: Universtaetsverlag Konstanz.
Belkin, N., Cool, C., Stein, A., & Thiel, U. (1995). Cases, scripts, and information seeking strategies: On the design of interactive information retrieval systems. Expert Systems with Applications, 9(3), 379–395.
Blomgren, L.,Vallo, H., & Bystrom, K. (2004). Evaluation of an information system in an information seeking process. In R. Heery & L. Lyon (Eds.), Proceedings of the 8th International European Conference on Research and Advanced Technology for Digital Libraries (ECDL 2004) (pp. 57–68). Heidelberg : Springer-Verlag.
Borlund, P. (2003). The IIR evaluation model: A framework for evaluation of interactive information retrieval systems. Information Research, 8(3), paper 152. Retrieved from http://informationr.net/ir/8-3/paper152.html
Borlund, P., & Schneider, J. (2010). Reconsideration of the simulated work task situation: A context instrument for evaluation of information retrieval interaction. In Proceedings of the Third Symposium on Information Interaction in Context (IIiX ’10) (pp. 155–164). NewYork: ACM Press.
Bowles-Terry, M., Hensley, M., & Hinchliffe, L. (2010). Best practices for online video tutorials: A study of student preferences and understanding. Communications in Information Literacy, 4(1). Retrieved from http://www.comminfolit.org/index.php?journal=cil&page=article&op=view&path[]=Vol4-2010AR1&path[]=112.
Byström, K., & Järvelin, K. (1995). Task complexity affects information seeking and use. Information Processing and Management, 31(2), 191–213.
Capra, R., Marchionini, G., Oh, J.S., Stutzman, F., & Zhang, Y. (2007). Effects of structure and interaction style on distinct search tasks. In Proceedings of the 2007 Conference on Digital Libraries (JCDL 2007) (pp. 442–451). NewYork: ACM Press.
Carroll, J.M., & van der Meij, H. (1996). Ten misconceptions about minimalism. IEEE Transactions on Professional Communication, 39(2), 72–86.
Chen, H., & Dumais, S. (2000). Bringing order to the web: Automatically categorizing search results. In Proceedings of the SIGCHI conference on Human factors in computing systems (CHI ’00) (pp. 145–152). New York : ACM Press.
Choo, C.W., Detlor, B., & Turnbull, D. (2000). Web work: Information seeking and knowledge work on the world wide web. Dordrecht, The Netherlands: Kluwer.
Diao, M., Mukherjea, S., Rajput, N., & Srivastava, S. (2010). Faceted search and browsing of audio content on spoken web. In Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM ’10) (pp. 1029–1038). NewYork: ACM Press.
Ellis, D. (1989). A behavioural approach to information retrieval design. Journal of Documentation, 45(3), 171–212.
Ellis, D., Cox, D., & Hall, K. (1993). A comparison of the information seeking patterns of researchers in the physical and social sciences. Journal of Documentation, 49(4), 356–369.
Ericsson, K.A., & Simon, H.A. (1993) Protocol analysis: Verbal reports as data. Cambridge, MA: MIT Press.
Fagan, J. (2010). Usability studies of faceted browsing: A literature review. Information Technology and Libraries, 29(2), 58–66.
Ford, N., Miller, D., & Moss, N. (2001). The role of individual differences on Internet searching: An empirical study. Journal of American Society of Information Science, 52(12), 1049–1066.
Goldberg, J., Stimson, M., Lewenstein, M., Scott, N., & Wichansky, A. (2002). Eye tracking in web search tasks: Design implications. In Proceedings of the 2002 Symposium on Eye Tracking Research and Applications (ETRA 2002) (pp. 51–58). NewYork : ACM Press.
Graf,W., & Krueger, H. (1989). Ergonomic evaluation of user-interfaces by means of eye-movement data. In M.J. Smith & G. Salvendy (Eds.),Work with computers: Organizational, management, stress and health aspects (pp. 659–665). Amsterdam: Elsevier.
Grayling, T. (2002). If we build it, will they come? A usability test of two browser-based embedded help systems. Technical Communication, 49(2), 193–209.
Haas, S.W., Brown, R.T., Cao, L., & Wilbur, J.D. (2005, May). Evaluation of the GovStat Statistical Interactive Glossary: Implications for just-in-time help. Paper presented at the National Conference on Digital Government Research, Atlanta, GA. Retrieved from http://ils.unc.edu/govstat/papers/haasdg05-poster.pdf
Hackos, J.T., & Stevens, D.M. (1997). Standards for online communication. NewYork : Wiley.
Harris, R.A., & Hosier, W.J. (1991). A taxonomy of online information. Technical Communication, 38(2), 197–210.
He, D., Brusilovsky, P.,Ahn, J., Grady, J., Farzan, R., Peng,Y., . . . Rogati, M. (2008). An evaluation of adaptive filtering in the context of realistic taskbased information exploration. Information Processing and Management, 44(2), 511–533.
Hearst, M. (2009). Search user interfaces. NewYork: Cambridge University Press. Retrieved from http://searchuserinterfaces.com/
Henderson, L., &Tallman, J.I. (2006). Stimulated recall and mental models : Tools for teaching and learning computer information literacy. Lanham, MD: Scarecrow Press.
Hsieh-Yee, I. (1993). Effects of search experience and subject knowledge on online search behavior: Measuring the search tactics of novice and experienced searchers. Journal of the American Society for Information Science, 44, 161–174.
Ingwersen, P. (1996). Cognitive perspectives of information retrieval interaction : Elements of a cognitive IR theory. Journal of Documentation, 52(1), 3–50.
Ingwersen, P., & Järvelin, K. (2005). The turn: Integration of information seeking and retrieval in context. NewYork: Springer-Verlag.
Jansen, B.J., Booth, D., & Smith, B. (2009). Using the taxonomy of cognitive learning to model online searching. Information Processing & Management, 45, 643–663.
Jansen, B.J., Spink, A., & Saracevic, T. (2000). Real life, real users, and real needs: A study and analysis of user queries on the web. Information Processing and Management, 36(2), 207–227.
Järvelin, K., & Ingwersen, P. (2004). Information seeking research needs extension toward tasks and technology. Information Research, 10(1), paper 212.
Kammerer, Y., Nairn, R., Pirolli, P., & Chi, E. (2009). Signpost from the masses: Learning effects in an exploratory social tag search browser. In Proceedings of the 27th International Conference on Human Factors in Computing Systems (CHI ’09) (pp. 625–634). New York: ACM Press.
Kim, K.S. (2000). Individual differences and information retrieval: Implications on web design. In J. Mariani & D. Harman (Eds.), Proceedings of the 6th Conference on Content-Based Multimedia Information Access (RIAO 2000) (pp. 885–893). Paris: C.I.D.
Knight, S.A.,&Spink,A. (2008). Toward a web search information behavior model. In A. Spink & M. Zimmer (Eds.), Web search: Multidisciplinary perspectives (pp. 209–234). Heidelberg: Springer-Verlag.
Kuhlthau, C.C. (1991). Inside the search process: Information seeking from the user’s perspective. Journal of the American Society for Information Science, 42(5), 361–371.
Kelly, D., Cushing, A., Dostert, M., Niu, X., & Gyllstom, K. (2010). Effects of popularity and quality on the usage of query suggestions during information search. In Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI 2010) (pp. 45–54). NewYork : ACM Press.
Kelly, D., Gyllstrom, K., & Bailey, E.W. (2009). A comparison of term and query suggestion features for interactive searching. In Proceedings of the 32th Annual ACM International Conference on Research and Development in Information Retrieval (SIGIR ’09) (pp. 371–378). New York : ACM Press.
Kules, B., & Capra, R. (2008, October). Creating exploratory tasks for a faceted search interface. Paper presented at the Second Workshop on Human-Computer Interaction (HCIR 2008), Redwood, WA. Retrieved from http://faculty.cua.edu/kules/Papers/KulesCapra-20081002f.pdf
Kules, B., Capra, R., Banta, M., & Sierra, T. (2009). What do exploratory searchers look at in a faceted search interface? In Proceedings of the 9th ACM/IEEE-CS Joint Conference on Digital libraries (JCDL 2009) (pp. 313–322). NewYork: ACM Press.
Kules, B.,&Shneiderman, B. (2008). Users can change their web search tactics : Design guidelines for categorized overviews. Information Processing & Management, 44(2), 463–484.
Lau, E.P., & Goh, D.H. (2006). In search of query patterns: A case study of a university OPAC. Information Processing and Management, 42(5), 1316–1329.
Marchionini, G. (1995). Information seeking in electronic environments. NewYork: Cambridge University Press.
Marchionini, G. (2006). Exploratory search: from finding to understanding. Communications of the ACM, 49(4), 41–46.
Mi, J., &Weng. C. (2008). Revitalizing the library OPAC: Interface, searching, and display challenges. Information Technology and Libraries, 27(1), 5–22
Millen, D., Yang, M., Whittaker, S., & Feinberg, J. (2007). Social bookmarking and exploratory search. In L. Bannon, I. Wagner, C. Gutwin, R. Harper, & K. Schmidt (Eds.), Proceedings of Tenth European Conference on Computer-Supported Cooperative Work (ECSCW 2007) (pp. 21–40). London: Springer Verlag.
Navarro-Prieto, R., Scaife, M., & Rogers, Y. (1999). Cognitive strategies in web searching. In Proceedings of the 5th Conference on Human Factors and the Web (pp. 43–56). Gaithersburg, MD : National Institute of Standards and Technology. Retrieved from http://zing.ncsl.nist.gov/hfweb/proceedings/navarro-prieto/
Niu, X., & Hemminger, B. (2010). Beyond text querying and ranking list : How people are searching through faceted catalogs in two library environments. Proceedings of the merican Society for Information Science and Technology, 47(1), 1–9.
Pratt, W., Hearst, M., & Fagan, L. (1999). A knowledge-based approach to organizing retrieved documents. In Proceedings of the Sixteenth National Conference on Artificial Intelligence and the Eleventh Innovative Applications of Artificial Intelligence Conference Innovative Applications of Artificial Intelligence (AAAI ’99/IAAI ’99) (pp. 80–85). Menlo Park, CA: American Association for Artificial Intelligence.
Rethlefsen, M., Piorun, M., & Prince, J. (2009). Teaching Web 2.0 technologies using Web 2.0 technologies. Journal of the Medical Library Association, 97(4), 253–259.
Saracevic, T. (2007). Relevance : A review of the literature and a framework for thinking on the notion in information science. Part II: Nature and manifestations of relevance. Journal of the American Society for Information Science and Technology, 58(13), 1915–1933.
Shirk, H.N. (1988). Technical writers as computer scientists: The challenges of online documentation. In E. Barrett (Ed.), Text, context, and hypertext : Writing with and for the computer (pp. 311–325). Cambridge, MA: MIT Press.
Spink, A. (1997). Study of interactive feedback during mediated information retrieval. Journal of the American Society for Information Science, 48(5), 382–394.
Spink, A., & Jansen, B.J. (2010).Web search: Public searching on the Web. Heidelberg: Springer.
Tang, M.C. (2005). Browsing and searching in a faceted information space : A longitudinal study of PubMed users’ interactions with a novel display tool (Unpublished doctoral dissertation). Rutgers University, New Brunswick, NJ.
Tunkelang, D. (2006, August). Dynamic category sets: An approach for faceted search. Paper presented at the ACM SIGIR 2006 Workshop on Faceted Search. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.83.4202&rep=rep1&type=pdf
Tunkelang, D. (2009). Faceted search. San Rafael, CA: Morgan&Claypool.
Uddin, M., & Janecek, P. (2007). Performance and usability testing of multidimensional taxonomy in web site search and navigation. Performance Measurement and Metrics, 8(1), 18–33.
Vakkari, P. (1999). Task complexity, problem structure and information actions—Integrating studies on information seeking and retrieval. Information Processing and Management, 35(6), 819–837.
Vakkari, P. (2001a). A theory of the task-based information retrieval process : A summary and generalisation of a longitudinal study. Journal of Documentation, 57(1), 44–60.
White,R.W.,Kules, B., Drucker, S.M.,&Schraefel, M.C. (2006). Supporting exploratory search. Communications of the ACM, 49(4), 36–39.
White, R.W., & Roth, R. (2009). Exploratory search: Beyond the query response paradigm. San Rafael, CA: Morgan & Claypool.
White, R.W., Ruthven, I.,&Jose, J.M. (2005). A study of factors affecting the utility of implicit relevance feedback. In Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2005) (pp. 35–42). NewYork: ACM Press.
Wilson, P. (1973). Situational relevance. Information Storage and Retrieval, 9, 457–469.
Wilson, M., & Schraefel, M.C. (2008). A longitudinal study of exploratory and keyword search. In Proceedings of the 8thACM/IEEE-CS Joint Conference on Digital Libraries (JCDL 2008) (pp. 52–56). New York: ACM Press.
Yang, S.,&Hofmann, M. (2010). The next generation library catalog : A comparative study of the OPACs of Koha, Evergreen, and Voyager. Information Technology and Libraries, 29(3), 141–150.
Yee, K.-P., Swearingen, K., Li, K., & Hearst, M. (2003). Faceted metadata for image search and browsing. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2003) (pp. 401–408). New York: ACM Press.
Zhang, J., & Marchionini, G. (2005). Evaluation and evolution of a browse and search interface: Relation browser. In Proceedings of the 2005 National Conference on Digital Government Research. ACM International Conference Proceeding Series (Vol. 89, pp. 179–188). New York: ACM Press.
Zhang, L., Watson, E., & Banfield, L. (2007). The efficacy of computer assisted instruction versus face-to-face instruction in academic libraries : A systematic review. Journal of Academic Librarianship, 33(4), 478–484.
Zhang, Y., & Salaba, A. (2007). User research and testing of FRBR prototype systems. Proceedings of the American Society for Information Science and Technology, 44(1), 1–5.