tests d’usage de la plate-forme isicil à l’ademe

Information Semantic Integration through Communities of Intelligence online

Emetteur Rubiela Silva Olivares

Relecteurs Claire Prendleloup, Alain Giboin

Date 06/09/2012

Référence ISICIL-DOC-livrable-final-Tests-ADEME

Version 1.4

Destinataires Membres ISICIL

Projet ISICIL :

Intégration Sémantique de l'Information par des Communautés d'Intelligence en Ligne

Appel ANR CONTINT 2008 ANR-08-CORD-011-05

03/09/2012

Tests d’usage de la plate-forme ISICIL à l’ADEME EVALUATION SOCIO-ERGONOMIQUE

Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)

2

Tests d’usage de la plate-forme

ISICIL à l’ADEME

EVALUATION SOCIO-ERGONOMIQUE

Table des matières 1 Introduction .............................................................................................................. 5

2 Tests d’évaluation d’ISICIL par un échantillon représentatif de membres de

l’ADEME ......................................................................................................................... 6

2.1 Objectifs............................................................................................................. 6

2.2 Méthode............................................................................................................. 6

2.2.1 Utilisateurs : .............................................................................................................................. 6

2.2.2 Procédure : ................................................................................................................................. 8

2.3 Résultats ............................................................................................................ 8

2.3.1 Motivations à utiliser ISICIL .................................................................................................... 8

2.3.2 Évaluation de l’utilité et des usages collaboratifs ................................................................... 11

2.3.3 Évaluation de l’utilisabilité d’ISICIL ....................................................................................... 11

3 Étude post-tests : Evaluation d’ISICIL par la communauté Recherche de

l’ADEME ........................................................................................................................ 12

3.1 Objectifs............................................................................................................ 12

3.2 Méthode............................................................................................................ 13

3.2.1 Utilisateurs : ............................................................................................................................ 13

3.2.2 Procédure ................................................................................................................................. 13

3.3 Résultats ........................................................................................................... 14

4 Mise en relation des entretiens avec l’évaluation experte réalisée à partir des

heuristiques pour collecticiels .......................................................................................16

5 Conclusion ............................................................................................................... 17

6 Perspectives .............................................................................................................19


3

7 Bibliographie .......................................................................................................... 20

8 Annexes .................................................................................................................... 21

8.1 Annexe 1 : Accompagnement de l’expérimentation d’un outil de veille

collaborative ............................................................................................................... 21

8.2 Annexe 2 : Fiches des entretiens...................................................................... 21

8.3 Annexe 3 : Evaluation heuristique classique d’ISICIL ................................... 22

8.4 Annexe 4 : Heuristiques pour collecticiels et évaluation d’ISICIL en fonction

de ces heuristiques .................................................................................................... 22


4

Avant-propos aux deux livrables sur les tests d’usage de la plate-forme ISICIL LA PLATE-FORME ISICIL a fait l’objet de plusieurs tests d’usage dans les deux organisations cibles du projet ISICIL : l’ADEME et Orange Labs. L’objectif de ces tests était d’évaluer l’utilité et l’utilisabilité de la plate-forme ISICIL pour ces deux organisations et de déterminer si un déploiement de la plate-forme pouvait être envisagé dans ces deux organisations à l’issue du projet ISICIL. Ces tests sont présentés dans deux livrables distincts. La raison principale réside dans la différence d’approche des tests prise par chacune des deux organisations. Cette différence peut se caractériser ainsi :

Les tests ADEME ont été conduits dans un esprit de co-conception avec les utilisateurs, ce qui n’a pas été le cas pour les tests Orange Labs.

Les tests Orange Labs ont consisté pour l’essentiel en des évaluations expertes (i.e., des évaluations conduites par un expert, sans utilisateur). Les tests ADEME, en revanche, ont consisté à la fois en des évaluations expertes et en des tests impliquant des utilisateurs ; ces derniers ont été réalisés à partir de scénarios simulant des situations réelles.

Les tests Orange Labs ont porté davantage sur l’utilisabilité de la plate-forme, alors que les tests ADEME ont porté à la fois sur l’utilité et l’utilisabilité. Rappelons qu’un test d’utilité a pour but d’évaluer la capacité de l’outil (de ses fonctionnalités) à assister les tâches des utilisateurs et qu’un test d’utilisabilité a pour but d’évaluer la facilité avec laquelle les utilisateurs peuvent réaliser leurs tâches.

Les tests Orange Labs ont porté essentiellement sur les pratiques individuelles des utilisateurs. Les tests ADEME ont porté à la fois sur les pratiques individuelles et les pratiques collectives des utilisateurs.

Une réflexion, à partir des tests, sur le déploiement possible d’ISICIL est en cours à l’ADEME ; cette réflexion implique des décisionnaires. Aucune réflexion sur le déploiement d’ISICIL n’est envisagée chez Orange Labs.

En un mot, les tests ADEME ont été plus proches des utilisateurs et plus complets que les tests Orange Labs. En cela, ils peuvent être considérés comme plus représentatifs du point de vue d’utilisateurs réels.


5

1 Introduction

Le présent livrable ISICIL rend compte de façon résumée :

- des tests d’ISICIL réalisés avec un échantillon d’Adémiens du 2 mai au 8 juin dans le cadre du projet ANR

- et d’une étude post-tests réalisée dans le but de déterminer l’utilisation effective possible d’ISICIL au sein de la communauté Recherche de l’ADEME (cette étude a consisté en des entretiens avec plusieurs membres de cette communauté).

Les objectifs de l’ADEME, la méthode utilisée et les résultats de chaque intervention, font partie de ce résumé. A la fin un bilan mettant en relation les résultats des évaluations, expérimentations et entretiens est présenté ainsi que les perspectives envisagées à l’ADEME pour la plate-forme ISICIL.


6

2 Tests d’évaluation d’ISICIL par un échantillon représentatif

de membres de l’ADEME1

2.1 Objectifs Cette évaluation a été réalisée pendant la période couverte par le projet ANR, en relation avec les

partenaires du projet. Le but de l’expérimentation à l’ADEME a été de valider la plate-forme

ISICIL à trois niveaux :

Au niveau de son utilité (fonctionnelle), évaluer si la plate-forme est utile pour atteindre

les objectifs/processus métiers, pour accomplir les tâches/fonctions de la Veille.

Au niveau de son utilisabilité, évaluer les trois principaux critères ergonomiques :

efficacité, efficience et satisfaction lors de l’interaction avec la plate-forme.

Au niveau des usages, avec l’analyse des pratiques et les formes de collaboration.

L’ADEME a aussi ses propres objectifs auxquels ISICIL pourrait contribuer. Ceux-ci nous

renvoient à l’utilité d’ISICIL et aux usages collaboratifs :

Valoriser et améliorer l’expertise interne :

Identifier les communautés invisibles.

Mutualiser les ressources humaines et matérielles de l’expertise.

Pallier l’éclatement géographique des personnes.

Encourager la collaboration dans la veille.

2.2 Méthode

2.2.1 Utilisateurs : Un échantillon de 19 Adémiens a participé aux tests. Ces testeurs présentaient l’un des trois profils

utilisateurs suivants : doctorant, ingénieur et documentaliste. Tous les testeurs ont participé de

manière volontaire.

Dans le tableau suivant, les utilisateurs/testeurs sont présentés classés par profil. La colonne

« Utilisateur » indique les initiales des noms des utilisateurs et leur sujet d’étude pour les profils

doctorants, ou leur rôle pour les profils ingénieur et documentaliste. La colonne « Participation aux

expérimentations » présente les types de séances expérimentales auxquelles chaque utilisateur a

participé :

Séances individuelles (SI).

Séances en présentiel (cheminement cognitif guidé) (SPr).

Séances collaboratives (séances en ligne avec plusieurs utilisateurs, via le chat) (SC).

Focus Group (FG).

1 Cette section résume l’étude présentée plus en détails dans le rapport « Accompagnement de l’expérimentation d’un outil de veille collaborative » (voir Annexe 1).


7

Profil d’utilisateur

Utilisateur Spécialité Participation aux expérimentations (*)

Doctorants

AL « Militants et riverains dans la dynamiques des causes environnementales. Approche sociologique des syndromes d'hypersensibilité »

SI, FC

DM « La gestion contractuelle des risques environnementaux » SI, SC, FG MP « Etude des effets respiratoires d’expositions répétées à des aérosols de Np d’oxyde de

manganèse et de fer, par inhalation chez la souris » SI, FG

PL « Limiter les risques de verrouillage technologique. Accès aux connaissances scientifiques et accompagnement de l'innovation dans le développement agricole : Le cas de l'Agriculture de Conservation »

SI, FG

LR « Milieux urbains et ambiances thermiques : Influence de la plantation des arbres sur l'effet de refroidissement de la température de l'air et son impact sur le confort thermique. Cas de villes d’Aix-en-Provence et Marseille »

SI

MO « Développement et mise en place d'une méthode de classification multicritère du parc de bâtiments à usage de bureaux (qualité de l’air intérieur - santé - confort - performance énergétique) »

SI

AB « Conception et développement d'un système d'information d'aide à la mobilité : une approche multi-agent pour la recherche et la composition des services dans un espace ubiquitaire »

SI

SD « La gestion contractuelle des risques environnementaux » SI, SC SS « Vulnérabilité des espaces touristiques littoraux atlantiques au changement climatique

simulé pour le XXIème siècle et alternatives d’adaptation « étude comparée entre les littoraux aquitain et Sud marocain (Souss Massa Drâa) »

SI, SC

Ingénieurs

AA Ingénieur expert au Service Bâtiment SI, SPr, SC, FG FP chef de projet au Service Systèmes d’information SI, SC, FG

MCh Ingénieur au Service Transport et Mobilité SI, FG RV Ingénieur apprenti au Service Organisations Urbaines SI, SPr, FG NB économiste au Service Economie et Prospective SI HD Ingénieur coordinateur de secteurs au Service Bâtiment SI, SPr, SC AG Socio-économiste au Service Economie et Prospective SI EC Animatrice de secteur à la Direction Régionale PACA SI EF Ingénieur stagiaire au Service Recherche et Technologies Avancées SI

Documentaliste MC Documentaliste au Service Communication Professionnelle et Technique SI, SPr, SC, FG (*) SI : Séances individuelles SPr: Séances en présentiel (cheminement cognitif guidé) SC: Séances collaboratives (séances en ligne avec plusieurs utilisateurs, via le chat) FG: Focus Group


8

2.2.2 Procédure :

2.2.2.1 Mise au point de la plate-forme et de l’expérimentation Afin d’offrir aux utilisateurs-testeurs un prototype ISICIL opérationnel pour réaliser leurs activités de

veille, une mise au point de la plate-forme et de l’expérimentation a été réalisée conjointement par le

développeur de la plate-forme et chef de projet ISICIL (Nicolas Delaforge, équipe Edelweiss/Wimmics

de l’INRIA) et le groupe d’observateurs de l’expérimentation (Rubiela Silva Olivares, ergonome

stagiaire au service SRTA de l’ADEME, Claire Prendleloup, chargée d’études au service SRTA de

l’ADEME, Alain Giboin chercheur psychologue ergonome de l’équipe Edelweiss/Wimmics de l’INRIA,

Mylène Leitzelman post-doctorante Telecom Paris-Tech, et Dasaraden Mauree, Doctorant ADEME).

Parmi les activités réalisées par les observateurs pour mettre au point la plate-forme et

l’expérimentation, on citera :

Des réunions entre observateurs seuls.

Des réunions entre observateurs et utilisateurs (atelier « Veiller ensemble »).

La réalisation des scénarios et consignes.

La rédaction des contenus de guidage des utilisateurs (des documents et des pages Wiki).

L’évaluation experte à partir des heuristiques ergonomiques et l’enregistrement de cette

évaluation dans le système Trac de gestion d’évolutions d’ISICIL.

La passation de l’expérimentation (suivi des consignes) par le groupe observateur.

2.2.2.2 Passation de l’expérimentation Dans un deuxième temps, la passation de l’expérimentation a été effectuée dans un esprit de co-

conception avec les utilisateurs. Sa durée a été d’un mois et plusieurs activités ont été réalisées, parmi

lesquelles :

La passation du questionnaire de pratiques de veille fourni par Orange Labs.

Les sessions individuelles pour l’exploration et découverte de l’outil.

Des sessions de cheminement cognitif guidé, réalisées de manière individuelle avec 4

participants.

Des sessions collaboratives en ligne supportées par les fonctionnalités de communication de la

plate-forme : chat et fonctionnalité « Commentaires » disponible sur les pages Wiki d’ISICIL.

La réunion d’échanges (« Focus Group ») avec des utilisateurs.

2.3 Résultats

2.3.1 Motivations à utiliser ISICIL La réunion d’échanges (« Focus Group ») a été une opportunité pour connaître les avis et retours des

participants à l’expérimentation ainsi que leurs motivations pour faire partie du panel de testeurs.

Le tableau ci-dessous décrit les motivations telles qu’exprimées par les 9 testeurs qui ont participé au

Focus Group (sur 19 testeurs du panel) :


9

Profil Utilisateur Motivations Doctorants AL [n.d. ]>Travail collectif

DM Veille> Travailler ensemble, travailler en réseau

MP Veille> Apprendre à utiliser un système de veille

PL Décision> Utilisation des connaissances pour la décision

Ingénieurs AA

Créativité, Innovation, Design> Technologies pour améliorer la connaissance des impacts environnementaux | Laisser les gens s’exprimer (cf. esprit wiki) et partager

FP

[n.d. ]>Partage d’information et de documents

MCh

Veille (en mode « bricolage »)> Travail collaboratif

RV

Veille> Meilleur fonctionnement de la veille avec un système d’échange et réseau social | Etablir des contacts

Documentaliste

MC

Veille, Diffusion, Collecte, Alerte> plates-formes collaboratives | Fournir de nouvelles fonctionnalités collaboratives au groupe d’échange SeeMy de l’ADEME, des fonctionnalités non supportées par SeeMy (*)

(*) SeeMy : plate-forme de réseau social d'entreprise.

Ces motivations ont été regroupées par catégories dans le tableau ci-dessous :


10

Profil

Utilisateur

Motivations (en termes de :) Activité à supporter Modalité de l’activité

Veille Diffusion Collecte Alerte

Créativité Innovation

Design

Gestion des connaissances

Décision

Travail collectif Travail collaboratif

Travail en réseau Travail individuel

Doctorants AL DM MP (1) PL (2)

Ingénieurs AA (3) FP (3)

MCh RV (3)

Documentaliste MC 1) apprendre à utiliser un logiciel de veille 2) utilisation des connaissances pour la décision 3) partage d’informations et de documents ; échanges


11

2.3.2 Évaluation de l’utilité et des usages collaboratifs Les expérimentations avec les utilisateurs ont permis de :

Avoir une visibilité 1) des réseaux d’Adémiens qui travaillent à des sujets connexes, 2) des

membres des autres réseaux.

Mettre à jour des communautés invisibles.

Construire de nouveaux réseaux grâce à la mise en relation de membres sensibles à des

thématiques en commun.

Repérer l’expertise interne sur des thématiques précises à travers des cartographies.

Découvrir d’autres profils possibles d’utilisateurs. Pour l’expérimentation, on a considéré des

profils à partir des rôles institutionnels à l’ADEME (doctorant, ingénieur, documentaliste), mais

d‘autres typologies de profils pourraient être définies. Par exemple selon les pratiques de veille :

personnes qui collectent des informations, personnes qui diffusent ces informations, etc. Dans ce

cas, la plate-forme devrait se focaliser sur les fonctionnalités qui permettent de réaliser l’étape de

veille cible.

2.3.3 Évaluation de l’utilisabilité d’ISICIL En termes généraux, le premier prototype de la plate-forme a été validé aux niveaux de l’utilité et des

usages collaboratifs. Mais il faut améliorer plusieurs aspects de son utilisabilité.

L’utilisabilité a été évaluée par des évaluations heuristiques. « L’évaluation heuristique consiste à

inspecter une interface en évaluant le degré d’application d’une liste de lignes directrices établies

(critères ou heuristiques) de façon détecter les aspects positifs et négatifs du point de vue de l’utilisabilité

et à en déduire des recommandations d’amélioration adaptées… Elle n’implique pas directement des

utilisateurs… 2» Elle est réalisée par des experts, d’où son appartenance à la catégorie des « évaluations

expertes ». Deux types d’évaluations expertes à base d’heuristiques ont été réalisés :

Une évaluation experte classique à partir des heuristiques « individuelles » de Nielsen et de

Bastien & Scapin pour identifier les problèmes et leur sévérité lors de l’interaction d’un utilisateur

(un individu en face de son ordinateur). Ses résultats sont consignées dans le rapport

« Accompagnement de l’expérimentation d’un outil de veille collaborative » (voir annexe 1).et,

une évaluation experte à partir des heuristiques « collectives » pour l’évaluation de

l’ergonomie des collecticiels (cf. Baker, Greenberg, & Gutwin, 2001 ; Ramakrishna, Goldshmidt,

& Leibl, 2004). ISICIL est un collecticiel. Les résultats de cette évaluation sont présentés ci-

dessous dans la section « Mise en relation des entretiens avec l’évaluation experte réalisée à partir

des Critères heuristiques des collecticiels ».

La principale remarque est le manque d’unité entre les fonctionnalités : La difficulté pour comprendre les

briques ISICIL : Browser (désigné sous le nom de « Panel ISICIL ») et Wiki comme un ensemble mis en

relation. Les interfaces sont isolées les unes des autres, sans avoir une interface principale qui centralise et

guide l’utilisateur. Cela rend plus difficile la compréhension et l’apprentissage du fonctionnement de la

2 http://www.dia-logos.net/ressources/2009-10/levaluation-heuristique


12

plate-forme pour l’utilisateur. L’une des possibilités pour résoudre ce problème serait de choisir quelques

fonctionnalités pour les faire évoluer jusqu’à obtenir la satisfaction de l’utilisateur lors de son interaction.

3 Étude post-tests : Evaluation d’ISICIL par la communauté

Recherche de l’ADEME

3.1 Objectifs Suite à l’analyse de données issues de cette première évaluation d’ISICIL, une réunion avec la Directrice de

la Recherche et Prospective de l’ADEME (qui dépend de la Direction exécutive Stratégie, Recherche,

International) a permis de définir les perspectives pour ISICIL à l’ADEME.

Dans le but d’outiller la communauté recherche à l’ADEME, il a été convenu de réaliser une

deuxième phase d’évaluation d’ISICIL destinée à :

Vérifier que les fonctionnalités d’ISICIL correspondent aux besoins de la communauté Recherche.

Préciser, généraliser les résultats, en interviewant des ingénieurs de la communauté Recherche de

l’ADEME n’ayant pas participé au panel de testeurs ISICIL.

(En fonction des résultats obtenus à l’issue de la phase de vérification et de

précision/généralisation) Prendre ou non la décision de déployer ISICIL à l’ADEME (déployer =

implémenter un ISICIL ADEME et le faire utiliser par les membres de la communauté

Recherche).

L’objectif de la démarche définie par la Directrice de la Direction Recherche et Prospective a donc été

d’évaluer la possibilité de mettre à profit la plate-forme ISICIL pour la veille et l’animation

de la recherche à l’ADEME, plus spécifiquement de :

Identifier les besoins et les pratiques de veille et d’animation de la recherche.

Vérifier si les fonctionnalités existantes dans ISICIL répondent à ces besoins, ou si des évolutions

sont nécessaires.

Vérifier si d’autres outils répondent mieux à ces besoins.

D’autres aspects font partie de la réflexion autour de l’utilisation d’ISICIL par la communauté recherche

ADEME:

La définition du périmètre de l’outil ISICIL (les domaines d’utilisation).

La définition de la communauté Recherche à l’ADEME (que recouvre cette communauté ? les

ingénieurs ADEME seulement ? les ingénieurs et les doctorants ADEME ? les ingénieurs et

doctorants ADEME + les partenaires externes de l’ADEME ?).

Le contrôle des avis personnels qui ne représentent pas l’entreprise.


13

3.2 Méthode Sachant que l’intérêt de l’ADEME porte sur l’utilisation de la plate-forme ISICIL par la

communauté Recherche afin de l’outiller et de répondre à ses besoins de veille et

d’animation, les activités suivantes ont été programmées pendant la fin du mois de juillet et le mois

d’août 2012 :

reprendre les observations notées lors des séances en présentiel (entretiens) avec trois testeurs du

panel d’expérimentation : AA, HD et RV ;

réaliser des réunions avec plusieurs utilisateurs potentiels d’ISICIL. Parmi ceux qui ont été

suggérés par la Directrice de la Recherche et Prospective figurent un ingénieur animateur de la

recherche (NT) et un ingénieur chargé d’études (recherche) (DV).

3.2.1 Utilisateurs :

Le tableau ci-dessous fournit la liste des utilisateurs dont les retours ont été pris en considération pour

l’étude post-tests.

INGENIEURS AYANT PARTICIPE AUX EXPERIMENTATIONS Ingénieur Rôle

AA Ingénieur expert au Service Bâtiment HD Ingénieur coordinateur de secteurs au Service Bâtiment RV Ingénieur apprenti au Service Organisations Urbaines

INGENIEURS N’AYANT PAS PARTICIPE AUX EXPERIMENTATIONS Ingénieur Rôle

NT Ingénieur animateur au Service Recherche et Technologies Avancées DV Ingénieur chargé d’études (recherche) au Service Recherche et Technologies Avancées

3.2.2 Procédure Présentation des fonctionnalités de la plate-forme.

Entretiens.

Utilisation de la plate-forme par les utilisateurs : installation et tâches imposées (même consignes

données aux utilisateurs du profil « ingénieur » à la passation des expérimentations).

Echanges par mail, téléphone, visioconférence, et/ou réunion en présentiel (pour les utilisateurs

du Centre ADEME de Valbonne).

Analyse de données (prises de notes, traces d’activité au serveur, etc.) pour identifier les

fonctionnalités à retenir, à faire évoluer et les nouvelles fonctionnalités demandées.

Mise en relation les données obtenues aux entretiens avec les résultats de l’évaluation experte

réalisée à partir des heuristiques pour évaluer la dynamique de collaboration et la gestion de

l’information dans les collecticiels (voir Annexe 4).


14

3.3 Résultats Le résumé des entretiens avec les 2 utilisateurs n’ayant pas participé aux expérimentations est présenté dans les deux tableaux ci-dessous. Les détails et notes

des entretiens sont consignés en Annexe 2 (« Fiches des entretiens »).

Résumé des besoins exprimés par les 2 ingénieurs n’ayant pas participé aux expérimentations Profil

d’ingénieur Ingénieur Besoin

Partage/Échange de

ressources

Édition collaborative Constitution de groupes

Indexation (tagging) Notification

Animation/ coordination de groupes

NT Ingénieur animateur au SRTA

(1)(2)

– (6)

(7)(8)

–

Ingénieur chargé d’études

DV Ingénieur chargé d’études

(recherche) au SRTA

(2)(3)

(4)(5)

(6)

– (9)

(1) échanger (envoyer/ recevoir) documents (2) partager documents (3) partager sites Web (4) créer documents à plusieurs (5) créer pages à plusieurs (6) créer groupes de travail (7) tagging de documents (8) tagging de pages Web (9) notifier la création de pages Web


15

Par rapport au type de la ressource manipulée (échangée, partagée, éditée, indexée, …), un autre tableau peut illustrer les besoins des utilisateurs :

Résumé des besoins exprimés par les 2 ingénieurs n’ayant pas participé aux expérimentations (selon type de la ressource manipulée) Profil

d’ingénieur Ingénieur Besoin

créer groupes de travail

échanger (envoyer/ recevoir) documents

créer documents à plusieurs

tagging de documents

partager documents

partager sites Web

créer pages à plusieurs

notifier la création de pages Web

tagging de pages Web

Animation/ coordination de groupes

NT Ingénieur animateur au SRTA


DV Ingénieur chargé d’études

(recherche) au SRTA

* Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse Internet)

A partir des entretiens réalisés avec les ingénieurs NT et DV, on peut penser à deux profils dans la communauté recherche :

Animateur /coordinateur de groupes


L’outil ISICIL devrait donc offrir des fonctionnalités adaptées aux besoins de chaque profil utilisateur.

Les besoins exprimés témoignent de deux tendances :

la gestion de ressources en ligne (sites Web, pages Web)

la gestion de ressources du type documents qui ne sont pas en ligne

Parmi les actions qui permettent la « gestion », on peut citer celles-ci : créer, échanger, partager, notifier, et le tagging sur les ressources.

16

On pourrait penser que, pour le profil « Animateur /coordinateur de groupes », les besoins portent

plutôt sur la gestion de ressources du type documents qui ne sont pas en ligne, et pour le profil

« Ingénieur chargé d’études » les besoins couvrent la gestion de ressources qui sont ou ne sont pas en

ligne. Ces hypothèses doivent être vérifiées.

On notera qu’il existe un besoin commun aux 2 profils utilisateur : la création de groupes de travail qui

traitent des sujets plus précis ou sous thématiques. Ce besoin pourrait être satisfait par la

fonctionnalité de « création de groupes de travail » implémentée initialement dans ISICIL, mais qui

n’a pas été incluse dans le prototype ISICIL fourni aux utilisateurs-testeurs de l’ADEME. Cette

fonctionnalité devrait être réintroduite dans la plate-forme destinées à la communauté Recherche de

l’ADEME.

Les principaux résultats des interviews des 5 utilisateurs mentionnés auparavant sont présentés dans

le document Excel « Evaluation Heuristique ISICIL », feuilles : « CritèresHeurist COLLECTICIELS »

et « EvalHeurist COLLECT + entretien » (voir Annexe 4).

4 Mise en relation des entretiens avec l’évaluation experte

réalisée à partir des heuristiques pour collecticiels

Le document « Résumé des Heuristiques GroupWare et évaluation experte d’ISICIL à partir de ces

heuristiques » (fichier Excel, voir Annexe 4) présente deux groupes d’heuristiques pour évaluer des

collecticiels. Le premier groupe est constitué par 8 heuristiques pour l’évaluation de la dynamique

de la collaboration. Le deuxième est constitué de 10 heuristiques qui reprennent plusieurs des 8

premières mais qui les reformulent et les adaptent vers une évaluation de la gestion de

l’information.

ISICIL permet à l’utilisateur d’interagir dans une dynamique de collaboration pour le repérage de

ressources matérielles (artefactsobjetsdocuments/sites Web) partagées et humaines (contacts

dans un réseau). Ce partage d’information implique une gestion de l’information (et des objets

partagés). Cela a amené à considérer les deux groupes d’heuristiques pour évaluer ISICIL en tant que

collecticiel.

L’évaluation de la plate-forme ISICIL pour chaque groupe d’heuristiques est présentée à la suite de la

présentation des heuristiques.

La feuille « CritèresHeurist COLLECTICIELS » du fichier Excel « Evaluation Heuristique ISICIL »

décrit chacune des heuristiques mentionnées auparavant et les met en relation avec des exemples

d’implémentation aux collecticiels.

La feuille « EvalHeurist COLLECT + entretien » du même fichier Excel présente les heuristiques

regroupées en 3 catégories :

Heuristiques permettant d’évaluer la dynamique de collaboration,

Heuristiques permettant d’évaluer la gestion de l’information et

Heuristiques utilisées pour évaluer en même temps la dynamique de collaboration et la

gestion de l’information.

Les heuristiques sont associées entre elles selon les aspects communication, coordination,

planification, surveillance et protection, et elles sont mises en relation avec les colonnes évaluation

experte, sessions de co-conception et avec des résultats des entretiens des utilisateurs.

17

La colonne « évaluation experte » reprend les observations sur l’implémentation de méthodes, outils

ou moyens qui permettent de satisfaire les heuristiques. La colonne « sessions de co-conception »

présente les observations recueillies lors de l’expérimentation avec les utilisateurs. Notamment les

observations recueillies à la séance du Focus Group ont été très utiles pour l’étape d’analyse de

données. Ces observations sont consignées à la feuille « FocusGroup » du même fichier Excel

« Evaluation Heuristique ISICIL ». Finalement, les colonnes avec les noms des utilisateurs présentent

les besoins et observations exprimés par les utilisateurs interviewés. Toutes les observations

consignées ici font référence aux heuristiques. On peut donc faire une lecture horizontale des

observations pour chaque heuristique.

Remarque : Dans le même Excel, la feuille « EvalHeurist NIELSEN-BS » présente l’évaluation

heuristique (experte) réalisée à partir des heuristiques de Nielsen et de Bastien & Scapin. Cette

évaluation a été adaptée aux besoins du développeur d’ISICIL ; on a ainsi considéré

l’enregistrement de plusieurs colonnes : le type de demande/problème (fonctionnel,

graphique, Bug,..), la version du prototype, la sévérité du problème, des mots-clés, etc. Cette

feuille a été très utile pour les améliorations ergonomiques d’ISICIL.

Cependant cette évaluation est basée sur le principe d’usage d’un utilisateur individuel, qui

interagit seul avec l’outil pour réaliser une tâche. ISICIL se définissant comme un outil

collaboratif (du type Groupware ou collecticiel), cela demande un autre regard

ergonomique, un regard sur les utilisateurs réalisant des activités de manière collaborative.

Cette limitation nous a conduit à réaliser une évaluation heuristique (experte) à partir

d’heuristiques adaptées aux collecticiels.

5 Conclusion

La première étude réalisée avec l’échantillon représentatif de l’ADEME a permis d’évaluer le prototype

ISICIL en termes d’utilité, utilisabilité et d’usages collaboratifs. Les résultats présentés en relation avec

l’utilité et les usages collaboratifs (cf. section 2.3.2) montrent qu’ISICIL a contribué aux objectifs

initiaux de l’ADEME (présentés dans la section 2.1). Le tableau suivant met en relation ces objectifs

avec les fonctionnalités ISICIL permettant de les réaliser :

Objectif Fonctionnalité ISICIL Identifier les communautés invisibles Visualiser son réseau social

Visualiser des cartographies de réseaux/par thématiques

Mutualiser les ressources humaines et

matérielles de l’expertise

Suivre l’activité d’un membre de la communauté

Editer /être notifié des changements des pages Wiki

Partager un Webmark

Partager une page Wiki Pallier l’éclatement géographique des personnes

Ajouter une personne à son réseau social

Communiquer à travers le chat

Encourager la collaboration dans la veille Partager un Webmark

Partager une page Wiki

Visualiser son réseau social avec ses centres d’intérêt (tags)

Créer et éditer des pages Web à plusieurs

18

Le contact avec les testeurs lors des expérimentations ISICIL a démontré qu’il existe déjà une

familiarisation avec des outils collaboratifs au sein de l’organisation ADEME (SeeMy3, Liferay4,

blogs,..) même si cette familiarisation n’est pas le fait de tous les participants. Cela amène à dire

qu’ISICIL n’a pas été un premier outil pour introduire les technologies de collaboration à l’ADEME,

mais il a été reconnu un outil différent et innovant qui offre un ensemble de fonctionnalités intégrées

dans une même plate-forme.

L’étude post-tests avec la communauté Recherche de l’ADEME se poursuit. Les démarches entreprises

afin d’outiller cette communauté ont permis dans un premier temps :

D’identifier les besoins et les pratiques de veille et d’animation de la recherche à partir des

entretiens réalisés (voir section 3.3 et Annexe 2).

De vérifier si les fonctionnalités existantes dans ISICIL répondent à ces besoins. Dans les deux

tableaux suivants sont résumés les besoins identifiés à partir des entretiens avec des

utilisateurs de la communauté Recherche et les fonctionnalités ISICIL existantes qui

répondent à ces besoins.

Besoins (objectifs) ADEME relatifs aux pratiques de l’animation

Fonctionnalités ISICIL pouvant répondre aux besoins

Constitution de groupes de travail Cette fonctionnalité est considérée dans la plate-forme mais elle n’a pas été incluse dans le prototype opérationnel qui a été testé

Les cartographies permettent de visualiser les groupes de travaux existants, et de repérer des experts sur une thématique, pour les intégrer dans un groupe de travail, ou pour constituer un groupe de travail

Echanger (envoyer/ recevoir) des documents(*) Partager des documents Pour partager un document, il est possible de

l’attacher dans les pages Wikis Tagging de documents Webmark it

Tagging sur les pages Wiki (*) Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse

Internet)

Besoins (objectifs) ADEME relatifs aux pratiques de veille

Fonctionnalités ISICIL pouvant répondre aux besoins

Constitution de groupes de travail Cette fonctionnalité est considérée dans la plate-forme mais elle n’a pas été incluse dans le prototype opérationnel qui a été testé

Partager des sites Web Webmark it Partager des documents (*) Une manière de partager un document est à

travers l’attachement de fichiers dans les pages Wikis

Créer des documents à plusieurs Créer et éditer des pages Wiki à plusieurs Créer pages à plusieurs Créer et éditer des pages Wiki à plusieurs Notifier la création de pages Web Envoyer une page Wiki a quelqu’un Tagging de pages Web

Webmark it

Tagging sur les pages Wiki (*) Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse

Internet)

3 SeeMy : plate-forme de réseau social d'entreprise. 4 Liferay : portail Open Source de gestion de contenu.

19

On peut répondre aux besoins pour la veille (faire de la veille à partir des ressources Web) mais il

manque des fonctionnalités de partage de documents qui ne sont pas Web. Cela amène à penser qu’il

serait pertinent d’avoir un espace de stockage de ce type de documents.

Il faut remarquer que toutes les fonctionnalités du prototype n’ont pas été manipulées par les

testeurs/utilisateurs. On n’a donc pas de retours sur ces fonctionnalités « inconnues ». Cela renforce

l’idée de disposer d’une étape d’apprentissage de ces fonctionnalités. En plus, toutes les fonctionnalités

envisagées au départ ne figurent pas dans le prototype (ex : création de groupes, édition de

terminologies partagées). Il sera nécessaire de classer ces fonctionnalités par rapport aux priorités des

besoins des utilisateurs.

6 Perspectives

Les perspectives envisagées à l’ADEME pour la plate-forme ISICIL sont les suivantes :

Continuer avec les utilisateurs contactés (NT et DV) pour connaître leur expérience avec la

plate-forme. Cela permettra d’avoir leurs retours d’un point de vue « évaluation » car les

entretiens avec ces utilsateurs ont permis de présenter la plate-forme et de connaître leurs

observations d’un point de vue plutôt « besoins et attentes ».

Contacter d’autres utilisateurs appartenant à la communauté Recherche ADEME. Deux

personnes ont été suggérées par la Directrice s de la Recherche et Prospective ; deux autres

personnes ont été suggérées par l’ingénieur chargé d’études ayant participé à l’étude post-

tests. Il est envisagé d’inviter dans la même proportion des utilisateurs ayant un profil

« animateur /coordinateur » et des utilisateurs ayant un profil « ingénieur chargé d’études ».

Reprendre le prototype ISICIL, le mettre au point à partir des besoins/observations des

Adémiens de la communauté Recherche. Pour résumer, à partir du travail réalisé jusqu’à

présent (évaluations expertes, expérimentations et entretiens), on peut dire que les intérêts

des utilisateurs portent sur :

o La possibilité de se mettre en contact avec des personnes qui travaillent sur des sujets

connexes ( à travers la création de son réseau).

o La possibilité de créer des groupes de travail sur des sujets plus précis/sous

thématiques.

o Les visualisations des réseaux de travail et des personnes qui travaillent sur une

thématique ( à travers des cartographies).

o Les références à des ressources sur le Web ( avec la fonctionnalité Webmark It).

o La construction des documents/pages à plusieurs ( à travers le Wiki ISICIL pour

l’édition collaborative de pages)

o Le partage/échange de documents qui ne sont pas forcément en ligne en raison de

contraintes de diffusion, de leur nature et de la même activité quotidienne.

Etudier les fonctionnalités des autres collecticiels qui sont utilisés à l’ADEME (en paticulier :

SeeMy, Liferay) pour identifier leurs avantages et inconvénients, par comparaison avec

ISICIL.

o Déterminer la pertinence de chacun des collecticiels pour outiller la veille et

l’animation dans la communauté recherche.

o Etudier des collecticiels non utilisés à l’ADEME.

20

7 Bibliographie

Baker, K., Greenberg, S., & Gutwin, C.). Heuristic Evaluation of Groupware Based on the Mechanics of

Collaboration. Proceedings of the 8th IFIP Working Conference on Ergineering for Human-

Computer Interaction (EHCI’01), Canada. Récupéré de

http://www.cos.ufrj.br/~jano/CSCW2008/Papers/Baker-2001.pdf

Bastien, J.M.C., Scapin, D. (1993) Ergonomic Criteria for the Evaluation of Human-Computer

interfaces. Version 2.1, Technical report N° 156, Institut National de recherche en informatique

et en automatique, France. Récupéré de

http://www.webmaestro.gouv.qc.ca/publications/archives/webeducation1998-2004/2000-

11/criteres.pdf

Ergoweb (2001). Critères ergonomiques de Bastien et Scapin. Récupéré de

http://www.ergoweb.ca/criteres.html

Nielsen J. (2005). Ten Usability Heuristics. Récupéré de

http://www.useit.com/papers/heuristic/heuristic_list.html

Ramakrishnan, R., Goldshmidt, B., & Leibl, R. (2004). Heuristics for usability assessment for

groupware tools in an information management setting. Récupéré de

http://www.berndgoldschmidt.de/pdf/usability_groupware.pdf

http://www.cos.ufrj.br/~jano/CSCW2008/Papers/Baker-2001.pdf

http://www.webmaestro.gouv.qc.ca/publications/archives/webeducation1998-2004/2000-11/criteres.pdf

http://www.webmaestro.gouv.qc.ca/publications/archives/webeducation1998-2004/2000-11/criteres.pdf

http://www.ergoweb.ca/criteres.html

http://www.useit.com/papers/heuristic/heuristic_list.html

http://www.berndgoldschmidt.de/pdf/usability_groupware.pdf

21

8 Annexes

8.1 Annexe 1 : Accompagnement de l’expérimentation d’un outil de

veille collaborative Silva Olivares, Rubiela (2012a). Accompagnement de l’expérimentation d’un outil de veille

collaborative, Mémoire du Master 2 « Sociologie et ergonomie des technologies numériques »,

Université de Nice – Sophia Antipolis, juillet 2012.

8.2 Annexe 2 : Fiches des entretiens

Fiche Utilisateur NT

Rôle Ingénieur animateur au Service Recherche et Technologies Avancées - SRTA Sujet du travail : Ressources et matières premières

Rôle peu en relation avec la veille sur l’Internet

Pratiques actuelles de son activité Echange permanent de documents par mail (ppt, pdf, données trouvées par les groupes de

travail,…) car ces documents ont l’accès restreint (on ne peut pas les mettre en ligne)

Echanges de petits mails explicatifs

Manipulation de dossiers partagés

Besoins exprimés Disposer d’un espace de partage de documents pour les transmettre et les diffuser en interne

Sensibiliser les personnes à mutualiser les différentes ressources (ISICIL permet de le faire). Les groupes de travail pourraient faciliter le repérage des documents partagés si ces documents sont liés à des tags. Cela peut faciliter la recherche par thématiques ou mots clés (indexation). « …Sur un dossier on se souvient plus où était placé un document …» (absence de tags)

Identifier les personnes pertinentes sur un sujet/thématique -> Intérêt pour les cartographies par thématique

En particulier sur l’interface ISICIL : o Questions sur la pertinence du menu du wiki. Est-ce que le regard de l’utilisateur est

suffisant pour décider une bonne organisation du menu ? (pensant que plus tard le menu peut devenir difficile à manipuler/même à lire)

22

Fiche Utilisateur DV

Rôle Ingénieur chargé d’études (recherche) au Service Recherche et Technologies Avancées - SRTA

Rôle : plus directement en relation avec la recherche sur l’Internet : synthétiser des ressources trouvées sur l’Internet et les diffuser (partage)

Garder le lien entre l’ADEME et le monde sur des sujets d’actualité à la recherche. Rendre accessible ces informations d’actualité à tous les Adémiens (partager une vision d’actualité mondiale).

Pratiques actuelles de son activité Enregistrer les sites intéressants sur un fichier Word et revenir aux sites avec fréquence pour

repérer des nouveautés/sujets émergents.

Benchmarking sur sujets précis de recherche : connaître ce qui est fait par les autres pays sur le sujet, connaître les tendances et les outils utilisés.

Sélection/validation des informations recueillies avec une personne pertinente au sujet (par ex. ClPt pour le sujet « Consommation durable de déchets »)

Envoie des mails avec des fichiers Word (mise à jour du blog).

Besoins exprimés Outiller la veille des groupes de travail sur des sujets précis

Outiller ses pratiques actuelles d’activité : o Faciliter l’identification et le repérage des informations intéressantes avec un outil

informatique : nouveautés et modifications des pages fréquentées o Elaborer des pages à plusieurs pour : valider et modifier les informations,

commenter les pages), partager les pages plutôt que envoyer des emails avec fichiers attachés -> Intérêt à la création des pages au Wiki ISICIL.

Suggestion des autres utilisateurs potentiels à la communauté recherche ADEME pour le recueil de besoins et l’évaluation d’ISICIL: CPh, AGr, RV.

Suggestion de trois sujets intéressants à traiter pour faire la veille : déchets, climat et ville durable.

8.3 Annexe 3 : Evaluation heuristique classique d’ISICIL Silva Olivares, Rubiela (2012b). EvaluationHeuristique_ISICIL. Document Excel.

8.4 Annexe 4 : Heuristiques pour collecticiels et évaluation d’ISICIL

en fonction de ces heuristiques Silva Olivares, Rubiela (2012c). Résumé Heuristiques Groupware et évaluation ISICIL. Document

Word.

tests d’usage de la plate-forme isicil à l’ademe

Documents