Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität

Transkript

1 SWIF 2012: November 2012 Session 4 All about Search Suchmaschinen und ihre Evaluierung Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität Sebastian Sünkler Hochschule für Angewandte Wissenschaften Hamburg sebastian.suenkler@haw-hamburg.de

2 Übersicht Rahmenbedingungen zur Master-Thesis Evaluierung von Suchmaschinen Entwicklung des Prototyps Abgleich des Prototyps mit dem Evaluierungsmodell Grenzen des Prototyps Fazit und Ausblick

3 Rahmenbedingungen zur Master-Thesis Masterstudiengang Informationswissenschaft und management an der Fakultät Design, Medien und Information im Department Information Bearbeitungszeitraum: 01. September Februar 2012 Master of Arts

4 Evaluierung von Suchmaschinen Quelle: Quelle:

5 Evaluierung von Suchmaschinen: Messung der Qualität Bereiche bei der Qualitätsmessung von Suchmaschinen nach Lewandowski und Höchstötter: Qualität des Index Qualität der Suchresultate Qualität der Suchfunktionen Nutzerfreundlichkeit von Suchmaschinen

6 Evaluierung von Suchmaschinen: Messung der Qualität Bereiche bei der Qualitätsmessung von Suchmaschinen nach Lewandowski und Höchstötter: Qualität des Index Qualität der Suchresultate Qualität der Suchfunktionen Nutzerfreundlichkeit von Suchmaschinen in Kombination mit Erhebungen zum Nutzerverhalten

7 Evaluierung von Suchmaschinen: Beispiele für Forschungsfragen Quelle: Quelle: Ist Google wirklich die beste Suchmaschine? Wie gut sind die Suchergebnisse von Suchmaschinen untereinander? Inwieweit können erhobene Interaktionsdaten von Nutzern für die Relevanzbewertung genutzt werden?

8 Evaluierung von Suchmaschinen: Evaluierungsmethoden Evaluierung von Suchdiensten hat eine lange Tradition systemorientierte Methoden Suchmaschine im Fokus klassische Retrievaltests Standardaufbau vorhanden Klicktests nutzerorientierte Methoden Benutzer im Fokus Schwierigkeiten bei der Entwicklung von Standards objektive und subjektive Methoden

9 Evaluierung von Suchmaschinen: explorative Suche Quelle: Marchionini, Gary: Exploratory Search : From Finding to Understanding. In: Communication of the ACM, 49(4), 2006, S

10 Evaluierung von Suchmaschinen: Zusammenführung der Methoden

11 Evaluierung von Suchmaschinen: Zusammenführung der Methoden 1. Auswahl der Suchmaschinen 2. Definition der Zielgruppe 3. Festlegung des Testzeitraums, Testumgebung 4. Gestaltung von Fragebögen 5. Gestaltung simulierter Arbeitsaufgaben 6. Festlegung von Skalen 7. Analyse der durchgeführten Suchen 8. Generierung von Ergebnissets 9. Auswertung der Daten

12 Entwicklung des Prototyps: eingesetzte Tools Relevance Assessment Tool Entwickelt an der HAW zur Verwaltung und Durchführung von Retrievaltests webbasierte Anwendung Search Logger Entwickelt an der Universität Tartu in Estland zur Protokollierung von Nutzerinteraktionen bei der Bearbeitung von Suchaufgaben Gestaltung von Suchaufgaben Browser Add-on für Mozilla Firefox

13 Entwicklung des Prototyps: Relevance Assessment Tool

14 Entwicklung des Prototyps: Search Logger

15 Entwicklung des Prototyps: Anforderungen an den Prototyp Bereitstellung eines Administrationsinterfaces zur Gestaltung von Projekten Optionen zur Entwicklung von Arbeitsaufgaben. Export-Funktion für die automatische Erstellung der Browser-Extension Automatische Zusammenstellung der Ergebnissets für die Retrievaltests Funktionen für eine automatische Analyse der Logdaten Verbindung der Suchaufgaben aus der explorativen Suche und dem Retrievaltest Anpassung der Sprache für die Test Definition von Skalen für die Bewertung der Suchergebnisse Export-Funktion der Ergebnisse aus den Projekten Systemunabhängigkeit bezogen auf die gängigsten Betriebssysteme

16 Entwicklung des Prototyps: Technische Voraussetzungen Webanwendung PHP MySQL JavaScript HTML / CSS Entwicklung einer gemeinsamen Datenbank für beide Anwendungen Scraper aus dem Relevance Assessment Tool lokale Installation im Firefox Version 3.6

17 Entwicklung des Prototyps: Systemarchitektur

18 Entwicklung des Prototyps: Ergebnisse aus einem Projekt

19 Abgleich des Prototyps mit dem Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt 2 Definition der Zielgruppe Ist keine technische Entscheidung 3 Festlegung des Testzeitraums, Testumgebung durch Browser Add-On und Webanwendung frei wählbar. 4 Gestaltung von Fragebögen unterstützt die Anpassung von Pre- und Post-Fragebögen sowie die Gestaltung eines Formulars für die Abfrage demografischer Daten 5 Gestaltung simulierter Aufgaben Erstellung von Aufgaben mit Informationsbedürfnis, Beschreibung sowie fest definierten Skalen und Cutoff-Werten 6 Festlegung von Skalen offene und geschlossene Skalen sowie Kommentarfelder 7 Analyse durchgeführter Suchen automatische Analyse der Suchanfragen, gesichteten Webseiten und Suchergebnisse und der Suchmaschinen 8 Generierung von Ergebnissets die ausgewerteten Daten werden zur automatischen Generierung von Ergebnissets genutzt 9 Auswertung der Daten Aggregation der protokollierten Interaktionen und den expliziten Bewertungen der Ergebnisse

20 Entwicklung des Prototyps: Grenzen des Prototyps nur in Verbindung mit Firefox in Version 3.6 nutzbar Google-Instant muss deaktiviert werden lokale Installation notwendig keine automatische Auswertung der Daten kein Universal Search ständige, manuelle Pflege der Suchmaschinenscraper notwendig keine Unterstützung einer Erfassung von Ein-schätzungen des Benutzers während der Bearbeitung von Aufgaben unterstützt bisher nur Google und Microsoft Bing

21 Entwicklung des Prototyps: Fazit und Ausblick Das Modell und der Prototyp bieten neue Möglichkeiten in der Evaluierung von Suchmaschinen. Nutzerverhalten und Retrievaltests werden kombiniert Planung der Studien bleibt weiterhin wichtigster Bestandteil Die vorgestellte Software ist eine Vereinfachung für Testdurchführung und Datenerhebung. Weiterentwicklung für die Erhebung weiterer Suchergebnistypen Anpassung an eine modernere Firefox Version Lösung für eine Nutzung ohne lokale Installation

22 Vielen Dank für Ihre Aufmerksamkeit! RAT Mini-Demo: Zugangscode: RAT-Test