Recuperación y Organización de la Información

Métodos de evaluación

Un ejemplo de como evaluar un buscador web podría ser el siguiente:

• Lo primero que se debería hacer es generar un conjunto de pruebas y para cada una de ellas definir los criterios que debería cumplir una página para que se considere correcta según esa prueba.
• Generar una batería de consultas a modo de pruebas y las propiedades que debería cumplir una página para considerarse correcta para cada una de ellas.
• Elegir los buscadores que se desean evaluar. Para cada uno de los buscadores se introducirán las consultas que hemos definido anteriormente.
• Para cada consulta se:
  
  - Apuntará el número de documentos totales recuperados.
  
  - Medirá el tiempo que ha tardado en obtener los resultados de la consulta.
  
  - Analizarán los diez primeros resultados apuntando el número de resultados correctos, incorrectos y enlaces rotos.
• A partir de estos datos se podrá realizar una comparación en función de los criterios establecidos inicialmente, por ejemplo se considerará mejor buscador aquel que la velocidad de generación sea menor, tenga mayor número de documentos recuperados y los resultados correctos se hallen entre las diez primeras posiciones.

Para determinar la eficacia de un sistema de RI se utilizan sistemas como el TREC, MUC, SUMMAC y CLEF. Estas herramientas permiten determinar de forma cualitativa cuan bueno es un sistema de RI a la hora de realizar búsquedas.

TREC

TREC viene de Text REtrieval Conferences. Estas conferencias se han convertido uno de los foros científico más prestigiosos e importantes del campo de la recuperación de información. En TREC se reúnen numerosos creadores de sistemas y métodos de evaluación y compara los resultados que son obtenidos en las pruebas realizadas, que son definidas y acordadas con anterioridad. TREC se celebra de manera anual desde 1991. Para obtener más información sobre estas conferencias se puede visitar la siguiente dirección: http://trec.nist.gov/.

Otros foros de investigación:

Además de las conferencias TREC existen otras conferencias que se han especializado en el desarrollo de algoritmos y métodos estadísticos para la evaluación de sistemas. Algunos de ellos son:

• MUC (Message Understanding Conferences)
• SUMMAC (TIPSTER Text Summarization Evaluation Conference)
• CLEF (Cross-Language Evaluation Forum)