Cuando escribimos una palabra clave en el cuadro de búsqueda y ojeamos los resultados, solemos revisar solo los primeros. Pero no es fácil saber si esos resultados contienen realmente el material que necesitamos o si lo único que hemos encontrado son un montón de títulos parecidos. En la evaluación de la recuperación de información, lo que acertamos a encontrar y lo que se nos escapa se expresan mediante dos cifras. Son la precisión y la exhaustividad (Precision and Recall).
En pocas palabras, la precisión es la proporción de documentos recuperados que son realmente pertinentes, y la exhaustividad es la proporción de todos los documentos pertinentes que efectivamente se han encontrado. Cada medida plantea una pregunta distinta. Una es «¿Hasta qué punto son pertinentes los resultados recuperados?» y la otra es «¿Cuánto de lo que había que encontrar se ha recuperado?». El sentido es un poco distinto del que damos a «preciso» en el habla cotidiana. Aquí, la precisión indica la pureza de la lista de resultados, mientras que la exhaustividad indica cuánto ha abarcado la red.
Veremos, por orden, cómo se definen la precisión y la exhaustividad, qué tensión existe entre ellas, cómo las reúne la puntuación F1 y por qué se usan estas métricas en la evaluación clásica de la recuperación de información.
Dos medidas para evaluar los resultados de búsqueda, la precisión y la exhaustividad
Las distintas preguntas que plantean la precisión y la exhaustividad
En recuperación de información, la evaluación suele empezar así. Para una consulta dada, se determina de antemano qué documentos son pertinentes y cuáles no, y se comparan con el conjunto de resultados que devuelve el sistema. La evaluación se centra en dos proporciones.
- Precisión (Precision). Es la proporción de documentos recuperados por la búsqueda que son realmente pertinentes.
- Exhaustividad (Recall). Es la proporción del total de documentos pertinentes que la búsqueda encuentra efectivamente.
Un ejemplo sencillo es elegir en la biblioteca los libros que vamos a usar para un trabajo. Si sacamos diez libros de la estantería y nueve de ellos tratan el tema, la precisión es alta. En cambio, si en la biblioteca hay veinte libros pertinentes y solo hemos sacado dos de ellos, la exhaustividad es baja. Una misma búsqueda obtiene puntuaciones distintas según el criterio que se aplique. De hecho, cuando un usuario siente que una búsqueda funciona bien, esa impresión suele combinar las dos dimensiones.
La tensión entre ambas medidas cuando una sube y la otra se resiente
Si solo se busca aumentar la precisión, el sistema tiende a conservar únicamente los documentos cuya pertinencia es muy clara. La lista de resultados queda más limpia, pero pueden quedar fuera documentos pertinentes que estaban en el límite. Si solo se busca aumentar la exhaustividad, se recupera una gama más amplia de documentos potencialmente pertinentes. Se pierde menos material, pero es fácil que se cuelen documentos no pertinentes. Esta relación se parece a lo que ocurre al hacer más estrictos o más flexibles los filtros de búsqueda.
(1) Cuándo importa una precisión alta
Quien solo mira unos pocos resultados en la primera pantalla, como suele ocurrir en las búsquedas web, espera que esos resultados sean pertinentes. Si aparecen resultados que no vienen al caso, es fácil que abandone enseguida la búsqueda.
(2) Cuándo importa una exhaustividad alta
En búsquedas especializadas, como las jurídicas, médicas o de patentes, en las que hay que reunir todo el material pertinente, es más seguro recuperar todos los documentos pertinentes aunque se cuele algo de ruido.
Por eso, cuesta decir que un sistema es bueno si solo se considera una de las dos medidas. Si el sistema recupera todos los documentos, la exhaustividad se acerca a 1, pero la precisión puede caer a niveles mínimos. Si apenas recupera documentos, la precisión puede parecer alta aunque la exhaustividad pueda ser nula. Una buena búsqueda consiste en dar a cada dimensión el peso que corresponda al objetivo.
La puntuación F1 reúne las dos medidas en una sola cifra
Incluso después de examinar por separado la precisión y la exhaustividad, a veces hace falta una sola puntuación que las resuma. En esos casos se suele usar la medida F, en especial su versión equilibrada, F1. F1 es la media armónica de la precisión y la exhaustividad. Si una de ellas es muy baja, la puntuación también baja. La media armónica es más sensible al valor más bajo que la media aritmética.
Por ejemplo, si la precisión es muy alta y la exhaustividad muy baja, el valor más bajo arrastra hacia abajo a F1, alejándolo del más alto. En cambio, para que F1 aumente de forma sostenida, ambas medidas deben alcanzar valores relativamente altos. Una puntuación F1 alta, sin embargo, no garantiza que el sistema se adapte a todas las situaciones de uso. Como vimos antes, algunas tareas dan más importancia a la precisión y otras a la exhaustividad. F1 sirve para comparar rápidamente con una sola cifra, pero cada tarea sigue teniendo su propio objetivo. Aunque la puntuación sea la misma, conviene acostumbrarse a volver a examinar las dos medidas para entender cómo se obtuvo.
Por qué se usan estas métricas en la evaluación clásica de la recuperación de información
La precisión y la exhaustividad encajan bien en el marco clásico de evaluación de la recuperación de información. El método conocido como paradigma de Cranfield compara sistemas a partir de una colección fija de documentos, un conjunto fijo de consultas y juicios de pertinencia emitidos por evaluadores humanos. Las evaluaciones a gran escala que vinieron después, como TREC, ampliaron esa misma idea. Se toma como referencia la distinción entre documentos pertinentes y no pertinentes, y se evalúa con la precisión y la exhaustividad qué ha recuperado el sistema.
En la práctica, las búsquedas son más complejas. La pertinencia varía un poco de una persona a otra y es difícil saber de antemano cuáles son todos los documentos pertinentes. Cuando los resultados se ordenan, también hay que tener en cuenta que los usuarios suelen mirar solo los primeros. Incluso con la misma consulta, buscar material para un trabajo y ojear las noticias de la tarde requieren equilibrios distintos. Aun así, estas dos métricas han perdurado porque muestran por separado la calidad de lo recuperado y la proporción del material pertinente que se ha logrado encontrar. Tanto si usamos un motor de búsqueda como si consultamos el catálogo de una biblioteca, ya nos hacemos mentalmente esas dos preguntas al mirar la lista de resultados. Puede que los nombres de las métricas nos resulten poco familiares, pero la intuición en la que se basan ya nos resulta conocida.
La precisión muestra hasta qué punto son pertinentes los resultados encontrados, mientras que la exhaustividad indica cuánto se ha recuperado de lo que había que encontrar. Si solo se aumenta una de las dos, es fácil que la otra se resienta. F1 resume esa tensión en una sola cifra. Resulta más útil darse cuenta de cuál de las dos dimensiones prima en la búsqueda que estamos haciendo que memorizar las cifras.
Al mirar los resultados de una búsqueda, el primer paso para entender la recuperación de información es hacerse dos preguntas a la vez. ¿Se han seleccionado solo los resultados pertinentes? ¿Se ha quedado alguno fuera?
