Precision, Recall

Precision/Recall은 검색엔진의 정확도를 평가하는 척도로서 널리 알려진 방법이다.

먼저 사전적인 뜻부터 짚어보자. Precision을 우리말로 하면 ‘정확률’ 정도가 되며, Recall은 회상, 상기, (결함 제품의) 회수라는 뜻이 있다. 찾아보니까 재현률이라고 많이 번역하는 것 같다.

Precision은 말 그대로 ‘검색 결과가 얼마나 정확한가?’를 따지는 것이며, Recall은 ‘찾아야 할 것 중에서 실제로 얼마 만큼을 찾았나?’를 평가하는 것이다.

아래 수식을 보면 아주 명확하다.

R은 전체 문서 중에서 질의(query)와 관련된(relevant) 문서의 집합이며, A는 검색엔진이 실제로 찾아온 문서의 집합이다.

당연하게도 Precision과 Recall은 서로 트레이드오프 관계가 된다. 예를 들어, A가 아래와 같을 때 (검색엔진이 계산한 관련도에 따라 정렬되어 있으며, 굵게 표시한 것은 R에도 속하는 문서이다.)

A = {4,7,1, 3, 8,6,9, 5,2}

Precision을 100%로 맞추려고 A의 크기를 3으로 정하면 Recall이 50%밖에 되지 않는다. A의 크기를 9로 늘리면 Recall을 100%로 올라가지만, 대신에 Precision이 67%로 떨어지고 만다. 검색엔진의 본질적인 기능이란 결국 관련도가 높은 문서에 높은 랭크를 부여하는 것이므로 Precision뿐만 아니라 Recall까지 고려해야만 그 성능을 제대로 평가할 수 있다.

참고자료

http://4four.tistory.com/56

 

이 글은 스프링노트에서 작성되었습니다.