A Perspective on the Measurement of Retrieval Effectiveness

方程式編輯器貼不上來...

Author：Cooper, W.S

Title：A Perspective on the Measurement of Retrieval Effectiveness

Citation：Drexel Library Quarterly 14:2(1978):25-39

Topic：評估資訊檢索系統

Purpose：推廣效用評估

Methodology：各評估方式的比較

Finding：效用評估應取代現有評估方式

Summary：

    評估檢索效益的測量方法對於資訊檢索理論以及實務是必要的。最早的評估方法是「準確率」，意指檢索結果中檢索到的相關文件比率。而之後為了平衡準確率評估，「求全率」應運而生，意指檢索出系統相關文獻的比率。這兩者是最常用來評估資訊檢索系統的指標，但是彼此間存在著成反比的關係。在A系統擁有比B系統較高的準確率以及較低的求全率時，可以透過個別的交替曲線(trade off curve)做比較。但如過要評估排序過後的結果，則必須使用「常態化準確率」及「常態化求全率」。而此二指標亦受限於樣本大小，因此又有「誤檢率」的應用。

    而效用(utility)評估則是取代相關(relevance)評估的新方法，其具焦於檢出結果對於使用者的價值，例如使用者是否能夠接受檢索的結果以及花費。雖然效用是一個新的評估概念，但是由於其尚未有一完整的計算公式，仍無法取代既有的準確率及求全率。同時因為其忽略了未被檢出的相關文獻比率，造成多數學者無法接受效用評估是有意義的測量方法。

    在檢驗效用時，其公式有四種。其一為檢索規模可以讓使用者一一評估其效用。其公式為：U=V1+V2+V3+..+Vn。其二為使用者認為有效文獻價值為常數u，無效文獻之價值為常數v，而檢索相關文獻數為r，不相關文獻數為i，則其公式為：U=ur+vi。其三為若系統提供排序的結果，則使用者的需求會檢索到q篇相關文獻即滿足，而s為q減去檢索結果中所有相關文獻數之值，而假設有效文獻數為r，無效文獻數為i，j為負相關文獻之總數，且各文獻之正效用為u，負效用為v，則其效用公式為。在比較多個系統時，該公式可以簡化成e.s.l=，此即為預期檢索長度。   

    雖然公式的呈現有不同的形式，但是其目標均在於量化相同的「使用者效用」。

Comment：

    本文旨在說明僅以準確率以及求全率來評估檢索系統是不足的，因為其兩者本身存在著反比的關係，造成同時以兩者比較系統效能時的偏差。而為了減少此一謬誤，則發展出了一個新的評估方法：效用。其並以阿幾米德為例，說明效用評估是創新的思考概念而非既有公式的補充，意欲證明其在系統評鑑上的高度指標性。

    但是時至今日，最常見的評估方式仍是準確率以及求全率。效用評估為何未被接受？可能的原因在於其對於個別文獻的價值過於單一化，以及其計算公式的複雜化造成了推廣上的障礙。

    現今評估系統的方式除了傳統兩個指標的比較外，相關的評估反而蔚為主流。雖然相關基本上也被批評為過於主觀，但是由於其高度動態的本質造成其高度的適用性。而如何客觀且精確的評估系統，正是目前所需努力的方向。