The Cranfield Tests on Index Language Devices

 

Author：Cleverdon, Cyril.

Title：The Cranfield Tests on Index Language Devices

Citation：ASLIB Proceedings 19:6 (1963):106-30

Topic：索引方式的比較

Purpose：決定索引方式之優劣

Methodology：實證研究

Finding：自然語言單詞具有最高的檢索效能

Summary：

CRANFIELD I實驗是為了測試國際十進分類法(Universal Decimal Classification)、面向分類法(Facet Classification)、依字母順序排列之主題索引(alphabetical subject catalog)，以及單詞組合索引法(uniterm system of coordinate indexing)等四種索引系統的操作效能，而實驗結果顯示四者的效能均不相上下。而其測量值分別為1.求全率，指檢索到相關文獻的能力2.精確率，指排除非相關的文獻的能力。造成上數結果的原因在於四種索引系統為了同時提高求全率和精確率所設計出之複雜產品，所以會應用相同的概念來增加系統效能。

 CRANFIELD II則是為了測試索引方法的效能，其中文件以三種方式製作索引：1.使用自然語言單詞記錄索引詞2.單詞觀念結合之主題3.給予主題相關權重。實驗的第一步是決定各個文件與各個問題相關程度，其分為1.完整回答問題的2.高度相關的，可激發額外聯想3.有用的，概論式導引4.最小興趣的。而在實驗中，使用誤引率(fallout ratio)(檢索到不相關的文獻/所有不相關的文獻)可以比較不同規模的文件集效能。

 實驗中測試了三種索引語言：單一詞彙語言(single term language)、簡單概念索引語言(simple concept index language)與控制詞彙索引(controlled term index)，並應用了切截、同義詞、類同義詞，總共產生了33種不同的索引方式。實驗結果證明了在CRANFIELD I時提出求全率及準確率具有反比的關係，因此要直接用這兩個測量值來比較系統效能是相當困難的。

 Salton的SMART系統測試基本上與CRANFIELD實驗的目的是一樣的，均為了測試不同索引方法的效能。而其不同點在於該程式能夠呈現一可信的相關排序，同時使SALTON可以計算常態化求全率，擺脫傳統雙指標比較方法。而實驗結果顯示單一詞彙語言表現最好，控制詞彙索引居次，簡單概念索引語言則效能最差。在任何環境下，最有效的索引方式是在同義詞上進行控制，而使用未經控制所結合的自然語言單一詞彙。實驗的結果可以視為一種巧合，其原因可能在於索引詞彙的專指程度，單一詞彙語言完全反映了自然語言的專指程度，雖然透過同義詞及切截雖然會降低專指程度，但會增加其檢索效能。而簡單概念索引語言的高度專指性造成了檢索效能低落。控制詞彙索引則同時表現了前述兩個現象。

專指性與索引詞彙的數量以及索引的窮盡程度有關，前者代表著檢索效能在索引詞彙達到一定數量時為最佳，而後者則代表索引辭所涵蓋的範圍，高度窮盡會降低檢索效能。

自然語言單詞加上切截功能和同義字控制在索引工作上具有最高的檢索效能。

Comment：

本文雖然成文於1960年代，但是卻是研究系統分析時重要的文獻。其研究方法很明顯是系統導向的，其只關注查詢詞與文獻及之間的關係。而其研究結果發現自然語言單詞的索引方式的效能遠大於控制詞彙以及自然語言片語的效能，此一結果無疑對圖資界是一種震撼，因為圖資界長久以來認為唯有組織資訊才能夠有效的取用資訊，而其方法就是使用控制詞彙來聚集文獻。沒有任何加工的自然語言單詞的效能高於控制語言索引，這不正是說明了圖資界的努力是白忙一場？

但是因為其對於圖資界的衝擊過大，所以也招來諸多批評，其中對於未檢索的相關文獻數則最被人質疑。

CRANFIELD實驗是有史以來第一個大規模實驗，雖然其系統導向的研究方法在今日來看已有些不合時宜，但是其樹立的里程碑卻是不可抹滅的。今日，我們可以透過融合使用者層面的研究方法，並且加入資訊科技的應用，對於系統評估定將有更進一步的發展。