Author：Charles R. Hildreth
Title：Accounting for users' inflated assessments of on-line catalogue search
performance and usefulness: an experimental study
Citation：Information Research, 6 (1).2001
Summary：
使用者在使用線上目錄等電腦檢索系統時，往往在檢索結果不佳時，依然表現出高度的滿意度，此為誤判現象(false positive)。使用者導向的研究方法的基礎建立於使用者是檢索結果的最佳判斷者的假設上，因此有必要重新檢視檢索結果品質及系統效能彼此間的關係。 WEBOPAC的易於始用性往往較為受使用者關注。本實驗比較WEBOPACE與TEXT-OPAC間的檢索效能、好用度、系統實用性、成功檢索。旨在討論以下問題：1.使用者為何經常過份評價OPAC.2.什麼會影響使用者對於檢索效能、好用度、系統實用性的判斷3. 檢索效能、好用度、系統實用性與檢索結果的關連4.使用者的特性與檢索效能、好用度的關連5.檢索介面與檢索問題難易對於成功檢索的影響6.檢索問題難易度的影響7.WEBOPAC的好用度會不會不受檢索問題難易影響8.誰能從新科技獲益？
CRANFIELD實驗建立在兩個假設上1. 認為使用者想要檢索到大量的相關文獻同時拒絕大量的不相關文獻2.文獻的相關是客觀的。但是其以回現率及準確率評估系統屬於系統導向的研究方法，並沒有考慮到使用者互動的問題。而其後的COOPER提出效用的概念用來評估系統，此則是使用者導向的開端。Soergel認為使用者可能因為不佳的結果而產生滿足，因此效用不足以評估系統。Tessier則指出了滿意的四個面向：1.使用者的主觀經驗2.圖書館整體3.參考服務4.個人與圖書館的互動。Delone和McLean指出六個反應系統效能的因素1.系統品質2.資訊品質3.使用4.使用者滿意度5.個人影響6.組織影響(系統效能的多面向)。當前利用登錄檔分析、調查表、面談、錄影觀察以及傳統的回現率及精準率來評估系統。滿意度因為其高度的變動性在測量上也相當困難，而且各家研究者之間並沒有統一的定義，使用者特性也常被忽略。Applegate指出了誤判現象，其將使用者滿意度分成三種：1.物質滿足2.情緒滿足，前者可以透過回現率及精確率計算，而後者則是使用者主觀的表達。在線上目錄出現之後，研究發現使用者經常滿足於不佳的檢索結果。
本實驗比較兩種不同介面的OPAC，一為GUI/WEB，一為TEXT/MENU，並將檢索任務難易度分為簡單/難兩種，將實驗對象分成四組，各為GUI/簡單、GUI/難、TEXT/簡單、TEXT/難。OPAC為university of tulsa的館藏目錄，兩者只有介面上的差異，擁有相同的資料庫及索引。每組實驗各有十六人要完成十六種主題檢索。使用者事先並沒有經過任何訓練。使用者必須將所檢索到的索書號記錄在工作單上，並在檢索完成以後填寫問卷。問卷是為了調查系統好用度、實用度、檢索結果滿意度，其使用4-5點的likert scale來進行填寫，同時包含了使用者基本資料。
實驗假設：1.WEBOPAC的檢索效能會比TEXTOPAC來得好2.簡單檢索的效能會比難的檢索效能來的高，無論是WEBOPAC/TEXTOPAC3.使用者滿意度會反映在檢索滿意度上4.系統好用度等非檢索效能因素會影響使用者的滿意度5.WEBOPAC會比較好用6.WEBOPAC會比較有用7.WEBOPAC的檢索滿意度會較高8.檢索難易度會影饗系統好用度9.檢索難易度會影響檢索滿意度。
檢索評分由專家重複檢索一次問題集，決定所有相關的書目，並將實驗之檢索結果分為相關(2分)，可能相關(1分)，不相關(0分)
實驗比較了四個獨立變數1.檢索結果2.檢索滿意度3.系統好用度4.系統實用性
檢索滿意度與系統好用度、系統實用度有所關聯，系統好用度與系統實用度也有所關聯，因此可以推論系統好用度以及系統實用度比檢索效能對檢索滿意度有更大的影響。
本實驗著眼於1.獨立變數(介面以及檢索難易度)與相依變數(檢索評分、檢索滿意度、系統好用度、系統實用性)的互動2.相依變數的關連3.使用者特性與相依變數的關連。而實驗結果指出1.檢索難易度較系統介面對於檢索結果有較大的影響2.WEBOPAC有較高的好用度3.檢索滿意度與檢索結果及系統實用度無關4.網路搜尋經驗會影響檢索滿意度及系統實用度5.檢索效能對於檢索滿意度的影響很低6.系統好用度及實用度會影響使用者滿意度。
檢索難易度及檢索介面都會影響檢索效能，而系統介面決定了系統好用度。其次，檢索效能對於檢索滿意度的影響很低。WEBOPAC比較容易使用並且成功檢索，這可能部分說明了使用者為何經常產生誤判現象，滿足於不佳的檢索結果。
而前述之假設可在此驗證：1.WEBOPAC的檢索效能會比TEXTOPAC來得好：可能2.簡單檢索的效能會比難的檢索效能來的高，無論是WEBOPAC/TEXTOPAC：是的3.檢索效能會反映在滿意度上：不是4.系統好用度等非檢索效能因素會影響使用者的滿意度：是的5.WEBOPAC會比較好用：是的6.WEBOPAC會比較有用：可能7.WEBOPAC的檢索滿意度會較高：不是8.檢索難易度會影饗系統好用度：是的9.檢索難易度會影響檢索滿意度：不是。
實驗的對象並不具有代表性，因此可能無法在另一個社群呈現相同的結果。檢索結果的評分化，本質上是相關的判斷，但是並沒有考慮到未被檢索的相關資料。系統好用度與系統實用度必須要擁有不同的測量方式。必須發展出測量滿意度與檢索結果和檢索效能
心得：
一般而言，滿意度應該與檢索結果品質畫上等號，越高的滿意度就代表了越高的檢索品質。本文的觀念對我而言無疑是一個嶄新的思考角度，其實驗證明了使用者滿意度與檢索品質其實只有低度相關，相反的，影響滿意度的因素反而是非檢索功能的層次，例如好用度以及實用度。本文所指的誤判現象在電腦科技發達之後更為明顯，使用者往往因為電腦圖形化介面的親和力、直觀性而過份評價其功能。於其中應該思考的是系統的本質，以其使用者需求的本質。發展出可以客觀評價系統且能兼容使用者主觀判斷的評估模式對於系統評估而言是未來發展的方向。
Author：Salton, G.
Title：The State of Retrieval System Evaluation
Citation：Information Processing &Management 28:4(1992):441-49
Topic： 說明當前系統評估之現況
Purpose：讓人對於系統評估之研究有一概括的理解，並從而思考未來研究的方向
Methodology：文獻分析
Finding：
Summary：
雖然系統評估的研究已經發展已久，但仍有不少專家對於其所使用的研究方法產生質疑，其中COOPER認為傳統的系統評估是基於變化極大的相關判斷以及許多主觀的因素，令人無法信服，另外回現率及準確率的使用也受人質疑，因此有人認為實驗室所產生的結果無法套用的現實生活之中。一般評估系統多使用1.求全率，指檢索到相關文獻的能力2.精確率，指排除非相關的文獻的能力，來測量系統效能，這建立於認為使用者想要檢索到大量的相關文獻同時拒絕大量的不相關文獻的假設上。但是此一概念與效用理論並不相容。Cooper認為所謂相關的文獻有時是沒有用的，使用者可能會因為一篇相關文獻而過度評價低回收率的系統。而事實上，只有少數的使用者會關注於檢索到所有相關的文獻上。傳統回收率跟準確率的雙指標有比較上的困難，另外也無法詳細的呈現檢索集的規模與已檢索的數量。但是Swet的E-measure及Cooper的預期檢索長度等測量值均有計算上的困難，因此回收率及準確率仍然是目前檢索評估的主流工具。
大部分的檢索評估研究都是在實驗室裡進行的，現實世界裡很難進行與實驗室相同的實驗。因此有以下批評：1.檢索要求無法表現真實的使用者需求，相關的判斷也無法與現實相同2.每個人的相關判斷都不盡相同3.回收率建立於所有相關的文獻上，而事實上對於無法檢索到的相關文獻只能使用估測值4.查詢詞與文獻測試集規模過小。
Cranfield實驗是第一個以固定的查詢及文件集配對的大規模實驗，其比較了三種索引語言：單一詞彙語言(single term language)、簡單概念索引語言(simple concept index language)與控制詞彙索引(controlled term index)，並應用了切截、同義詞、類同義詞等技術，其結果證明了單一詞彙語言的效能最佳。單一詞彙語言完全反映了自然語言的專指程度，既廣且深。而簡單概念索引語言的高度專指性造成了檢索效能低落。Swanson和Harter認為該實驗有兩個問題：1.使用者比較喜歡使用關鍵字比對2.該實驗並未包含大量相關但未被檢索出的文獻。但是即使在相關的判定上有所缺失，以及無法準確的推估未檢索到的相關文獻，但是基於同樣的基礎上，比較不同索引語言的效能仍是有效的。
SMART系統評估以CRANFIELD的測試集為基礎，目的在於證明內容分析會增加檢索系統之效能，但實驗結果發現加權關鍵字加上切截後的檢索結果較佳，而內容分析之檢索結果卻較預期的差。
雖然Smart和Cranfield的測試結果是互補的，但並不廣為接受，其原因在於小型實驗測試與現實檢索的差異性。
Stairs全文系統的評估報告指出其準確率為0.79，回收率為0.20，其使用無權重的關鍵字及布林邏輯進行檢索，研究指出回收率0.20已達全文檢索系統的最大值。McCarn和Lewis認為使用者自行擁有準確率的門檻，這意指系統應該提供讓使用者縮小檢索範圍的機制來提供更為準確的檢索。在實驗環境中查詢詞的擴展或窄化可以改變回現率及準確率，但在現實中是不可行的。系統評估必須建立在值得信賴的相關判斷以及可信的相關文獻數量。而SMART系統沒有特別強調回收率及準確率，但在其大規模的測試集的實驗下，不同索引語言是具有被比較的基礎。而過去的系統評估多關注於查詢詞與文獻測試集的關係，未來的研究方向則是應從使用者的相關回饋來呈現系統與人的互動。
Comment:
本文旨在分析當時的系統評估研究，同時指出未來的研究方向應該朝自動分類索引邁進。本文所分析之研究仍多屬於系統導向的研究方法，多以回現率及精確率來測量系統效能，忽略了使用者與系統互動的部份。但是由於使用者導向的研究方法變數過於龐大，且因人而異，對於整體環境無法一體適用，因此目前對於系統評估的方式仍然是以回現率以及精確率為主。
目前必須思考出能夠量化的相關評估指標，從而發展出可以使用單一測量值比較系統效能的研究方法，當前雙指標的反比關係對於系統比較上一直存在著根本上的謬誤。
Author：Cleverdon, Cyril.
Title：The Cranfield Tests on Index Language Devices
Citation：ASLIB Proceedings 19:6 (1963):106-30
Topic：索引方式的比較
Purpose：決定索引方式之優劣
Methodology：實證研究
Finding：自然語言單詞具有最高的檢索效能
Summary：
CRANFIELD I實驗是為了測試國際十進分類法(Universal Decimal Classification)、面向分類法(Facet Classification)、依字母順序排列之主題索引(alphabetical subject catalog)，以及單詞組合索引法(uniterm system of coordinate indexing)等四種索引系統的操作效能，而實驗結果顯示四者的效能均不相上下。而其測量值分別為1.求全率，指檢索到相關文獻的能力2.精確率，指排除非相關的文獻的能力。造成上數結果的原因在於四種索引系統為了同時提高求全率和精確率所設計出之複雜產品，所以會應用相同的概念來增加系統效能。
CRANFIELD II則是為了測試索引方法的效能，其中文件以三種方式製作索引：1.使用自然語言單詞記錄索引詞2.單詞觀念結合之主題3.給予主題相關權重。實驗的第一步是決定各個文件與各個問題相關程度，其分為1.完整回答問題的2.高度相關的，可激發額外聯想3.有用的，概論式導引4.最小興趣的。而在實驗中，使用誤引率(fallout ratio)(檢索到不相關的文獻/所有不相關的文獻)可以比較不同規模的文件集效能。
實驗中測試了三種索引語言：單一詞彙語言(single term language)、簡單概念索引語言(simple concept index language)與控制詞彙索引(controlled term index)，並應用了切截、同義詞、類同義詞，總共產生了33種不同的索引方式。實驗結果證明了在CRANFIELD I時提出求全率及準確率具有反比的關係，因此要直接用這兩個測量值來比較系統效能是相當困難的。
Salton的SMART系統測試基本上與CRANFIELD實驗的目的是一樣的，均為了測試不同索引方法的效能。而其不同點在於該程式能夠呈現一可信的相關排序，同時使SALTON可以計算常態化求全率，擺脫傳統雙指標比較方法。而實驗結果顯示單一詞彙語言表現最好，控制詞彙索引居次，簡單概念索引語言則效能最差。在任何環境下，最有效的索引方式是在同義詞上進行控制，而使用未經控制所結合的自然語言單一詞彙。實驗的結果可以視為一種巧合，其原因可能在於索引詞彙的專指程度，單一詞彙語言完全反映了自然語言的專指程度，雖然透過同義詞及切截雖然會降低專指程度，但會增加其檢索效能。而簡單概念索引語言的高度專指性造成了檢索效能低落。控制詞彙索引則同時表現了前述兩個現象。
專指性與索引詞彙的數量以及索引的窮盡程度有關，前者代表著檢索效能在索引詞彙達到一定數量時為最佳，而後者則代表索引辭所涵蓋的範圍，高度窮盡會降低檢索效能。
自然語言單詞加上切截功能和同義字控制在索引工作上具有最高的檢索效能。
Comment：
本文雖然成文於1960年代，但是卻是研究系統分析時重要的文獻。其研究方法很明顯是系統導向的，其只關注查詢詞與文獻及之間的關係。而其研究結果發現自然語言單詞的索引方式的效能遠大於控制詞彙以及自然語言片語的效能，此一結果無疑對圖資界是一種震撼，因為圖資界長久以來認為唯有組織資訊才能夠有效的取用資訊，而其方法就是使用控制詞彙來聚集文獻。沒有任何加工的自然語言單詞的效能高於控制語言索引，這不正是說明了圖資界的努力是白忙一場？
但是因為其對於圖資界的衝擊過大，所以也招來諸多批評，其中對於未檢索的相關文獻數則最被人質疑。
CRANFIELD實驗是有史以來第一個大規模實驗，雖然其系統導向的研究方法在今日來看已有些不合時宜，但是其樹立的里程碑卻是不可抹滅的。今日，我們可以透過融合使用者層面的研究方法，並且加入資訊科技的應用，對於系統評估定將有更進一步的發展。
Author：Chan, L. M., & Zeng, M. L.
Title：Metadata Interoperability and Standardization: A Study of Methodology, Part I
Citation：D-Lib Magazine, 12(6),2006
Summary：
在數位圖書館及機構典藏的快速發展之下，METADATA的種類及標準也亦趨多元。METADATA的多元複雜性造成了使用者的負擔，應該研究其互通性讓使用者可以一次就完成其檢索工作。
METADATA規格是為了描述特定資源的架構，而METADATA元素集有兩個基本的元件：1.語意上的：元素本身的意涵2.內容上的：元素的值。多數的METADATA標準僅提供了元素集，並沒有提供METADATA的編碼格式。
互通性是指系統間彼此可以無損失的交換資訊，這是在發展METADATA時極為重要的原則。使用統一的METADATA標準可以提供最大的互通性，圖書館所使用的MARC即為一例，但是這只能在一開始進行數位圖書館計畫時實施，一但各界自行發展之後，各種因應個別團體需求的METADATA也就如雨後春筍般而建立。
在應用METADATA時則有四種方式a.建立標準並紀錄之，應用在一個或多個計畫b.建立以多個標準為基礎的個人檔(profile)，以其元素集紀錄之。c.多個資料庫以多個標準間的元素比對的整合方式交換紀錄。d.儲存庫自行應用新的標準個人檔來合併既有的多種紀錄。實作互通性有三個層次：1.標準層次2.紀錄層次3.典藏層次。而不同的層次有不同的關注焦點：1.標準層次-關注於標準中的元素2.紀錄層次-關注於元素間的映對3.典藏層次-關注於將字串值與特定元素連結。
以標準層次來達成互通性有幾個方向：1.衍生：從既有的標準改良之以符合自身的需求，可以保持架構基礎的一致性，翻譯、簡化、增修均屬之。2.應用個人檔：在一既有之標準下應用個人檔來滿足同一團體間不同的需求，即是在既有的框架之下重新定義元素，可以維持一定的互通性。3.交流：複製既有標準的元素或映對之，讓兩者間的元素語意可以互相對照。而其問題在於元素間的關係，如一對多、多對一、一對一、一對0等。4路由交流：在多種標準互相交流時，會產生複雜的映對工作，而路由交換則是以映對路由標準來減輕此一工作。即是各標準只映對路由標準。5.Metadata框架作業：在METADATA山頭並立時，透過框架作業可以達成有效數位保存，其目的在於將各個標準之元素分類以有效聚集類似的元素。6.METADATA註冊：確認並登記既有之標準，如此可避免疊床架屋的標準發展以及增加現有標準間的互通性，可分為1.跨領域註冊2.主題領域註冊3.特定計畫註冊4.特定標準註冊。
在網路時代，維持標準間的互通性將更為重要。.記錄層次廣泛的轉換紀錄、重複使用記錄、整合記錄。典藏層次則是透過OAI協定來統整紀錄。
Comment：
本文認為METADATA間的互通性是目前發展METADATA中最為重要的一個環節。的確，因為每一個團體對於著錄資訊的需求都不一樣，因此都會發展出各自的標準。但是屬性相近的團體發展類似的標準則會有疊床架屋的資源浪費，所以加強不同標準間的互通性，對於資訊的組織會更為有效。
