Accounting for users' inflated assessments of on-line catalogue search performance and useful

 

Author：Charles R. Hildreth

Title：Accounting for users' inflated assessments of on-line catalogue search

performance and usefulness: an experimental study

Citation：Information Research, 6 (1).2001

Summary：

    使用者在使用線上目錄等電腦檢索系統時，往往在檢索結果不佳時，依然表現出高度的滿意度，此為誤判現象(false positive)。使用者導向的研究方法的基礎建立於使用者是檢索結果的最佳判斷者的假設上，因此有必要重新檢視檢索結果品質及系統效能彼此間的關係。  WEBOPAC的易於始用性往往較為受使用者關注。本實驗比較WEBOPACE與TEXT-OPAC間的檢索效能、好用度、系統實用性、成功檢索。旨在討論以下問題：1.使用者為何經常過份評價OPAC.2.什麼會影響使用者對於檢索效能、好用度、系統實用性的判斷3. 檢索效能、好用度、系統實用性與檢索結果的關連4.使用者的特性與檢索效能、好用度的關連5.檢索介面與檢索問題難易對於成功檢索的影響6.檢索問題難易度的影響7.WEBOPAC的好用度會不會不受檢索問題難易影響8.誰能從新科技獲益？

    CRANFIELD實驗建立在兩個假設上1. 認為使用者想要檢索到大量的相關文獻同時拒絕大量的不相關文獻2.文獻的相關是客觀的。但是其以回現率及準確率評估系統屬於系統導向的研究方法，並沒有考慮到使用者互動的問題。而其後的COOPER提出效用的概念用來評估系統，此則是使用者導向的開端。Soergel認為使用者可能因為不佳的結果而產生滿足，因此效用不足以評估系統。Tessier則指出了滿意的四個面向：1.使用者的主觀經驗2.圖書館整體3.參考服務4.個人與圖書館的互動。Delone和McLean指出六個反應系統效能的因素1.系統品質2.資訊品質3.使用4.使用者滿意度5.個人影響6.組織影響(系統效能的多面向)。當前利用登錄檔分析、調查表、面談、錄影觀察以及傳統的回現率及精準率來評估系統。滿意度因為其高度的變動性在測量上也相當困難，而且各家研究者之間並沒有統一的定義，使用者特性也常被忽略。Applegate指出了誤判現象，其將使用者滿意度分成三種：1.物質滿足2.情緒滿足，前者可以透過回現率及精確率計算，而後者則是使用者主觀的表達。在線上目錄出現之後，研究發現使用者經常滿足於不佳的檢索結果。

    本實驗比較兩種不同介面的OPAC，一為GUI/WEB，一為TEXT/MENU，並將檢索任務難易度分為簡單/難兩種，將實驗對象分成四組，各為GUI/簡單、GUI/難、TEXT/簡單、TEXT/難。OPAC為university of tulsa的館藏目錄，兩者只有介面上的差異，擁有相同的資料庫及索引。每組實驗各有十六人要完成十六種主題檢索。使用者事先並沒有經過任何訓練。使用者必須將所檢索到的索書號記錄在工作單上，並在檢索完成以後填寫問卷。問卷是為了調查系統好用度、實用度、檢索結果滿意度，其使用4-5點的likert scale來進行填寫，同時包含了使用者基本資料。

    實驗假設：1.WEBOPAC的檢索效能會比TEXTOPAC來得好2.簡單檢索的效能會比難的檢索效能來的高，無論是WEBOPAC/TEXTOPAC3.使用者滿意度會反映在檢索滿意度上4.系統好用度等非檢索效能因素會影響使用者的滿意度5.WEBOPAC會比較好用6.WEBOPAC會比較有用7.WEBOPAC的檢索滿意度會較高8.檢索難易度會影饗系統好用度9.檢索難易度會影響檢索滿意度。

    檢索評分由專家重複檢索一次問題集，決定所有相關的書目，並將實驗之檢索結果分為相關(2分)，可能相關(1分)，不相關(0分)

    實驗比較了四個獨立變數1.檢索結果2.檢索滿意度3.系統好用度4.系統實用性

    檢索滿意度與系統好用度、系統實用度有所關聯，系統好用度與系統實用度也有所關聯，因此可以推論系統好用度以及系統實用度比檢索效能對檢索滿意度有更大的影響。

    本實驗著眼於1.獨立變數(介面以及檢索難易度)與相依變數(檢索評分、檢索滿意度、系統好用度、系統實用性)的互動2.相依變數的關連3.使用者特性與相依變數的關連。而實驗結果指出1.檢索難易度較系統介面對於檢索結果有較大的影響2.WEBOPAC有較高的好用度3.檢索滿意度與檢索結果及系統實用度無關4.網路搜尋經驗會影響檢索滿意度及系統實用度5.檢索效能對於檢索滿意度的影響很低6.系統好用度及實用度會影響使用者滿意度。

    檢索難易度及檢索介面都會影響檢索效能，而系統介面決定了系統好用度。其次，檢索效能對於檢索滿意度的影響很低。WEBOPAC比較容易使用並且成功檢索，這可能部分說明了使用者為何經常產生誤判現象，滿足於不佳的檢索結果。

    而前述之假設可在此驗證：1.WEBOPAC的檢索效能會比TEXTOPAC來得好：可能2.簡單檢索的效能會比難的檢索效能來的高，無論是WEBOPAC/TEXTOPAC：是的3.檢索效能會反映在滿意度上：不是4.系統好用度等非檢索效能因素會影響使用者的滿意度：是的5.WEBOPAC會比較好用：是的6.WEBOPAC會比較有用：可能7.WEBOPAC的檢索滿意度會較高：不是8.檢索難易度會影饗系統好用度：是的9.檢索難易度會影響檢索滿意度：不是。

    實驗的對象並不具有代表性，因此可能無法在另一個社群呈現相同的結果。檢索結果的評分化，本質上是相關的判斷，但是並沒有考慮到未被檢索的相關資料。系統好用度與系統實用度必須要擁有不同的測量方式。必須發展出測量滿意度與檢索結果和檢索效能

心得：

    一般而言，滿意度應該與檢索結果品質畫上等號，越高的滿意度就代表了越高的檢索品質。本文的觀念對我而言無疑是一個嶄新的思考角度，其實驗證明了使用者滿意度與檢索品質其實只有低度相關，相反的，影響滿意度的因素反而是非檢索功能的層次，例如好用度以及實用度。本文所指的誤判現象在電腦科技發達之後更為明顯，使用者往往因為電腦圖形化介面的親和力、直觀性而過份評價其功能。於其中應該思考的是系統的本質，以其使用者需求的本質。發展出可以客觀評價系統且能兼容使用者主觀判斷的評估模式對於系統評估而言是未來發展的方向。