作者序
當我的第一本書《評鑑研究》甫於1972年出版，評鑑是當時研究領域的新工具。這段期間以來，評鑑的經驗逐漸累積。許多類型方案當時正經歷首次嚴格的檢視，今日已成為數以百計、甚至是數以千計的評鑑討論主題，我們對於方案如何有效進行運作知道的更多，我們也知道更多關於評鑑方法、統計技術和質性評鑑策略。
我們也知道要解決社會問題是困難且吃力的，需要有大量的金錢、時間、毅力及想法。本國及世界上許多其他國家的社會問題沒有什麼簡單的解決方法，沒有神奇子彈可以消滅犯罪、貧窮、疾病或是環境的敗壞。人們將持續擔心教育、暴力和社區凝聚力。改善得一步步來，而改善得需要仔細、系統化的評鑑來辨別哪種干預形式有較好的效果。伴隨著評鑑所帶來的資訊和洞察力，組織及社會將更能提升以改進人類福祉為旨的政策及方案。
本書主要鎖定三種對象：最主要是為需要評鑑入門知識的大學生或研究生。它是本非技術性的書、不需要統計知識，以簡單且容易閱讀的文字寫成。顧及新手的需求，我以淺白文字介紹研究和評鑑的概念。學生們會發覺先認識一些基礎科學的研究方法是有益的。
第二類讀者是有經驗的評鑑者們。這本書所談到哲學、基本原則和評鑑的程序，會讓已經從事評鑑工作多時（或剛踏入評鑑領域）的人感到特別有幫助。
第三類讀者是行政人員、方案主管、決策者、政府、以及基金會之方案管理人員。這些人不需要自己從事評鑑，但他們得將評鑑委託出去、檢視評鑑提案以及讀取評鑑報告。他們需要了解什麼是評鑑、評鑑可以做到什麼、以及做不到什麼、如何去辨別一個好的評鑑提案、以及好的之於壞的評鑑報告。他們必須知道如何去支持好的評鑑、以及判斷他們所讀到及贊助的評鑑有多少是值得信任的。
新增加部分
這本書是《評鑑研究》十年後的後續版本。許多討論是先前書中已提及想法的詳細闡述。比如，我依然相信評鑑者需要了解評鑑要求的背後目的，以及什麼是各方團體想要評鑑達成的使命，我相信好的設計和測量是從事評鑑所必須的，我相信評鑑有明顯的政治面向，評鑑者們需要了解方案組織內的政治，以及方案外圍的政治脈絡。
但我對幾個重要事項已有了不一樣的想法。我認知到評鑑不僅是單獨為下決定所提供的資訊。的確，讓決策者知道計畫的狀況，可以幫助他們更明智的規劃方案和政策，但這並不是評鑑的唯一功用。我已經做過關於評鑑如何被應用的研究，逐漸領悟到將評鑑發現應用於決策並不容易。除了評鑑呈現的證據以外，有許多因素會影響到做決策。當只有少部分需要改進，或是當要改變的部分符合該組織需求，來自評鑑的發現或許是最能被立即應用的。但評鑑還有許多其他重要用途，它們常對於議題、選項和意見等有長期或是間接的影響。
我也新增了主題，並針對早先版本簡約帶過的部分再加充實。我加入了一章關於質的評鑑、而且把之前僅數頁關於方案理論的部分，在這本書發展成一個完整的章節。我花了更多心力在歷程評鑑──探討方案運作中所發生事情的研究。我擴大討論評鑑者如何能透過與方案人員共同合作而獲益。在方案開始、方案進行期間、解釋結果、以及根據結果發展新方案時，合作都會相當有幫助。比起十年前、這四個主題在評鑑中變得更為重要了。
這本書也包括了方案評鑑的歷史以及它在社會當中的位置。它提供了關於測量和資料蒐集的詳細指引，而且包括了一章關於分析─在資料蒐集之後該如何處理。我也徹底地討論後設分析和成本─效益分析，也包含了討論非實驗資料的統計校正。對於整本書的論述，我也特別注意納入研究進行前、中、後階段的研究倫理議題。
綜觀
這本書的主要目的在於當作評鑑入門課程的參考用書。它提供了實用的導引、從評鑑研究執行的起始、歷經規劃階段、到研究設計、資料蒐集及分析資料、直至報告撰寫、傳播還有結果的應用。
第一章說明評鑑的定義，提供例子，以及討論數個不同的評鑑類型。它也追溯了數個世紀以前的評鑑歷史。第二章描述了哪些方案與政策參與者決定評鑑的目的，以及不同目的對後續評鑑的效果。它也探討了評鑑通常被委託執行的不同程序，以及評鑑團隊在此結構中的重要位置。
第三章討論了解方案的重要性。知道方案是什麼、如何運作、以及它被期待能達到的成效，這些將幫助評鑑者發展出一個能對重要議題有所回應的研究。第四章對於研究規劃提供具體建議。它討論了已經有的選項以及可以從中挑選的依據。它強調計畫是個不斷重複的過程，當外在條件干擾時，評鑑者需要一再地修改計畫。第五章提及利害關係人，對於評鑑及其結果有著利害關係的不同團體，而且提及何時該將這些人納入評鑑規劃與執行，並討論評鑑者如何能有效地與利害關係人合作，讓研究更合乎他們所關心的議題，受益於他們的知識，並且不犧牲更多研究的利益或可信度。
第六和第七章處理量化評鑑中關於測量和資料蒐集的議題。第六章說明方案的投入、過程、中期進展指標、結果，以及可能非預期結果的測量選擇。它列表提供了可取得測量的來源，挑選好的測量工具的依據，以及建構新測量工具的具體建議。第七章關於一系列蒐集資料的策略：非正式交談、觀察、正式訪談、問卷、已有的紀錄、檔案、已有的調查等等。它提供抽樣、不同資料蒐集方法、與資料編碼的意見，並強調（誠如前述的章節）所涉及的倫理考量。
設計是評鑑中的關鍵要素：指出哪些部分將被研究、如何選擇、將進行什麼樣的比較、以及這些探究進行的時機。第八和第九章強調設計必須符合待答問題，且指出必須考慮進去的重點。第八章呈現了各種設計──從方案參與者的非正式評鑑到比較團體的運用，包含調整比較組的方法到接近參與方案的團體。第九章描述控制實驗，根據隨機分派將參與者分配至實驗組和控制組。該章指出如何實施隨機實驗，並討論過程中可能發生的問題，也討論對於設計的批評，並且檢視什麼批評是有根據的，而什麼是需要被處理的。第十章提供三個讓設計更完善的機制：重複試作（replication）、後設分析（meta-analysis）、成本效益（cost-benefit）以及成本效能（cost-effectiveness）分析。它解釋了每個程序的作法、以及何時使用他們具正當性。
第十一章敘述質性的評鑑。它描述了幾個質性的研究類型、對資料來源、資訊的蒐集、分析策略以及在研究現場所產生的研究倫理議題提出建議。它提到如何綜合質性的與量化方法、對於質量並用的建議。第十二章提供分析及詮釋資料的導引。它提供質性與量化研究相同的指引，說明分析工作的邏輯。
第十三章聚焦在報導結果和傳播給相關的讀者。它提供報告的技巧及滿足不同大眾的訣竅。絕大部分在強調溝通和結果的傳播，它提及評鑑者的責任──尤在鼓勵評鑑結果的應用，建議應用到方案議題和政策上。第十四章歸納本書的主軸，也是我希望能受重視的。
致謝詞
無法去感謝所有的人，他們的經驗、想法、鼓勵與批判都提升我對評鑑的瞭解。我得列出所有評鑑書籍與文章的目錄（至少是那些我曾讀過的），列舉出十多個國家中、數百篇評鑑報告的作者，還得列出好幾屆在我評鑑課堂上分享他們的興趣與疑惑的學生們。雖然我感謝其他數以百計的其他人，但在此僅限於那些直接幫助過我的人。
我極其幸運地在身為行為科學進階研究中心
（CenterforAdvancedStudyintheBehavioralSciences）一員的時候，開始寫作這本書，該中心孕育著豐富且樂於助人的同事情誼。我在哈佛大學任教時完成這本書，一個能自我豐富滋養的環境。兩個具仁慈且彌足堅毅的人閱讀整個初稿而且給了很好的批評：WillShadish和JanetWeiss，而我欠此兩位的恩情至深。他們看過隱藏的內容以及寫出的文稿，使我釐清我想說的。
JohnWillett仔細地讀了四個關於設計與分析的章節，教導我、跟我辯論，而且幫我指出正確的方向。RobertT.Brennan審視關於測量與資料蒐集的章節，做了細部的建議，使得內容更正確且完整。其他讀過初稿且幫助我在內容上有所改善的還有JosephMaxwell,MercerSullivan,HarrisCooper,以及SharonRallis。LeeCronbach,DavidFetterman和JudithSinger提供參考書目、建議和洞察力。
JayBraatz在辭典及圖表上幫助甚多。也感謝 StuartYeh,ChrisMazzeo,MaryJoLarson在圖書資料的協助。謝謝 MarkAnderson-Wilk和KathyGeorge幫忙初稿的打字。
我特別感謝JohannaBirckmayer。Jo一直是資訊和建議的來源。她閱讀後續的文稿，這數月來的批評、判斷、鼓勵讓我受益匪淺。
在這本書中如果仍有任何缺失就該是一群指導教授們的責任了。（純屬虛構，只是這麼說很有趣。）
CarolHirschonWeiss
（美國哈佛大學教授）
黃序
評鑑，在二十世紀即已發展成為很重要的學術強項，各個學術領域莫不把評鑑納入其研究範圍，視為重要的環節，進入二十一世紀，其重要性越來越高，應用得越來越普遍。在此風潮下，國內的評鑑領域亦蓬勃發展起來，且受到績效主義的加持，幾乎到了無所不評鑑的地步，尤其是政策和方案的推動，莫不掛上評鑑，實施階段性或總結性的評鑑，這雖有其理解及改進效果存在，但若未做好規劃和實施，也可能造成評鑑的泛濫和災難。
評鑑領域在追求科學化的過程中，一定要注意科學不等於量化，更勿遺忘評鑑的人文面，宜把評鑑視為人的工作，要符合人性的本質，也要注意人性的弱點。評鑑領域發展迄今，卻走過不少歪路，常見問題之犖犖大者有幾方面。其一為評鑑的目的在改進或績效，前者令人感到溫暖，有助於進步和發展，後者令人感到緊張，可供決策之用，卻常產生事務真相的矇蔽，兩者如何拿捏是一門學問。其二是量化主義盛行，評鑑常以數據代表成績，忽略事務的質性層面，脫離事務複雜的本質，以致評鑑結果的用途出現嚴重的侷限。其三為僅重評鑑事務的最終結果，不重視事務發展的背景、輸入和過程，導致無法對事務進行全面的理解，也就難以真確地判斷事務的價值。其四是評鑑完成寫出報告，常被束諸高閣，未能妥善利用來改進或發展，評鑑變成只是整個政策或方案過程的儀式，白白浪費評鑑資源。其五是各項評鑑工作未加以整合，各機關團體不斷接受各種評鑑，花費許多資源去準備評鑑資料，反而沒有時間致力於做好本身該做的事。最後是評鑑倫理問題，評鑑工作有許多倫理尚待討論、澄清和實踐，其中的政治、權力和利益關係更是關鍵。所有的評鑑都必須面對並解決這些問題。
個人身為評鑑學術和實務的工作者之一，常需要針對前述問題尋求解決之道，讓評鑑發揮更大的價值。很高興看到臺灣師範大學教育系王麗雲副教授及其團隊，以信雅達的文筆譯出「政策和方案評鑑」，該書是評鑑學術巨擘美國哈佛大學教育學院CarolH.Weiss教授的重要著作，原文自出版以來對學術和實務界的影響深遠。該書內容包含評鑑的意義、目的、方法、設計、利用與倫理，理論實務兼具，有助於解決長久存在的評鑑問題，堪稱評鑑研究者和工作者必讀的好書。
王麗雲博士專研政策與評鑑，研究著述質量俱佳，就讀於哈佛大學時，受教於CarolH.Weiss教授，對其學術知之甚熟稔，由她主譯本書再恰當不過。個人曾受CarolH.Weiss推薦，於1986-7年間在哈佛大學擔任訪問學者，期間閱讀不少她所發表的著作，完成課程評鑑專書，對她感念甚深。故值此譯著面世之際，樂為之序，期待該書得以推進國內評鑑領域的良性發展。
黃政傑
靜宜大學教育研究所講座教授
臺灣教育評論學會、
中華民國課程與教學學會理事長
2013年11月18日
主譯者序
國內改革與政策經常推陳出新，應接不暇，令人眼花撩亂，這些改革或政策也投入不少經費，動輒數千萬、數億、數十億，有些又需動員相當多基層人力配合執行，人力物力時間成本高。不過，這些改革、政策與方案是否達成原先預期的目標？如果有，值不值得？又產生那些未預期的效果？更重要的是政策或方案為什麼有效？或者又為什麼無效？如果無效，是政策設計的問題？還是政策執行的問題？這些問題極少受到重視與研究，長久以來政府經費不斷投入，基層人力也隨改革忙碌或空轉，卻少有人問：「政策或改革成就了什麼？」
「只問耕耘，不問收穫」的心態，讓政策領域無法累積知識，提升政策設計與政策工具的品質，長久以往，人力物力浪費不說，更讓大眾對改革冷漠、疏離、習慣性排斥，讓未來的改革或政策推動更為困難。《政策與方案評鑑》一書，即是由評鑑的角度，探討政策與方案的成效與成敗原因。政策失敗固然令人扼腕，但是不知道為何失敗，甚至不斷重複失敗，無法產生有效的政策學習，無法更聰敏地施政，是更大的罪惡。掌握國家巨額經費，掌控基層人力精力、時間的決策者、立法者、行政人員，都需具備政策與方案評鑑素養，除了努力推新政策、新改革外，更要透過評鑑自問自省，掌握政策或改革的績效與問題，讓經費與人力物力作最佳的運用，也讓政策或改革的目標可以達成。成效不彰的改革，不如不做。缺乏評鑑反省的改革或政策，常只是權力或利益重分配的工具，或是天真者的遊戲場，看不見改革或政策的實質效益。
政策與方案評鑑是系統性的研究，是以本書亦是研究法的著作。國內研究法的書，較偏一般性，不太適合政策與方案評鑑與研究所需處理問題特性。雖然政策與方案評鑑在資料蒐集與分析上與一般研究法無太大差異，但是在研究問題擬定、研究準備、研究設計、研究（評鑑）者角色、研究結果應用等面向上，卻有較不同的考量，本書對這些議題有很清楚地說明。簡言之，政策與方案評鑑者要在政策或政治領域有所貢獻，優秀的研究能力是不可缺的，才能在政治叢林中發揮啟蒙（enlightenment）之功。
本書作者Dr.CarolH.Weiss是哈佛大學教育學院教授，也是評鑑研究（evaluationresearch）領域的知名學者，關心政策實務與政策研究，在其學術生涯中參與美國聯邦政府相當多政策研究或評鑑案，如貧窮戰爭（WaronPoverty）、青年方案（YouthProgram）等等，對於研究在政策領域的能與不能有深刻的瞭解，也累積豐富的實務觀察與心得，引發她另一個重要研究貢獻：「研究應用」（researchutilization），現在也是美國教育研究界重要的議題。Dr.Weiss曾說：「評鑑是在政治脈絡下的理性工作」（Evaluationisarationalenterprisethattakesplaceinapoliticalcontext.）。
談到評鑑者的角色，認為評鑑者應該「視自己為發展行動所需知識事業的一部分」（Evaluatorsshouldviewthemselvesaspartofanongoingenterprisetodevelopknowledgeforaction）。Weiss也提醒評鑑者，「沒有什麼比一個好的理論更實用了」（Thereisnothingaspracticalasagoodtheory）。政策與方案評鑑不能只是說政策或方案好不好，更要能解釋政策或方案為什麼好，或為什麼不好。換句話說，政策與方案評鑑是理論建構的過程，不只是價值判斷的活動。國內的政策與方案評鑑做得不多，多以價值判斷為焦點，將評鑑拉到政策理論建構層次的，少之又少，也難怪國內政策或方案的品質與成效常粗糙、盲從、濫情。
Dr.Weiss雖然在哈佛大學教育學院工作，但本書對教育以外其他領域之政策與方案評鑑都能適用。舉凡教育、社會、衛生、交通、警政、稅賦、財政、醫療、勞工等公共行政與政策領域，只要想改進政策品質，都可以由本書獲得相當大的啟發。耐心讀完本書，對於政策與方案評鑑的研究設計與實施，以及政策與方案的改良精進，將能建立完整的概念。
我在1991年獲公費赴哈佛大學教育學院求學，認識Dr.Weiss，有幸成為她的指導門生，開啟了我對政策與方案評鑑的研究，也因為她的鼓勵支持，讓我辛苦但充實的完成博士。Dr.Weiss的為人與為學，是我的楷模，女性在政策研究界相當孤獨，有這樣的楷模走在前面，後人步伐更為堅定。慚愧的是老師上課很少講自己的東西，都是以他人的作品為主，一直要到後期才自己發現老師在學界的成就與地位，若早些挖掘，或許有更多深入請益的機會。一直往外看，往內想，就是Dr.Weiss的學術特質。
這本書開始翻譯已久，越來越忙，只能獨力完成前六章，感謝江淑真博士、謝卓君博士、李明穎、張繼寧、林芳穎的幫忙，完成其他章節。
Dr.Weiss於今年一月辭世，本書能在同年由我與我的指導學生一起完成，也算是獻給Dr.Weiss的紀念，感謝她帶給我們的智慧與信心，希望一起繼續努力，跟著Dr.Weiss的步伐，透過評鑑研究，提升政策與方案的品質。非常感謝黃政傑教授能替本書寫序，他是我碩士班的指導教授，當初我會報考教育部公費留學教育評鑑學門，進入哈佛大學求學，也是黃老師的啟發帶領，他與Dr.Weiss也熟識，沒有人比他更適合寫推薦序。
本書的第1至6章及評鑑辭典由本人翻譯，江淑真博士負責第7至9章、第14章。東華大學謝卓君教授負責第13章，同樣也獲得公費留學獎學金赴美攻讀博士的李明穎小姐負責第11章，張繼寧博士生負責第12章，和平高中林芳穎老師負責第11章。校閱則由本人負責。
最後要謝謝學富發行人于雪祥先生的支持與耐心，沒有他的協助與理解，這本書不可能問世。
王麗雲
國立臺灣師範大學教育學系、
教育政策與行政研究所副教授
2014年5月20日
