当前位置在: 首页 > 传播研究
传播研究    
我国科普评估研究的发展与展望
新闻来源:宁夏科普作家协会     作者:邵华胜、郑念     发表时间:2023-02-23     阅读次数:    


[摘 要]科普评估是促进和引领科普事业健康发展的重要手段,开展科普评估研究是支撑科普高质量发展的关键。以历史脉络为主线,梳理科普评估的背景,将我国科普评估研究的发展历程分为借鉴引入、应用发展和体系构建三个阶段,并基于研究内容归纳出我国科普评估研究的重点是效果评估、能力评估、场馆评估等,总结出其存在科学性、全面性、开拓性等方面的不足。最后,结合科普高质量发展需要,提出了我国科普评估研究的改进建议:加强科普评估理论研究,提升科学性和权威性;围绕科普实践需要,全面细化科普评估举措;顺应信息化发展潮流,开拓科普评估方法。

[关键词]科普评估;效果评估;能力评估;场馆评估

评估是与人类历史一样悠久的基本活动,其目的是衡量事务的效果、效益和影响,已被广泛应用于政策、公共事务等领域。目前,评估经历了测量、描述、判断和建构四个发展阶段,建立起成熟、完备的评估理论、原则和方法,正日益成为各类项目决策者、设计者、管理者不可或缺的强大武器。科普评估通常指对科普组织、计划、活动等,通过系统地整理和分析有关资料,判断其绩效和优劣,给出评价和改进建议,以促进和引领科普事业持续健康发展的评估活动。近年来,在以评促建、以评提质理念的指导下,众多学者从科普效果、科普项目、科普能力、科普场馆等角度开展了较为丰富的评估理论和实践研究,有力地推动了我国科普评估的发展。

2014年,有学者系统总结了我国科普评估研究的发端与发展,认为其存在理论与实践研究并行、方法论探讨热烈、效果评估最受关注的特点,并根据科普事业发展需要提出外延研究有待于丰富与充实、着眼于科普评估的发展性和决策性功能、加强形成性科普评估研究的建议。2021—2022年,国家先后出台了《全民科学素质行动规划纲要(2021—2035年)》[以下简称《科学素质纲要(2021—2035年)》]、《十四五国家科学技术普及发展规划》(以下简称《十四五科普规划》)、《关于新时代进一步加强科学技术普及工作的意见》(以下简称《新时代加强科普工作的意见》)等关乎科普事业发展全局的纲领性文件,明确提出强化监督与评估、完善科普工作标准与评估评价体系。

面对我国科普事业迅速发展的新形势、新要求,本文将梳理科普评估的形成背景,归纳我国科普评估研究的发展历程、重点领域和不足,探讨科普评估研究的发展方向,以期为建立与新时代科普高质量发展相适应的科普评估体系提供参考。

1.科普评估背景

1.1 评估研究概况

第二次世界大战后,西方国家实施了众多社会项目。出于对项目效果和影响的重视,投资方和管理者开始逐步引入评估机制。20世纪50年代末,评估研究迎来了繁荣发展期,这一时期的美国在课程教育领域形成了4种评估方法:泰勒(Tyler)评估法、全国统一标准化考试法、专家评判法、现场对照试验法。此后,评估逐步向职业化、产业化发展。20世纪70年代,评估已成为社会科学的重要研究领域。进入20世纪90年代,评估工作变得日益复杂,其地域性、全球性和国际性特征日益明显,西方国家开始建立专业的评估机构。当前,人类社会已处于全球评估时代,评估活动充斥于人类生活的方方面面。

在我国,评估研究始于20世纪50年代,但直至20世纪80年代才受到重视。1984年我国加入国际教育成就评价协会,1987年国家教委颁布《关于正式开展高等教育评估试点工作的几点意见》,1988年我国政府下发《关于委托进行利用国外贷款项目后评价工作的通知》,拉开了我国大规模公共事务评估的序幕。此后,科技部于1997年正式成立国家科技评估中心,2000—2003年又先后颁布了《科技评估、科技项目招标投标工作资格认定暂行办法》《科技评估管理暂行办法》《科技评估规范》等政策文件,初步建立了科研项目评估的规范和制度。财政部于2003年开展项目绩效评估试点工作,并于2005年颁布了《中央级教科文部门项目绩效考评管理办法》。至此,我国在科技、教育等领域的评估制度基本成形。

1.2 从评估研究到科普评估研究

科技和教育评估被认为是科普评估的萌芽。20世纪初,美国的国会研究服务部(Congressional Research ServiceCRS)就开始对科技问题进行评估研究,这种评估研究已具备一些科普评估研究的特征。20世纪20年代,美国华盛顿大学便创立了教育评估系统(The Instruction Assessment SystemIAS),由于科普的教育属性,其中便包含了科普评估系统。随着科技的迅速发展,知识的流动和传播也变得越来越广泛,科普评估便逐渐独立出来,科技发达的美、英等国也较早地开展了科普评估研究。1957年,美国国家科学作家协会(National Association of Science WritersNASW)为了解公众的科学素质及其对科学技术的兴趣、态度,定量化掌握潜在科普读者的情况,首次开展了有关公众对科技知识掌握情况的调查评估研究。1983年,英国皇家学会成立了一个特别小组,评估公众理解科学对工业化国家的重要性,研究影响公众理解科学的机制及其在社会中的作用。1991年,美国国家航空航天局(NASA)负责科普活动的教育处成立了科技与评估分部,要求科普项目申请人在申请阶段就提供有关项目绩效和影响力评估研究计划。1994年起,英国评估协会公司每年都会对科技周的效果进行评估,英国公众理解科学委员会专门编写了评估手册,用于指导科普执行机构开展科普项目评估研究。

中国科学技术协会于1992年借鉴美国米勒体系开展了第一次公民科学素质调查,是我国首次尝试开展科普领域的评估研究。2002年,以《中华人民共和国科学技术普及法》(以下简称《科普法》)的颁布为标志,我国科普的地位和重要性显著提升。随后,大量的科普项目开始实施,要求建立相应的评估制度以提高管理和运营效率,同时得益于我国科技、教育等领域评估制度的建立和完善,我国科普评估研究于此时系统、全面地展开。

2.我国科普评估的发展历程、重点和不足

2.1 发展历程

2.1.1 借鉴引入阶段

《科普法》颁布前后,科普管理和研究人员对评估在科普工作中的重要性和意义已经有了较为充分的认识,开展科普评估研究、建立科普评估制度成为业内共识。由于国外较早地开展了评估及科普评估研究,这一时期我国的科普评估研究主要是通过借鉴国外的相关经验,归纳出科普评估研究的基础理论。相关研究取得了重要成果,为我国科普评估工作体系化、规范化发展奠定了良好基础。

一是明确了相关基本概念和类型。这一时期的研究首先对科普评估等概念进行了深入的探讨和界定,指出科普评估研究是对科普的理论性(科学性)、过程、效果进行度量和评价的过程,目的是了解科普项目立项的科学性、活动过程中各要素的状态和存在的问题、项目实施的效果,达到学习和提高的目标,而且为科普政策、法规、规划、项目的制定和实施提供决策参考依据,以促进和引领科普事业全面、协调、可持续发展。同时,还阐释了不同角度下科普评估研究的类型。从时间顺序角度,将其分为预评估、形成性评估和总结性评估;从评估内容角度,将其分为科普项目评估、科普计划评估、科普执行机构评估等;从评估者角度,将其分为自我评估、外部专家评估和参与式评估。

二是确立了科普评估的原则。基于科普评估具有发现问题、改进缺失和指导未来的决策或行动的功能,将以问题为导向作为科普评估研究的基本准则,同时结合系统性与灵活性、全面性与可行性的思想,以及服务科普事业健康、全面发展的最终目的,确立了科普评估研究的原则。在此基础上,研究人员认识到,在构建科普评估指标时应体现导向性、突出重点、侧重效果评估、综合运用定性定量指标、适时修改指标体系等原则。

三是归纳了科普评估研究的程序与方法。借鉴国外科普评估的实践研究经验,研究人员归纳出确定评估目的、找出评估重点、选择评估指标、敲定评估方式、编制执行计划、处理分析数据、撰写评估报告、交流评估结果并制定后续计划的通用科普评估程序,并从评估调查属于社会调查范畴的基本认识出发,归纳出文献法、问卷调查法、访谈法等科普评估研究的基本方法。

2.1.2 应用发展阶段

评估是一项实践性很强的工作,国外的经验表明,科普评估研究是建立在大量科普评估实践基础上的。基础的方法理论建立后,我国研究人员便围绕科普效果、科普项目、科普能力等内容开展相关的实践应用研究,并在这一过程中不断创新发展。

定量评估是我国科普评估实践研究的主要特征之一。随着评估实践研究的逐步展开,我国衍生出独具特色的科普能力评估,这是一个更加综合、立体的评估角度,以客观数据为基础,评估国家或地区向公众提供科普产品和服务的能力。由于存在大量数据,各种定量评估方法在科普能力评估过程中得到广泛应用,如层次分析法、灰色关联度分析法,极大提升了评估结果的直观性。

随着科普评估实践研究的进一步深入,与其他领域的交叉融合愈发明显,一些新的理论模型也被引入科普评估研究领域,如分形模型、吸引子视角、投影寻踪模型、扎根理论、 “4E”绩效评价模型等。特别是“4E”绩效评价模型,其从经济性(economy)、效率性(efficiency)、效果性(effectiveness)和公平性(equity)的角度对科普工作展开评价,经济性主要体现在科普人员、场地、经费等投入方面,效率性主要体现在科普场地的年接待人次、科普活动的单次参加人次、科普图书期刊的单品种发行数量等方面,效果性主要体现在科普场地的数量、科普活动的举办次数、科普读物的发行量、科普活动参加人次等,公平性主要体现在每万人拥有的科普人员数、科普志愿者数、人均科普经费等方面。这一模型的引入为科普工作的整体效果评估提供了研究思路。

2.1.3 体系构建阶段

随着科普高质量转型的逐步深入,我国科普工作面临的深层次问题逐渐凸显。《科学素质纲要(2021—2035年)》《十四五科普规划》《新时代加强科普工作的意见》明确指出当前科普工作存在重要性认识不到位、落实科学普及与科技创新同等重要的制度安排尚不完善、组织体系和协调机制不健全、社会力量的作用发挥不够充分、长效工作机制尚未建立、投入相对较低、基础设施相对薄弱、高质量科普产品和服务供给不足、网络伪科普流传、覆盖面与影响力仍然有限等问题,并针对这些问题明确了一系列促进科普事业发展的措施和目标任务,主要包括:强化全社会科普责任、提升基层科普服务能力、完善科普基础设施布局、壮大科普人才队伍、推动科普产业发展、强化科普在终身学习体系中的作用、提升公民科学素质水平、构建大科普格局等。

基于目标导向原则,我国科普评估研究的内容正依据上述措施和目标任务转变,致力于构建覆盖范围更广的科普评估体系。为了促进科普人员队伍建设,研究人员已开始尝试构建科普专业人才评价指标,同时建议对科普研学导师的科学素质进行评估研究。2021年,中国科普研究所与《人民论坛》杂志社共同开展了我国科普生态的评估研究,从公众的整体认知、态度与行为、信任度和参与意愿、对科普主体实践及效果评估方面,研究当前我国科普环境的状况。相关研究拓展了科普评估的内容,为构建体系化的科普评估机制做出了有益尝试。

2.2 重点研究领域

科普效果评估是科普引入评估手段的最初目的之一,目前仍是科普评估研究的重点,以评估科普活动和科普展览效果为主,目的是衡量科普的教育效果。最初,我国科普活动效果评估借助了教育评估的理论模型,如泰勒的目标模式,以及社会公共项目评估理论。后来,建构主义理论也被引入,主要评价科普活动的内容、组织实施、宣传、影响和效果等方面。例如,全国科普日期间,活动主办单位从组织动员、数量规模、宣传、亮点等方面评估研究其效果。科普展览效果评估可分为常设展览效果评估、短期展览效果评估和巡回展览效果评估,是在考查其互动性、开放性、趣味性和综合性特点的基础上,研究其教育的功能,如对中国科技馆常设展览华夏之光展厅中展品教育效果的评估。

2007年,科技部等八部委联合下发了《关于加强国家科普能力建设的若干意见》,科普能力评估开始成为科普评估研究的重要组成部分。通常来讲,科普能力是一个国家或地区向公众提供科普产品和服务的综合实力,主要包括科普创作、科技传播渠道、科学教育体系、科普工作社会组织网络、科普人才队伍以及政府科普工作宏观管理等方面。对此,研究人员借鉴评价科技工作的投入产出模型,将科普人员、科普场馆和科普经费作为科普投入的要素,将科普传媒、科普活动作为科普产出的要素,构建了科普能力评估指标体系。自2017年开始,中国科普研究所每年组织出版《国家科普能力发展报告》蓝皮书,对上一年的科普能力发展情况进行系统总结评估,为国家科普能力发展提供参考和指引。当前,加强科普能力建设是满足科普高质量发展要求的重要一环,科普能力评估无疑是科普评估研究的重中之重。

近年来,为提升科普场馆的服务水平和能力,科普场馆评估逐步推广开来。科普场馆包括科技馆、科普基地、海洋馆、水族馆等,是开展科普活动的主阵地。起初,研究人员通过分析科普场馆的功能和目的,提出从规模、可持续发展能力、社会效果三个维度对其进行评估研究。2016年,研究人员结合国内外科普基地运营管理的特色案例,提出从基础设施、运营管理、科普活动、科普成效等方面对科普基地进行研究。目前,我国颁布了《科学技术馆建设标准》和《全国科普教育基地认定办法》,为评估科技馆和科普基地提供了基本遵循。新出台的《新时代加强科普工作的意见》明确了完善科普基础设施布局的要求,因此,对科普场馆的评估研究仍需进一步加强。

2.3 存在的不足

综上所述,评估制度引入科普领域以来,相关理论与实践研究均取得了重要进展,有力地促进了科普事业的健康、可持续发展。但综合分析发现,我国的科普评估在科学性、全面性、开拓性等方面仍有明显不足。

第一,科学性有待加强。科学性是评估研究的基础,根本在于原始数据资料获取应合理、科学。目前的科普评估研究大多执着于对数据处理方法的介绍,而缺乏对数据资料采集依据和过程的描述,相关研究结果是否科学,无从谈起。数据处理方法仅是一套标准的、规范的程序,不应成为科普评估研究的重点,而数据资料采集依据和过程是决定评估研究是否有效的关键,理应成为研究过程的关键一环。在未保证数据资料是科学获取的情况下,做任何数据处理方法上的创新都是徒劳,也不利于科普评估理论的发展。

第二,存在以偏概全的风险。当前,科普评估研究存在重视定量评估研究而忽视定性评估研究的趋势。从评估流程看,定量评估研究的关键在于相关数据的收集和处理,而定性评估研究需要评估者开展大量的调研,积累丰富的经验,从而做出合理的评估。定量评估研究比定性评估研究更加方便易行,并且其结果相对直观、简洁。随着近年数字化转型理念的贯彻实施,科普的定量化评估趋势愈发明显,尤其是在科普能力评估领域。当前重视数据处理方法的研究思路,正是过度重视定量评估研究的表现,貌似丰富了科普评估研究的方法,实际上可能只是得到了重复的、无意义的研究成果。更重要的是,进行定量评估研究的前提是评估要素可量化,但科普实践经验表明,科普中的许多要素是难以量化的,如科普活动对弘扬科学精神的促进作用。因此,过度重视或强调定量评估会使得评估结果存在以偏概全的风险。

第三,开拓性亟须增强。在以5G、大数据中心、人工智能等为代表的新基建快速发展的新时代,评估行业呈现出与现代信息技术逐步融合的新趋势。当前,科普评估研究的数据获取方式以抽样调查、资料收集、专家访谈等为主,容易受到人为因素的影响,误差较大。从未来发展角度看,开拓大数据、人工智能等新技术在科普评估领域的应用,是科普评估研究亟须关注的重点。

3.未来研究建议

2021—2022年,国家先后出台了《科学素质纲要(2021—2035年)》《十四五科普规划》《新时代加强科普工作的意见》等关乎科普事业发展全局的纲领性文件,明确提出强化监督与评估、完善科普工作标准与评估评价体系,以支撑科普高质量发展,对科普评估研究提出新的要求。面对新形势,未来科普评估研究应集中于发展理论、细化举措、加强创新,以增强其科学性、全面性和开拓性。

首先,加强科普评估理论研究,提升科普评估的科学性和权威性。如前文所述,当前科普评估研究忽视了数据资料采集过程,而执着于数据资料的处理,不仅无法保证评估结果的科学性,也不利于科普评估理论的发展。未来的科普评估研究应转换思路,重视评估数据采集相关的调查实践过程,保证评估研究的科学性,在实践中寻求科普评估方法和理论的突破。简单引入新的数据处理方法称不上理论突破。此外,应重视专业科普评估研究机构的建设。鉴于理论研究往往需要雄厚的专业积累并耗费大量的精力,且当前各类研究的趋势是多学科、多领域的交叉研究,加之科普本身具备多学科交叉的特征,设置专门的科普评估研究机构,培育专业的科普评估研究人才,将有力增强科普评估研究的科学性和权威性,推动科普评估研究理论创新。《科学素质纲要(2021—2035年)》中也明确提及要深入开展科普对象、手段和方法等研究,打造科学素质建设高端智库。

其次,围绕科普实践需要,全面细化科普评估举措。《科学素质纲要(2021—2035年)》《十四五科普规划》《新时代加强科普工作的意见》对科普高质量发展提出了明确要求和目标,主要包括:形成科学普及与科技创新同等重要的制度安排、构建全社会共同参与的大科普格局、提高科普公共服务覆盖率和科研人员参与率、加强科普能力建设、突出科普价值引领作用、推动科普融入经济社会发展各领域各环节等。显然,准确评估上述要求和目标实现与否是接下来一段时期科普评估研究的重点。当前,我国科普评估的内容仍主要集中在科普能力、科普效果等方面,无法有效覆盖科普涉及的各个方面,无法顺应科普高质量发展的要求。近期,为服务和引领科普高质量发展,研究人员尝试从科普生态、科普人才等新角度进行评估探索,取得了良好的效果。接下来,仍需研究如何进一步细化科普评估,重视定性评估,以使评估全面反映科普工作实际。

最后,顺应信息化发展潮流,开拓科普评估方法。当今时代,信息技术高速发展,以人工智能、大数据等为代表的新基建正推动评估行业发生颠覆性变革,主要体现在3个方面。首先,在人工智能技术的加持下,数据挖掘能力大幅提升,并通过区块链技术等实现了大数据共建共享,催生了一系列评估数据平台,衍生出了云评估服务等新形态。其次,经大数据训练后的人工智能拥有更加准确科学的评估算法,在很大程度上可以替代人力劳动,改善了评估方法的科学性。最后,面对当前评估高度多维化的趋势,人脑已无法高效处理海量的数据,而人工智能则能极大提高数据的处理效率。在大力推动科普信息化发展的背景下,科普评估的信息化研究无疑是重要配套保障。应进一步加强人工智能、5G等信息技术与科普评估的融合研究,创新科普评估方法,探索科学有效的新路径,促进科普评估方式转型升级,服务科普高质量发展。文章内容来源于《科普研究》,作者邵华胜郑念邵华胜中国科普研究所博士后,研究方向:科学文化。

参考文献、图表等内容从略,引用请参考原文。引用本文:邵华胜,郑念.我国科普评估研究的发展与展望[J].科普研究,2022,17(5):40-46.


 
上一篇:推进科普智库建设 助力新时代科普高质量发展
下一篇:基于扎根理论-ISM的县域科普制约因素研究

宁ICP备2021001770号-1   宁公网安备64010402001042号

宁夏科普作家协会  (www.nxkpzx.cn)@2020-2022 All Rights Reserved

地址:宁夏银川市兴庆区凤凰北街172号  邮编: 750001 电话: 0951-6851830  Email: nxkpzx0951@126.com