让研究效益变得激动人心:大学可以从2014年的REF学习到什么

  英国在1986年成为第一个引入基于绩效的大学资助计划的国家。该计划在当时的名称为“科研评估”(现已被改为“研究卓越框架”-REF)。此后,该系统也成为了其他几个国家制定评估框架的范本。但有趣的是,没有任何一个国家完全复制英国的版本(部分国家曾经尝试复制但最终放弃了这种做法)或没有达到英国每隔几年就进行评估的规模。

 

  在英国的下一轮评估,即2021年的REF拉开序幕前,我们将聚焦研究影响评估这一仍然属于新颖的概念,并特别关注REF在英国的发展。我们简要讨论该框架自1986年以来的发展以及其对英国和其他国家的研究环境的影响。我们采访了在四所英国大学(即伦敦玛丽女王大学、伦敦国王学院、伦敦政治经济学院以及巴斯大学)内负责推动影响评估的核心人员。我们尝试理解2014年REF的情况以及大学如何为2021年的REF做好准备。这些影响评估官员和管理人员的见解将为英国大学如何符合REF的要求以及目前引导研究人员了解影响评估的做法提供一些启示。我们还从2014年的REF中选取了三个案例分析报告,以凸显出研究所可以产生的各种影响。

 

  我们希望本期内容可以促使大学、资助机构、政策制定者和其他利益相关者在其他国家(尤其是在缺乏绩效评估的亚洲国家)设立类似的框架,并为研究推广和产学合作关系提供借鉴。

Articles

可信赖的顾问:利用经验和专业知识为巴斯大学带来改变

巴斯大学信息与影响力主任 Katy McKen 的访谈   充分利用有限的资源   大学里有形形色色的岗位和许许多多的人可以为研究绩效提供支持——与利益相关方接洽、构思 REF 案例分析以及建立证据来显示影响力等等。影响力和研究开发经理帮助研究人员填写申请表,帮助他们确定参加哪些活动可以获得影响力提升。公共参与小组公众负责培育积极的文化氛围,打造高质量的科研及公众参与文化。数学创新研究所帮助业界理解数学在解决手头问题上的价值。学校还有一个政策研究机构,协助与政策制定者进行接洽。新闻团队策划媒体报道,提高研究的媒体覆盖率,并追踪研究见报情况。大学里还有一个叫做Pure的研究信息系统,研究人员用它来记录影响力信息。   每个学术院系都设一名影响力主任,其职责是为研究人员提供支持,让研究人员将影响力思想融入到研究中去。其工作包括提供如何争取影响力资助的指南以及寻找合适的专业服务团队。RIS 团队还打造了一个影响力总监网络,促进大学内全体教职人员分享先进经验。McKen将其描述为“充分利用有限的资源,最大限度地共享学习经验和专业知识”。她认为影响力关乎整个大学的合作,而合作是提升影响力的唯一方式。     围绕“影响力”鼓舞人心   McKen说,整合一份...

二人之师:协同促进伦敦政治经济学院的影响力发展和文化变革

伦敦政治经济学院科研影响力经理Rachel Middlemass和科研影响力助理经理Kieran Booluck的访谈   “就我们两个人”   伦敦政治经济学院的影响力团队只有Middlemass和Booluck两个人。“团队里只有我们两个人,我们的工作相似。” Middlemass说,“我们俩都与学者讨论他们的学术影响力,并帮助他们写相关的案例分析。除了与学者一对一合作,我们的日常工作还包括与校内各院系和中心的科研影响力协调员合作,向学校的REF战略小组汇报,调度REF案例分析开发所需的资源。”   争取更多信息   谈到需要怎样的资质或者性格才能胜任影响力经理一职时,他们表示科研背景并不是必要条件。Booluck says说:“如果你对科学研究有广泛的理解和兴趣,思想开放,能够认同科研可以以多种形式对经济或社会产生实际影响,那你就是合适的人选。”Middlemass补充道:“你还需要掌握一点人际交往技能。你得花很多时间没完没了地追问人们‘那又怎样?’!你得尽量多地获取信息,但又不能让同事反感或恼怒。显然,如果你由衷地对他们的科研感兴趣,那对工作肯定会有帮助。”      挑选值得关注的故事   伦敦政治经济学院拨出“颇大一笔”资金来支持与科研影响力相关的项目;参与资金分配决策也是Middlemass和Booluck的职责。伦敦政治经济学院援助的知识交换项目是未来REF案例分析的重要资源,但目前并没有现成的“挖掘”案例的方法。他们对伦敦政治经济学院科研影响力的了解大部分来自交谈。“我们非常依赖和科研人员的对话。”...

资源汇总——科研影响力领域的“第一夫人”

伦敦国王学院 REF 交付总监 Jo Lakey 的访谈   多元化背景增分添彩   Jo Lakey 解释说国王学院并未设置影响力办公室。Lakey 管理着一个由5名影响力负责人组成的团队,他们与校内各院系一起准备影响力案例分析。他们还负责确保人们意识到研究影响力,并且要将相关训练整合到一起,还要确保包括一个实用网站在内的各种资源具有可使用性。   该团队由来自不同背景的成员组成:有些人具有生物科学背景,有些人则来自艺术和人文领域。其中,有两名成员拥有博士学位且从事过博士后工作。Lakey说:“我认为,拥有博士学位可以让他们具有学术可信度,同时也意味着他们掌握了学术研究的用语。”工作经验也同样有帮助。其中一名团队成员曾就职于一家开发影响力跟踪软件的公司,对创建案例分析和证明研究影响力的技术有全面的了解。另一位曾在国王学院的筹款团队工作,在与学者讨论近期工作方面有着丰富的经验。有一位成员曾在博物馆担任科学传播员,在公众参与方面很有经验。Lakey澄清道: “我们并不是按照专业领域来雇人——至少我们从来没有想过以此作为评判标准——但是,他们确实需要有一些辅助研究的工作经验。”    ...

打破壁垒: 帮助学者看到他们的科研成果在学术圈外的益处

英国_Natalie Wall-伦敦玛丽女王大学 投资建设高影响力的基础设施   加入伦敦玛丽女王大学时,Wall注意到该校已建成结构合理的影响力管理系统。Wall说:“我真的很喜欢玛丽女王学院的组织架构,这所学校与其他大学不同。大多数大学的组织架构都不像玛丽女王大学这样,让影响力渗透到每一个层级。”   除了Wall外,伦敦玛丽女王大学的影响力团队还包括一名分管科研影响力的副校长(学术方面),每个院系都配有三名影响力评估官员。此外,每个院系都有一名副院长分管影响力工作,该人负责与影响力团队密切合作。除了专职团队,还有许多专业队伍为影响力工作提供支持。   为评估案例分析的质量,伦敦玛丽女王大学组织了两次模拟演示。显然,伦敦玛丽女王大学在建设影响力基础设施和打造强大网络方面投入了大量资金,Wall希望这些努力能帮助该校在即将到来的周期评估中脱颖而出。   供需问题   Wall解释说,影响力领域并不缺乏就业机会。大学很重视这个新领域,为此付出时间和努力,让大家愿意投入到影响力工作中。这很正常。Wall说:“如果你想找影响力方面的工作,你会发现现在机会特别多,但是因为需求量太大招不满人。你得考虑你需要怎样的技能。” 影响力官员需要怎样的技能?Wall认为,除了写作,人际交往和沟通技巧也很重要。Wall说:“你得有能力和别人交谈,因为你在要求人们接受新事物。”她解释说,影响力工作并不局限于研究与教育。理解研究文化也很重要,如果从业人员有研究背景,也会有帮助。     推动文化变革 Wall认为,影响力官员的职责就是让人们关心影响力。Wall说:“我们推动了文化变革。你走进一家学术机构,改变人们对研究的看法。” 她补充道:“许多非研究密集型大学也能产生影响力,因为他们对研究有着不同的看法,而这正是他们的发光点。令人惊叹的是,即便不是研究领域的佼佼者,不同类型的大学在影响力方面的工作都做的特别好。我觉得这很暖心,影响力表明你可以在一些事情上做得很好,可以有很好的人际关系,可以用不同的方式关心一件事。也许,你的大学以与众不同的方式运作。也许,你所在大学的研究成果并不总能获得四星,但成果的影响力还是会展现出来。”...

影响力计划是否改变了英国的大学文化?

  威廉·吉布森写道:“未来已经到来——只是尚未流行。”在影响力计划的构建者们看来,用这句话形容未来,可谓恰如其分。当前,“影响力”这个词已在英国的学术语汇中站稳脚跟,但提及支持及推动影响力,不同大学和机构内部文化的变化程度各不相同。   2014 年研究卓越框架(REF)正式将影响力纳入评估体系,旨在推动大学更为认真地处理研究在学术圈以外的影响力:更为努力地转化知识、寻找外部合作伙伴、借助研究对社区和社会产生影响。此举在短期内激起了敌意与恐慌:敌意来自恐惧,许多学术界人士担心他们将被迫开展商业化研究,另一些人则反对将研究工作视为工具;恐慌则因为大学必须在很短时间内提供案例分析,然而,由于此前没有影响力方面的要求,大学手头并无验证研究影响力的可靠证据。   2021 REF 中保留了研究影响力案例分析版块。然而,这一次,各机构的情况大为不同。从 REF 评估周期启动之初,各大学就知道其将对研究影响力提出案例分析要求。他们有时间制定提升影响力的战略,他们也知道如何开展与影响力相关的支持活动。他们有机会雇佣员工、搭建支持架构、募集影响力相关工作所需的资金。学者们有足够的时间掌握“影响力”这一概念,并且在研究项目计划书中贯彻这一概念。每个人都意识到需要从产生影响力的那一刻起收集有利的证据以充实案例分析材料。   去年,我发表了一份白皮书,名为《英国大学影响力支持体系的演进》(The Evolution of Impact Support in UK...

以较小的代价产生最优的效益:影响评估的必要性

英国于1986年面临经济动荡时,由于对公共资金的使用限制日益严格,导致一些要求加强问责制的政策也应运而生,该国推出了一项基于绩效的研究资助系统(现在称为REF)。该系统将大学的资助与其绩效联系在一起,以引入责任机制,并为有限资源的战略分配提供了参考。   该系统于2014年引入了“影响力”作为指标,以衡量某研究项目在学术界以外的效益。在此之前,英国的学术界人士普遍在基础研究最终会于各方面造福社会且科学家无需为自身研究提供其效益证明的假设前提下进行研究。随着影响评估计划的引入及研究资助转向更取决于研究效益而非研究产出,学术界人士不得不展示自身研究可以为社会所带来的价值。普遍认为,将研究资助(根据REF,英国每年的资助金额为约20亿英镑)与其产生的效益联系在一起,是对大学和研究人员为发展高等教育领域的世界级研究基地做出贡献的强大动力,也是提升英国研究卓越水平的唯一途径。   REF对“影响力”的定义为“对学术界以外的领域,如经济、社会、文化、公共政策或服务、健康、环境及生活质量所造成的影响、改变或效益”(re.ukri.org)。“在学术界以外”这一关键词对于了解REF的目的至关重要。这与学术影响或期刊的影响因子有所不同,后者与REF所谓的“影响力”无关。REF的主要目标是: “为研究资金的选择性分配提供参考; 为公共资金对研究项目的投入提供问责机制,并为该笔投入可产生的效益提供证据; 为高等教育界以及公共信息提供标竿并建立‘声誉’标准。”(ukri.org) 定性和定量   REF是使用绩效指标和专家评估对机构绩效进行评估的开创性方法。香港、澳大利亚、加拿大和一些斯堪的纳维亚国家均已采用了类似的框架来评估大学的绩效,但与这些框架不同的是,REF高度侧重于研究在学术界以外的效益(2014年及2021年分别为20%和25%),并且将同行评估作为关键途径。   REF使用的主观评估方法与“定性指标需要专家评估作为辅助” (Hicks et al., 2015) 的这一观点是一致的。然而使用这种方法的国家并不多。丹麦、芬兰、瑞典和挪威都坚持依据定性指标来决定资金的分配,这主要是出于成本考虑,并且这些国家并未察觉将资助与基于同行评价的研究评估联系在一起的好处。例如,瑞典和荷兰允许大学在内部专家组的帮助下独立进行研究评估,而这评估并未被资金考量所影响。  ...

案例分析报告

案例分析报告1:改善中低收入国家中公众获得心理保健服务的可及性(伦敦大学卫生与热带医学院) 研究概述 在中低收入国家中,与健康状况相关的残疾中有超过20%是由精神卫生问题所引起的。本研究于2000至2012年间进行,以达到以下三个目标: 展示中低收入国家就精神卫生问题所承受的负担。具体研究方式包括:对精神障碍负担和具有成本效益的治疗方案进行系统概述、对印度的自杀死亡率进行全国性调查、在60个国家中就抑郁症与其他慢性疾病的关系展开人口调查、探究精神卫生问题与母婴健康和慢性身体健康问题的关系,以及研究弱势、社会排斥和精神卫生问题的循环。 显示有效的治疗方案可在印度等资源匮乏地区由非专业医护人员提供。 展示精神卫生科研资源和成果的不足和分配不平等之处。   效益概述 本研究对心理保健服务的多个领域产生重大影响。 政策制定 – 在2008年,世界卫生组织(WHO)发布了一项旨在扩大心理保健服务的行动计划,并随后在2013年通过了全面精神卫生行动计划的决议。印度卫生部于2011年成立了一个负责撰写印度首项精神卫生政策和为扩大国家心理保健服务规模提供建议的小组。 联盟团体 – 全球精神卫生运动于2008年发起,旨在提升提供给全球精神障碍人士的心理保健服务。...

您的研究如何造福社会

“您的研究如何造福社会?” “我不太明白这个问题的意思。”   东京大学教授,同时也是诺贝尔物理学奖得主——梶田隆章与他的学生得奖后在某活动上的对话在网上受到了广泛关注。很多研究人员都对梶田教授的观点表示支持。   我依然很清楚记得自己采访梶田教授时曾经问过类似问题。梶田教授答道:“基础研究的目的并非是要以可见的方式造福社会”。我同意这种观点。一般来说,追求真理是研究人员的主要目的,而研究人员如果想要创造能造福世人的东西,则应该投身于私营领域。   然而,鉴于现今很多国家均以大量公共资金资助大学,并投资于学术活动和科技发展,因此公众对学术界回馈社会的期待并非是出乎意料的。在上一期的《Blank:a》中,我们讨论了亚洲大学所面临的诸多挑战,例如提高以论文数量为衡量的研究产出、提升大学排名、增加专利收益以及进行更多联合研究项目等。我们决定于本期内容中探讨英国的大学环境。在英国有近160所大学,几乎全为国立大学。由于接受公共资金的资助,关于这些大学是否有责任回馈社会的议题也引发了激烈的讨论。英国大学如今受到了更严格的审查,而政府也实施了一些促使他们进行改革的政策。   英国的影响评估机制开创了政府敦促大学根据社会需求以特定方式进行改革的先例。我们所采访的影响评估官员不断提及影响评估,并非迫使所有领域的研究人员都要为社会带来效益。确切的说,该影响评估机制反映了政府希望改变学术界文化的意图,其中包括研究人员在进行研究时应注重社会影响,而其最终目标为让研究人员和大学被视为可以为社会做出贡献的一分子。   我们采访了来自四所英国大学的影响评估官员,并发现他们在访谈中均提及以下主题: 虽然影响评估是一项全新的计划,但已经被很多大学所接受。 他们认为该计划改变了大学的态度。 影响评估官员对于与大学研究人员的合作充满热情。 改变大学的文化是一项意义重大且充满挑战的任务。我们需要向那些在深知影响评估计划的风险,但仍然大刀阔斧推动改革的英国政府和大学教职人员致敬。   在我遇到过来自各国的研究人员及到访过的国家,大学给我们的印象是一个神圣的机构。而英国政府呼吁研究人员展示他们的研究将如何造福社会,确实是个具有开创性的做法。澳大利亚和香港追随了英国的步伐,同样引入了影响评估框架,而这可能会成为一               项全球性的改革运动。我于2019年9月在日本举办了一场关于影响评估的研讨会,该话题引起了不少听众的兴趣。从这种全球趋势来看,将来日本、韩国和中国等研究产出最高的亚洲国家可能会理所当然地引进类似的系统。   如果相对不为人所知的研究能够以公众能理解的方式进行解释,并能让公众理解其社会效益,那该研究就可能得到更多公众支持,并吸引捐款、研究拨款等资金援助。一些在大学校园短暂停留的人士可能会因大学可提供更多机会而呆上更长一段时间。斯坦福大学已经成为美国的创客空间。同样地,研究界和社会可通过信息的联通更加紧密地连接在一起。更多的大学由于吸引了更多学术界以外的人士,能以其独特的性质而更广为人知。   影响评估可以为“研究如何造福社会?”这一问题提供答案。正如本期内容提到的,经影响评估的案例展示了一些较难以让他人理解的领域的研究效益,例如对经济、医学发展、事态、心态、行为和公众认知的影响。我们采访的一位影响评估官员说道:“每位研究人员在撰写研究计划时都会考虑其研究的意义,而这就是考虑其研究效益的起点。”另外一位影响评估官员也提到:“在引入影响评估之后,研究人员在研究计划的讨论阶段对其社会影响进行辩论已成为常态,而这本身就已是一项重大影响”。...

other features