연구 영향을 흥미롭게: REF 2014에서 대학이 배울 수 있는 점

1986 영국은 연구평가활동(현재 연구우수성체계(REF))라는 성과 기반 대학 지원금을 전세계에서 처음으로 도입하였습니다이후 REF 다른 여러 국가의 평가 체계 모델이 되었지만, 흥미로운 점은 일부 국가 그대로 따라하기를 시도하다 안하기로 결정하는  이를 그대로 따라한 국가는 없었으며 영국이   마다 시행하는 규모로 실시 국가도 없었습니다 

영국의 다음 영향 평가 주기 REF 2021 다가옴에 따라 우리 아직도 새로운 개념인 연구 영향 평가를 영국의 REF 중점으로 살펴보고자 합니다1986 이후 REF 이력과 영국과 해외의 연구에 미친 영향을 간략히 논의하고자 합니다런던퀸메리대학교킹스칼리지런던런던정치경제대학교배스대학교  영향을 지원하는 영국 대학 4곳의 핵심 인력을 인터뷰하였습니다. REF 2014 어떠한 점이 포함되었고 이러한 대학이 어떻게 REF 2021 준비하고 있는지 파악하고자 하였습니다이러한 영향 담당자와 관리자들에게 얻은 통찰력은 영국의 대학 어떻게 REF 요건을  으며 영향에 대해 연구자들에게 알리기 위해  일을 하고 있는지 보여줄 것입니다또한, 우리는 연구 영향이 각기 다르다는 점을 강조하기 위해 REF 2014 3건의 연구 사례를 선정하였습니다 

이번 호가 대학, 지원금 기관, 정책입안자, 기타 이해관계자에게 영향을 미쳐 비슷한 체계가 다른 국가들특히 성과 평가 방법이 부족한 아시아에 수립되고, 연구 활성화와 산학 협력 도움이 되기 희망합니다.  

Articles

연구는 사회에 어떤 혜택 줄까

“박사님의 연구는 사회에 어떤 혜택을 줍니까?” “질문이 잘 이해가 안 가는군요 무슨 뜻입니까?”    노벨물리학상 수상자인 카지타 타카아키(Kajita Takaaki) 도쿄대학교 교수와 학생들...

신뢰받는 조언자: 배스대학교의 변화를 위해 경험과 전문성을 활용

배스대학교 정보영향부장 Katy McKen과의 인터뷰     한정된 자원을 최대한 활용 이 대학에는 관계자와 소통, REF 사례 연구 검토, 영향을 입증하기 위한 증거 확립 등 연구 영향을 지원하는 다양한 역할을 가진 사람들이 많이 있습니다. 연구영향개발관리자는 연구자가 신청서를 작성하고 영향을 달성할 수 있는 활동을 파악하도록 도움을 줍니다. 공공참여부서는 공공 참여와 연구의 긍정적 문화를 조성합니다. 수학혁신연구소는 산업에서 문제 해결을 위해 수학의 가치를 이해하도록 지원합니다. 정책입안자의 소통을 지원하는 정책연구소도 있습니다. 언론팀은 연구의 언론 보도를 계획하며 언급된 기사를 파악합니다. 이 대학에는 영향을 기록하기 위해 연구자가 사용하는 Pure라는 연구정보시스템이 있습니다.  각 학술 부서에는 영향 지원금에 대한 지침을 제공하거나 적절한 전문 서비스 담당자를 알려주어 연구자가 영향을 자신의 연구 일부로 생각하도록 지원하는 영향부장이 있습니다. RIS팀은 대학 내 모범사례를 공유하기 위해 영향부장 네트워크를 조성하였습니다. McKen은 이를 “한정된 자원을 최대로 활용하고 공동의 배움과 전문성을 극대화하는 것”라고 이야기합니다. 영향을 대학 전체의 협력으로 보며 이러한 협력을 통해서만 달성할 수 있다고 생각합니다.     영향에 관한 관심 구축 McKen은 REF 제출 보고서를 종합하는 것이 어려운 작업이라고 합니다. McKen은 REF 2014 이후 패널 자문가였으며 그 경험을 매우 즐겼습니다. 패널과 함께 1년 정도 평가를 수행하였습니다. 그녀는 REF 2021을 위해 배스대학교에 이러한 경험과 배움을 제공하고 연구자를 위한 강력한 지원 인프라가 조성되기를 원합니다. “저희 연구자들은 강의도 잘해야 되고 연구도 잘하고 행정도 잘 처리하고 영향까지 갖추어야 한다는 상당한 압박을 받고 있어요. 저희 팀은 연구자에게서 이러한 압박을 일부 완화시키고 REF를 조금 더 쉽게 만들려고 합니다. 이것은 엄청난 일입니다. 저희가 지원을 함으로써 이러한 고통을 덜어줄 수 있기를 희망합니다. 그래서 제가 이 일을 좋아합니다”라고 McKen은 말합니다.    홍보와 영향이 어떻게 다른지 그 변화를 현장에서 추적   McKen은 작년에 여러 공공 참여형 사례 연구를 했습니다. McKen은 이러한 유형의 사례 연구가 특히 어려운 이유는 영향을 입증하기가 어렵기 때문이라고 말합니다. 이 대학의 연구자 일부는 활동이 활발하고 언론과 자주 소통합니다. 하지만 McKen에 따르면 영향은 무엇이 변화 했는지를 입증하는 방법입니다.   McKen은 테러리스트의 공격으로 피해를 받은 가족들을 돕는 단체와 함께한 연구 사례를 제시합니다. 처음에 변화의 증거는 제한되었고 실제 변화보단 언론 보도에 중점을 두었습니다. McKen과 그의 팀은 해당 연구자와 수개월에 걸쳐 협력하여 강력한 사례 연구를 구축할 수 있었습니다. 연구자와 함께한 연구로 인해 이러한 단체 중 일부가 가족들을 돕는 방식을 바꾸었다는 점을 보였습니다.  ...

전장의 듀오: LSE내 영향에 대한 의식을 제고하고 문화를 변화시키기 위한 파트너

런던 정치경제대학교(LSE)의 연구영향관리자Rachel Middlemass 및 영향지원관리자 Kieran Booluck과의 인터뷰   “단 2명밖에 없는”  LSE의 영향팀은 Middlemass와 Booluck으로만 구성됩니다. “팀에는 저희 2명 밖에 없고 비슷한 업무를 합니다”라고 Middlemass는 설명합니다. “저희 모두 연구자들에게 그들의 영향에 대해 이야기하고 사례 연구에 이를 작성할 수 있도록 지원합니다. 개별 연구자를 지원하는 것 외에 저희는 보통 학부와 연구소 내 연구 영향 코디네이터와 협업합니다. 또한 LSE의 REF 전략 그룹에 보고하고 이들의 의견을 REF를 위한 사례 연구 수립에 반영합니다.”    더 많은 정보 구하기   좋은 영향 관리자가 되려면 어떠한 자격이나 성격이 있어야 되는지 물었을 때 그들은 연구 배경이 있을 필요는 없다고 설명합니다. “연구에 대략적인 이해와 관심이 있고 연구가 경제나 사회에 영향을 미칠 수 있는 다양한 방법을 받아들인다면 좋은 영향 관리자가 될 수 있어요”라고 Booluck은 말합니다. Middlemass는 “대인관계 능력도 좀 있어야 합니다. ‘그래서 어떻다는 겁니까’라는 질문을 사람들에게 끊임없이 해야 합니다! 연구자를 소외시키거나 기분이 언짢게 하지 않으면서 더 많은 정보를 구해야 해요. 연구자의 일에 진정으로 관심을 가지면 도움이 됩니다.”        관심을 받아야 할 사례들 선정   LSE는 “상당한 금액”의 지원금을 영향 관련 프로젝트들에 배정하고 있습니다. 이러한 지원금 배정에 대한 결정을 지원하는 것 또한Middlemass와 Booluck의 업무이기도 합니다. LSE가 지원하는 지식 교환 프로젝트들은 향후 REF 사례 연구에 우수한 출처가 될 수 있지만, 영향을 “발견”하는 정해진 방법이 있는 것은 아닙니다. LSE 연구의 영향에 대한 이해는 대부분 대화를 통해 얻습니다. “연구자와의 대화에 많이 의존해요. 영향을 미쳤다고 자동으로 공지가 오진 않기 때문에 학부 내 연구자에게서 정보를 많이 얻습니다”라고 Booluck은 말합니다. ...

종합하기 – 연구 영향의 “영부인”

킹스칼리지런던 REF담당부장 Jo Lakey와의 인터뷰    다양한 배경과 가치   Lakey는 킹스칼리지런던에는 영향 부서의 사무실이 없다고 설명합니다. Lakey는 영향 사례 연구를 준비하기 위해 각 학부와 학과와 함께 업무를 하는 5명의 영향 리더로 구성된 팀을 관리합니다. 이들은 사람들이 영향을 인식하고 훈련과 유용한 웹사이트 등 자원을 제공하는 일을 합니다.   생물학, 예술, 인문학 등 다양한 배경을 갖춘 이들로 팀이 구성되어 있습니다. 2명이 박사 학위를 소지하였으며 박사후 연구원을 지냈습니다. “박사 학위를 가지고 있으면 연구자들에게 학술적 신뢰감을 주고 연구 언어를 구사한다고 생각합니다”라고 Lakey는 말합니다. 업무 경험도 도움이 됩니다. 팀원 중 1명은 영향 추적 소프트웨어를 만드는 회사에 근무한 적이 있으며 사례 연구 구축과 증거 확보의 기술적 측면을 잘 알고 있습니다. 다른 1명은 킹스칼리지런던의 모금팀에서 근무했기 때문에 연구자들에게 자신이 어떤 일을 하는지 이야기한 경험이 풍부합니다. 또 다른 1명은 박물관에서 과학 커뮤니케이터로 일하였으며 대중과의 소통에 대한 경험이 풍부합니다. “저희는 개인의 분야를 보고 고용하진 않아요. 이를 기준으로 사용할 생각은 해본 적도 없어요. 하지만 연구 지원 경험은 있어야 합니다”라고 Lakey는 설명합니다.      “내겐 영향이 없어” 태도 바꾸기   Lakey는 브루넬 대학교에 있었을 때 REF 시범 사업에 참여하였습니다. 시범 사업이 종료되고 영향 평가를 REF2014에 포함시키겠다고 결정되자 Lakey와 동료들은 사람들에게 이에 대해 설명하는데 시간을 많이 들였습니다. “누구도 제가 무슨 말을 하는지 몰랐어요”라고 Lakey는 말합니다. “대학 내에서 설명회를 많이 가졌고, 다른 학부, 학과, 연구자들에게 영향 평가가 무엇인지 어떠한 의미인지 어떻게 운영되는지 설명했습니다.”    Lakey와 대화했던 거의 모든 사람들이 처음에는 자신의 연구가 영향이 없으며 따라서 영향 사례 연구로 사용될 부분이 없다고 생각하였습니다. “제가 이들이 자신의 연구에 대해 이야기하는 것을 들어보니까 영향이 있는 것을 깨달았습니다. 그들은 그런 방식으로 생각하지 않았을 뿐입니다”라고 Lakey는 말합니다. 일부 연구자는 자신의 분야에서 영향을 측정하기가 힘들다고 주장했습니다. Lakey와 그의 팀이 직면한 과제는 연구자들이 영향에 대해 적극적으로 생각해야 한다는 점을 이해시키는 일이었습니다.       영향 기록하기   Lakey는 2013년 자신이 일했던 런던대학교 교육연구대학원에서 본 한 영향 사례 연구를 저희에게 말해주었습니다. 프로젝트 시작 후 해당 연구팀은 연구가 갖는 영향을 모두 다 기록했습니다. “뉴스 기사, 추천 글, 서한, 이들을 인용한 정책 문서 사본 등 증거가 많았어요! 사례 연구로 종합하기가 정말 쉬웠어요. 누군가 기록을 일일이 해왔다면 정말 좋아요!”라며 Lakey는 열성적으로 말합니다.   ...

장벽 허물기: 연구자가 학계 밖에서 자신의 연구가 주는 이익을 볼 수 있게 지원

퀸메리 대학교(QMUL) 연구영향관리자 Natalie Wall과의 인터뷰 강력한 연구 인프라에 투자  Wall이 QMUL에 들어왔을 때 영향 관리의 체계가 잘 잡힌 것을 발견할 수 있었습니다. “전 퀸메리 대학교의 체계가 마음에 들었고 다른 대학교들과 달랐어요. 대부분의 대학교들은 각 단계별로 영향이 있을 정도로 체계가 잘 잡혀있진 않아요”라고 Wall은 말합니다.  QMUL의 영향팀은 Wall 외에도 연구 영향 부총장 1명(학술 직책)과 각 학부를 담당하는 3명의 영향 담당자로 구성됩니다. 각 학부에서는 영향팀과 긴밀히 협업하는 연구 영향에 부학장 1명을 두고 있습니다. 영향팀 외에 영향을 지원하는 전문 서비스팀들이 많이 있습니다.  QMUL은 연구 사례의 품질을 평가하기 위한 시범 과제를 2차례 진행하였습니다. QMUL이 영향 인프라와 강력한 네트워크를 구축하기 위해 많은 투자를 했다는 점은 분명하며, Wall은 이러한 투자를 통해 향후 평가에서 QMUL이 높은 점수를 받게 되기를 바라고 있습니다.       수요와 공급의 문제   Wall은 영향 분야에서 일자리가 부족하지 않다고 설명합니다. 이 신규 분야에 대학이 부여하는 중요성과 가치 있는 영향 보고서를 작성하기 위해 들이는 시간과 노력을 생각했을 때 이는 놀랍지 않습니다. “영향 관련 일자리를 보면 현재 많이 있지만, 너무 빈자리가 많기 때문에 사람이 부족합니다. 어떠한 기술이 필요할 지 생각해봐야 합니다”라고 Wall은 말합니다.  영향 담당자는 어떠한 기술을 갖추어야 할까요? Wall에 따르면 글쓰기 외에도 대인관계 및 의사소통 기술이 중요하다고 합니다. “사람들에게 새로운 환경에 적응하라고 요청하는 일이기 때문에 사람들과 대화하는 법을 알아야 해요”라고 Wall은 말합니다. 영향은 연구와 교육을 넘어서는 것이라고 Wall은 설명합니다. 연구 문화를 이해하는 것이 중요하며, 연구 배경이 있다면 도움이 됩니다.      문화 변화   Wall은 영향 담당자의 일이 사람들이 영향에 대해 더 신경을 쓰게 하는 것이라고 느꼈습니다. “저희는 문화를 변화시키고 있어요. 기관에 가서 연구에 대한 사람들의 사고 방식을 바꾸고 있습니다”라고 Wall은 말합니다.  ...

영향 의제가 영국 대학들의 문화를 변화 시켰을까요?

William Gibson은 “미래는 이미 지금 펼쳐지고 있습니다. 다만 균등하게 분포되어 있지 않을 뿐입니다”라고 적었습니다. 이 말은 영향 의제를 추진한 이들이 꿈꾼 미래에 해당하는 이야기입니다. 영향이라는 용어가 현재 영국 학계에 자리를 잡았지만, 영향을 지원하고 활성화하는 측면에서 문화의 변화는 대학마다 크게 다릅니다.  REF 2014에서 연구 영향의 공식 평가는 지식 이전, 외부 파트너와 협력, 연구를 통해 사회와 공동체에 영향 미치기 등 대학이 연구의 비학술적 영향을 더 생각하게 하도록진행되었습니다. 단기적으로는 반대와 혼란이 있었습니다. 반대는 많은 연구자들이 자신의 연구를 상업화하거나 도구화하도록 내몰릴 것이라고 우려했기 때문이고, 혼란은 대학이 짧은 기간 내에 사례 연구를 제시하고 이전에는 이러한 요건이 없어서 영향의 증거를 수집하지 않았기 때문이었습니다.  REF 2021에서 영향 사례 연구 접근법은 유지되었습니다. 하지만 대학의 상황은 이제 상당히 다릅니다. 대학들은 영향 사례 연구의 요건을 REF 초기부터 알고 있습니다. 어떻게 영향을 달성하고 영향 관련 활동을 지원할지 전략적으로 계획할 시간이 있었습니다. 직원을 고용하고 지원 구조와 영향 지원금을 확보할 기회가 있었습니다. 연구자들은 영향의 개념을 숙지하고 자신의 연구 과제 계획에 반영할 시간이 있었습니다. 모두가 수시로 영향을 뒷받침할 증거를 수집하고 영향 사례 연구를 지원해야 할 필요성을 알게 되었습니다.  작년에 저는 “영국 대학의 영향 지원의 발전”이란 백서를 발간하여 영향 의제가 의도한 문화적 변화가 실현되었는지 살펴보았습니다. 대학 전문 서비스에 영향 지원이 수립되는 등 지금까지는 부분적으로 성공한 것으로 보입니다.  일반적으로 담당 전문가가 없는 즉흥적인 영향 지원에서 (보통의 경우) 1명의 영향 담당자로 그리고 영향 지원의 완전한 구조로 넘어가는 경향을 보였습니다. 간단하지만 이 모형에서 한 가지 중요한 점을 파악할 수 있습니다. 1번째 이행인 즉흥적인 영향 지원에서 1명의 영향 담당자로 넘어가는 것은 최고경영진이 영향 지원을 대학의 REF 제출서를 개선하는 측면에서 전담으로 다루어야 할 필요성을 인식함에 따라 하향식으로 발생합니다. 한편, 2번째 이행은 1명의 영향 담당자가 연구 영향에 대한 종합적이고 통합적인 접근법의 필요성을 인식하고 설명함에 따라 상향식으로 발생합니다. 컨퍼런스와 워크숍이 영향 전문가 공동체 내에서 영향을 공통적으로 이해함에 있어 중요한 역할을 할 수 있습니다. 전문 지원 담당자의 우려와 관점을 진지하게 받아들이는 학계 경영층의 의지가 대학이 2번째 이행을 할지 결정하는 주요 요인이 됩니다.  영향 의제와 이 의제에서 대학의 성과를 달성하려는 영향 지원 담당자의 노력으로 학계의 문화에 실질적인 변화가 있었습니다. 이러한 문화적 변화가 골고루 일어난 것은 아닙니다. 연구자 일부는 여전히 영향을 잘못 이해하고 있으며 관심이 없는 이들도 있으며 반대하는 이도 있지만, 대학 전반적으로 많은 연구자들이 REF 2014 때와는 다르게 연구 영향에 참여하고 있습니다. 그 이유와 동기가 같은 것은 아닙니다. 일부는 공공성이 동기이며 연구를 강화하기 위해 이에 참여하는 이도 있고 경력 측면에서 참여하는 이도 있지만, 문화의 변화는 실질적으로 일어나고 있습니다. 하지만 강의와 연구 때문에 많은 연구자들이 자신의 연구 영향을 추구하기에 시간이 충분하진 않습니다.  담당자 고용과 내부 자원을 활용하는 것 외에도 대학들은 민간에 영향 지원을 위탁할 수도 있습니다. 영향 활동과 관련하여 대학을 지원하는 모든 이에게 있어서 이러한 지원이 연구 자체만큼이나 심층 깊게 이루어지고 연구 과제에 최대한 포함되고 연구 영향의 내용을 강화하고 그 외연과 중요성에 대한 근거를 마련해야 한다는 점은 분명합니다.   증거와 평가에 대한 지원은 대학 대부분에서 부족합니다. 이러한 업무는 공공 참여와 같은 영향의 측정이 쉽지 않은 부분에 있어 시간이 많이 들고 전문적인 일입니다. 고등교육 분야가 엄격한 평가가 일반적인 지자체 및 자선 분야 등 다른 분야에 뒤처지는 이유이기도 합니다. 대학이 내부 전문 지원을 추구하든 외부에 위탁하든 간에 증거를 수집하고 영향을 평가하기 위해 더 많은 점이 이루어져야 한다는 것은 확실합니다. ...

대학 연구 담당자들과의 Q&A

인터뷰 진행자: Makoto Yuasa, Ai Kano 참여자: 퀸메리 대학교(QMUL) 연구영향관리자 Natalie Wall   킹스칼리지런던 REF담당부장 Jo Lakey   배스대학교 정보영향부장Katy McKen   런던 정치경제대학교(LSE)의 연구영향관리자Rachel Middlemass와 영향지원관리자 Kieran Booluck   ...

투자 대비 효과가 좋은 방안: 영향 평가의 필요성

영국이 성과 기반 연구지원금 제도를 1986년 도입하였을 때 영국은 경제 불황을 겪고 공적 지원금의 부담이 증가하여 더 큰 책임을 요구하는 정책이 필요했습니다. 현재 REF라 불리는 지원금 제도는 책임을 강화했습니다. 이 제도는 지원금을 대학의 성과와 연계하여 대학에 책임을 도입하였으며 제한적인 자원의 전략적 배분 방법을 제시하였습니다.   2014년 영향(impact)이 학계 밖에서 연구의 영향을 측정하는 지표로 도입되었습니다. 도입 이전에 영국 학계는 기초 연구가 사회의 여러 분야에 결국에는 도움이 될 것이라고 가정하였고 과학자는 그 영향을 입증하는 증거를 제시할 책임이 전혀 없었습니다. 영향 평가가 도입되고 지원금이 연구 결과보다는 연구 영향에 더 좌우됨에 따라 학계는 사회에 대한 연구의 가치를 제시할 수밖에 없게 되었습니다. 지원금(REF에 따르면 연간 약 20억 파운드)을 연구의 영향과 연계한 것은 대학과 연구자가 고등 교육 분야에서 세계적인 연구 기반의 발전에 공헌하도록 하는 강력한 성과 인센티브가 되었으며 영국의 연구 우수성을 개선하기 위한 유일한 방법이었다고 널리 받아들여졌습니다.   REF는 영향을 “학계를 넘어 경제, 사회, 문화, 공공 정책이나 서비스, 보건, 환경, 삶의 질에 미치는 효과, 변화, 또는 이익”이라고 정의하고 있습니다(re.ukri.org). “학계를 넘어”라는 표현이 REF가 추구하는 바를 이해하는데 중요합니다. 학계 영향 또는 학술지의 영향 요인은 REF가 정의한 영향과 다릅니다. REF의 주요 목적은 다음과 같습니다.    “제한적인 자원의 전략적 배분 방법을 제시한다  연구에 대한 공적 투자의 책임을 부여하고 이러한 투자의 이점들에 대한 증거를 제출한다  고등 교육 분야에서 이용하고 공적 정보를 제시하기 위해 벤치마킹 정보를 제공하고 평판 기준을 수립한다.” (re.ukri.org) 정성적 평가와 정량적 평가  REF는 성능 척도와 전문가 평가를 기반으로 기관의 성과를 평가하는 선구적인 방법입니다. 홍콩, 호주, 캐나다, 일부 북유럽 국가도 대학 성과 평가를 위해 비슷한 체계를 채택하였으나, REF가 다른 점은 학계 외부에서 연구의 영향에 높은 가중치(REF 2014에서 20% 및 REF 2021에서 25%)를 부여하고 동료 평가가 주요 평가 방법이라는 점입니다.  REF가 주관적 평가를 사용한 것은 전문가 평가가 정량적 지표를 보완한다는 관점과 일치합니다(Hicks 등,...

other features