교수, 학과 요청으로 진행…전문지식 없어 검증 불가능

임팩트 팩터 등 객관적 기준도 허점 많아, ‘자기 성찰’ 비롯한 정량평가 강화돼야

[한국대학신문 이재익 기자] 서울대 박사과정에 있는 A씨는 어느날 자신의 전공 분야와 관련된 단어들을 인터넷에 검색해보다 어리둥절한 상황에 맞닥뜨렸다. 연구성과라고 하기에는 너무 소소한 성과가 인터넷 뉴스 검색창 첫 머리를 장식하고 있었던 것이다. 기사들은 연구 성과에 대한 논문이 모 학술지에 등재됐다고 설명하고 있지만 전공자인 A씨가 들어보지도 못한 생소한 저널이었다.

각 대학에서 나오는 연구 성과들은 대학본부의 보도자료를 통해 언론에 배포된다. 하지만 성과에 대한 기준이 대학마다 달라 국민들에게 혼동을 줄 수 있다는 지적이 이어지고 있다. 교수들의 업적 과시와 대학들의 홍보 욕심으로 인해 국민들이 제대로 된 지식을 전달받기 어려워졌다는 것이다. 대학 나름대로 기준을 마련한 곳도 있었지만 대학마다의 기준도 달랐다.

많은 대학에서 학문 연구 성과에 대한 홍보를 해당 학과나 단과대학의 보고에 의존하고 있었다. 어느 교수의 연구 성과가 학술지에 등재되는 식의 결과가 나오면 소속 단과대학이나 학과에서 내용을 정리해 홍보팀에게 전달하는 방식이다. 교수 개인이 직접 자신의 성과에 대해 홍보해달라고 학교 측에 요청하는 경우도 종종 발생하고 있었다.

대학에서는 연구하는 학문들이 워낙 다양해 홍보 단계에서 따로 검증하는 것이 현실적으로 불가능하다는 입장이다. 서울대 관계자는 “워낙 학문들이 다양하고 각자가 전문성을 가지고 있어 보도에 대한 객관적 기준을 마련하지는 못했다. 단과대학 별로 보도 요청과 자료가 들어오면 홍보팀에서는 문장을 기사화되기 쉽게 다듬고 사실 관계 확인과 오탈자 정도를 확인한다”고 말했다.

연구 성과가 쉽게 나오지 않는 소규모 대학의 경우엔 학과나 교수의 요청 등이 있을 때면 별다른 내부 검증 없이 홍보하는 경우도 있었다. 무슨 성과든 일단 나왔으니 홍보 수단으로 써먹어야 한다는 식이다. 결국 연구에 대한 지식이 없는 일반인들은 대학들의 홍보를 여과 없이 받아들이게 된다. 한 국립대 교수는 “교수들의 연구성과나 논문들을 대학 광고용으로 활용하는 경우도 있다. 홍보 필요성도 있겠지만 결코 좋다고만은 볼 수 없다”고 비판했다.

상황이 이렇다보니 대학가에서는 논문저자 등 성과에 대한 사실관계 확인과 함께 객관적 기준을 가지고자 노력했다. 그 중 하나가 학술지에 대한 임팩트 팩터(Impact factor, 피인용지수)다.

한 해 동안 세계 연구자들이 해당 학술지에 등재된 논문을 자신의 연구에 인용한 숫자를 나타내는 임팩트 팩터는 각 학술지와 논문에 대한 평가수치로 사용된다. 숫자가 클수록 연구 수준 및 가치, 영향력이 큰 것으로 보며 <네이처>나 <사이언스>, <셀>과 같이 세계적으로 유명한 저널의 임팩트 팩터는 30~40 정도다.

서울의 한 사립대 관계자는 “각 학문마다 기준이 다르지만 임팩트 팩터를 기준으로 보는 학문의 경우에는 세계 상위 10%가 7 정도다. 수치가 5~6이면 괜찮은 것이라 판단하고 보도한다”고 밝혔다.

하지만 임팩트 팩터로는 한계가 있다. 인용 수치가 연구 성과 평가의 절대적 척도로 활용될 수는 없다는 것이다.

이미 지난 2013년 5월 세계 학술 단체와 연구자들은 ‘샌프란시스코 선언’을 통해 연구 논문 자체의 영향력보다 등재되는 학술지의 영향력을 따지는 임팩트 팩터로 논문을 평가하는 방식이 합리적이지 않다고 비판한 바 있다. 연구자들은 저명 학술지의 영향력은 인정하지만 연구의 다양성보다 우선시되는 추세를 우려했다.

실제로 자동차, 기계공학 등 기업과 많은 연관을 가진 학문 분야는 유명 학술지보다 콘퍼런스 등 행사 현장에서 성과를 발표하고 있었다. 자연스레 임팩트 팩터 수치는 낮았다.

UNIST 관계자는 “기준을 마련하기 위한 시도를 하긴 했지만 획일화된 객관적 기준 마련은 불가능했다. 낮은 임팩트 팩터 수치를 가지고 있어도 가치 있는 성과로 판단되는 경우가 종종 있다”고 말했다.

유명 저널들의 영역도 편중된 측면이 있다는 지적도 있었다. 포스텍 관계자는 “<네이처>는 기초과학, <셀>은 생명과학에 관심이 많은 편이다. 저널이라는 특성상 최신 트렌드를 따라갈 수밖에 없는 부분도 있다. 자연스레 관심의 사각지대가 생길 수밖에 없다. 컴퓨터 공학도 유명 저널들의 관심 밖에 있었지만 알파고 이후 갑자기 수치가 급등했다”고 밝혔다.

연구 성과가 많이 나오는 대학들은 임팩트 팩터 외에 다른 기준들도 마련하고자 노력했다. 객관적 기준을 마련해 정량평가를 진행하는 것은 불가능하다고 판단하고, 대신 정성평가를 거치는 방식을 적용했다. 단과대 학장이나 학과장이 성과를 판단해 보고하게끔 한 곳도 있었다.

KAIST 관계자는 “기본적으로 학과장의 검토를 받는다. 연구처장이나 부총장도 각자의 학문 영역 말고는 평가하기가 어렵다. 교수들에게도 학과장 보고 및 평가를 받은 후 대학본부에 홍보 요청을 하도록 권고했다. 단, 테뉴어(종신재직권 보장) 심사를 하는 경우에는 해외 교수 등의 평가를 받는다”고 설명했다.

국내에서 연구 성과에 대한 실질적 검증을 거치는 곳은 한국연구재단 정도다. 하루 1개의 연구 성과를 보도자료로 배포하고 있는 한국연구재단의 경우, 250개 이상으로 학문 분야를 세분화해 2~3명의 분야별 전문위원의 검증을 거치고 있다. 한국연구재단 관계자는 “연구자들에게서 요청을 받는 '바텀 업' 방식이 기본이다. 연구목적과 배경, 필요성 등이 요구된다. 기초 검증과 함께 국민 실생활에 연계된 것을 선호하는 편”이라 밝혔다.

한국연구재단 같은 전문가 집단을 구성할 수 없는 대학들은 결국 연구 성과에 대한 검증을 스스로 해결할 수밖에 없다는 것이 공통된 대학가의 목소리였다. 철저한 자기 검증에 의존할 수 없다는 것이다.

황은성 한국과학학술지편집인협의회 출판윤리위원장(서울시립대 교수)은 “연구 성과가 얼마나 좋은지는 결국 교수 스스로가 가장 잘 안다. 교수들의 자기 성찰이 필요하지만 교수사회의 폐쇄성으로 큰 움직임을 기대하기란 어렵다. 언론들도 전문기자들이 저널을 직접 보면서 사회적 영향력을 스스로 판단해야 한다”고 말했다.

저작권자 © 한국대학신문 무단전재 및 재배포 금지