연구재단 등재 논문 기준 교수평가 전환기 맞아

교수 동료평가 등 실험단계 ‘신뢰성 확보’ 관건
“학회 중심 평가단 구성, 객관성 확보해야” 의견

▲ 학술지 등재제도 폐지 이후의 교수업적평가 방식이 대학가의 화두로 부상하고 있다. 사진은 한국연구재단이 지난해 8월 개최한 '국내 학술지의 질적 향상을 위한 특별 세미나'에 참석한 대학·학회 관계자들(사진제공 : 한국연구재단).
[한국대학신문 신하영·민현희·이재 기자] 교육부가 오는 2014년부터 학술지 등재제도를 완전 폐지하겠다고 밝히면서 대학들의 고민이 깊어지고 있다. 등재 학술지에 실린 논문 편수를 기준으로 교수들의 업적평가를 해 오던 방식을 바꿔야 하기 때문이다.

통상 교수업적평가에서 가장 큰 변별력을 갖는 것은 연구영역 평가다. 교육·봉사영역 평가는 교수 간 점수 차이가 크지 않기 때문이다. 국내 대학들은 이 부분에서 연구 논문의 게재 편수를 가장 중시하고 있다. 이공계의 경우 SCI 논문 편수로, 인문사회계의 경우 한국연구재단 등재(후보)지 게재 건수로 평가를 받는 게 일반적이다.

때문에 등재제도가 폐지되면 타격을 받는 곳은 인문사회분야다. 대학들의 고민도 바로 이 지점에 있다.

국내 학술지의 등재제도는 1998년에 시작됐다. 검증된 학술지를 등재시켜 평가에 활용하고 질적인 관리를 하자는 취지였다. 그러나 첫해 56종에 불과하던 등재지 수는 2012년 말 현재 2140종으로 불어났다. 지난 3년간(2008~2010년) 신청건수 대비 평균 등재후보지 선정률은 68.4%였다. 특별한 결격사유가 없다면 등재를 신청하는 학술지 10개 중 7개는 받아들여진다는 얘기다. 교육부가 등재제도를 폐지하고 우수 학술지 지원으로 방향을 바꾼 배경이다.

◆ 인문사회분야 업적평가 어떻게?= 교육부와 한국연구재단은 당장 올해부터 학술지 등재 신청을 받지 않는다. 더 이상 등재지를 늘리지 않은 뒤 내년 12월 말 제도 자체를 아예 폐지할 계획이다.

지금까지 교수업적평가는 인문사회계열의 경우 등재지나 등재 후보지에 논문을 몇 편 실었느냐를 따지면 됐다. 고려대의 인문계의 경우 교수 승급평가 시 △부교수 승진: 등재(후보)지 이상 학술논문 6편 △정교수 승진: 등재(후보)지 이상 학술논문 7편을 충족하면 승급할 수 있었다.

논문 편수를 중시하는 이 같은 평가방식은 논문의 질적 수준보다는 양적인 면에 치중한다는 비판은 있었지만, 객관적인 잣대라는 점에선 공감대가 있었다. 평가방식을 정량화 할 때 평가에 대한 시비도 없고 평가과정 자체도 용이했다.

실제로 교육부가 2014년 학술지 등재제도 폐지를 앞두고 지난해 실시한 연구용역(국내외 대학의 교수업적평가 사례분석) 보고서도 “국내 11개 대학의 교수업적평가 사례를 조사한 결과 논문의 질보다는 편수에 배점을 둬 정량적 평가를 주로 실시하고 있다”고 지적했다.

따라서 내년에 당장 등재제도가 폐지한다고 해서 평가방식이 바뀌진 않을 것이란 전망에 무게가 실린다. 한 서울 주요 사립대 교무처장은 “대학마다 어떤 학술지가 등재지인지에 대한 자료는 축적하고 있을 것”이라며 “등재제도가 폐지돼도 이를 활용해 평가를 하는 대학들이 많을 것”이라고 내다봤다.

◆ 자체 우수학술지 목록 가진 대학도= 자체적으로 ‘질이 보장된’ 학술지 목록을 가진 대학도 있다. 성균관대는 2000종이 넘는 등재지 가운데 약 30%(600여종)을 골라 ‘성균학술목록’을 따로 만들었다. 등재된 지 2년이 넘은 학술지 중에서 학과별로 자체 기준에 따라 우수 학술지를 걸러낸 것이다.

조준모 성균관대 교무처장은 “등재지 가운데 질이 우수한 저널을 골라낸 목록이 성균학술목록”이라며 “교수업적 평가 시 등재지냐 성균학술목록에 있는 학술지냐에 따라 게재 논문에 대한 환산 점수가 다르다”고 말했다.

자체 학술지 목록을 가진 대학이 아니라면 해외 대학 사례를 주목할 필요가 있다. 교육부 연구용역인 ‘국내외 대학의 교수 업적평가 사례분석’ 보고서에 따르면, 해외 대학은 동료평가나 외부평가를 중시한다. 미국 대학은 공통적으로 후보자의 논문을 외부평가를 통해 질적으로 평가한다.

예를 들어 위스콘신대의 경우 교수 임용·승진을 결정할 때 후보자의 연구 성과가 우수하다는 명확한 증거가 있어야 한다. 보고서는 “후보자가 자신의 연구 분야에서 가장 뛰어난 학자 중 한 명이며, 연구업적이 매우 영향력 있다는 증거가 있어야 한다”고 설명했다. 단순히 논문 편수로 인정받는 양적 평가가 아니라 해당 학문분야에서의 평가를 중시하는 질적 평가가 주안점이란 뜻이다.

유럽의 대학들은 질적평가를 통한 교수업적평가 방식을 취하고 있다. 보고서는 “유럽의 개별대학에서 가장 중시하는 것은 연구와 연구비 조달능력”이라며 “주로 △저서 △외부적 지명도(명성) △외부 연구지원 규모 △수행한 연구의 중요성 등이 세부 판단 준거”라고 설명했다.

◆ 해외, 동료평가로 논문 질적인 면 중시= 특히 유럽 대학의 교수업적평가는 대부분 동료평가로 이뤄진다. 동료평가(Peer Review)는 해당 학문분야의 전문가들이 평가 대상자의 연구물을 심사하는 것이다. 논문이 해당 학문 발전에 기여한 영향력 등을 객관적으로 평가하는 잣대다. 이는 연구의 질적인 면을 평가하기 위한 것으로 같은 학문분야 학자들이 주로 평가를 맡는다.

일본의 대학도 교수의 업적평가가 동료 평가자에게 맡겨져 있다. 평가에서는 연구논문의 질, 연구자의 장래성이 중시되는 것으로 분석됐다. 보고서는 “게재 논문 편수가 얼마나 되는가 보다 게재 논문의 질이 어떠한가가 매우 중요하다”며 국내 대학에 시사하는 바가 크다고 지적했다.

이 같은 평가방식이 한국에서도 도입될 수 있을까? 교수들의 반응은 긍정과 부정이 교차한다.

‘평가는 과학’이란 말이 있다. 누구나 납득할 수 있는 평가기준이 마련돼야 뒷발이나 시비가 없다. 등재제도 폐지는 ‘국가 주도’의 논문 질 관리체제가 ‘민간 주도’로 전환되는 의미를 갖는다. 때문에 향후 교수들이 쓴 논문도 민간주도 하에서 평가가 이뤄진다. 평가는 객관성 확보가 관건이다.

논문의 질적 평가를 개량화하자는 목소리는 그래서 나온다. 몇몇의 평가위원에 의한 동료평가는 감정개입이 들어갈 수 있기 때문에 아예 이를 개량적 수치로 환산하자는 주장이다.

여기서 주목받는 게 논문 인용지수(IF, Impact Factor)다. 인용지수는 논문의 질적 수준을 평가할 때 가장 널리 쓰이는 지표다. 이는 해당 논문이 질적으로 수준이 높으면 당연히 인용지수가 올라가고 영향력이 생길 수 있다는 가설에서 출발한다.

때문에 얼핏 보면 IF는 해당 논문의 질적 수준을 판단하는 지표로 객관성을 확보한다고 보여 지지만 실상은 그렇지 않다. 주보돈 경북대 사학과 교수는 “국내 논문의 피인용 지수는 무의미 하다”며 “학자 간 친목이 중요하게 작용하기 때문에 알음알음 친분관계에 있는 학자의 논문을 인용, 인용지수를 높여주는 꼼수가 많다”고 지적했다.

실제로 학계에선 해당 논문의 질적 평가 시 IF를 사용하는 데 적지 않은 반감이 있다. 사회적 수요가 높은 학문분야에선 인용지수도 다른 분야보다 높게 나오기 때문이다. 이공계로 따지면 요즘 뜨는 나노기술이나 생명과학이 이 경우다. 특히 해당 학회의 회원 수가 많을 경우에도 논문 인용지수 또한 높아지기 때문에 형평성이 보장되지 않는다는 불만이 있다.

한 국립대 교수는 “IF는 학회 내 회원 수가 많고 적으냐에 따라 영향을 많이 받는다”며 “회원 수가 적은 학술지나 연구자가 적은 학문의 경우 질적 수준에 비해 IF가 낮을 수 있다”고 지적했다.

교육부가 올해 최대규모의 재정지원사업인 ‘WCU-BK21 후속사업(이하 2단계 WCU)’에서 학문 분야별 논문 ‘보정(補正) IF’를 반영하는 것도 이 때문이다. 평가대상이 되는 논문이 게재된 상위 20% 저널의 각 IF 값의 평균을 구하고, 저널별 IF를 다시 이 평균값으로 나눠 ‘보정 IF’를 산출하기로 한 것이다. 이럴 경우 학문별 차이에서 오는 인용지수 차이가 상당부분 줄어들 것으로 기대된다.

◆ 질적 평가로의 전환에는 공감대= 당장은 대학마다 기존 등재지 목록을 활용할 가능성이 높다. 제도가 사라졌다고 데이터(등재지 목록)까지 없어지는 것은 아니기 때문이다. 또 새로운 평가 틀을 만들기보다는 기존의 것을 활용하는 게 여러모로 편하다.

그런 면에서 서울 주요대학의 변화가 전체 대학의 평가방식에 롤 모델로 자리 잡을 확률이 높다. 서울 주요대학을 중심으로는 앞으로의 교수업적평가를 ‘논문 편수’ 중심에서 질적 평가로 전환해야 한다는 분위기가 형성되고 있다. 또 학문분야와 교수 특성에 따른 평가기준 마련 등이 앞으로의 과제로 제시된다.

중앙대의 경우 지난해 5월 교원임용규정개정안을 마련했다. 테뉴어(영년직)심사에 동료평가(Peer Review) 방식을 도입하는 게 골자다. 올해 시범 운영을 거쳐 내년부터 본격 시행된다.

이 대학 송수영 교수협의회장은 “논문의 양을 갖고 교수 평가를 하다 보니 1년에 20편까지 쓰는 교수들이 나오더라”며 “양적 평가를 교수 승진·연봉과 연계시키다보니 제대로 된 논문을 낸 분들이 불이익을 받는 상황이 발생했다. 그래서 무엇을 기준으로 질적 평가를 할 지 고민하던 끝에 나온 게 동료평가”라고 설명했다.

그러나 방법론에 대해선 논란이 많다. 중앙대가 도입한 동료평가제는 타 대학의 교수가 중앙대 교수들을 평가하도록 설계됐다. 다만 평가위원 선정에선 이견이 있다. 평가위원 5명은 △피 평가자인 교수들의 추천 5명 △본부 추천 5명 등 2배수의 추천을 받아 본부에서 이 중 5명을 최종 선발한다.

송 회장은 “교수들이 인정하는 수준의 권위 있는 심사진이 평가를 해야 하는데 최종적으로는 본부가 선발하기 때문에 이견이 있다”며 “또 논문의 질에 대한 평가이기 때문에 피 평가자 입장에서 객관적 기준이 없다고 느낄 수 있다. 올해 1년간 이 부분에 대한 집중적인 논의가 필요하다”고 밝혔다.

질적 평가의 한 축으로 도입된 동료평가가 현장에 안착하기 위해선 아직 풀어야할 숙제가 많은 셈이다. 사실 학계에서는 여전히 파벌이 존재하고, 교수 사이의 감정 대립이 있다. 같은 대학의 교내 교수들로 평가위원을 구성하는 데에 민감한 반응을 보이는 교수들이 많은 이유다.

한 대학의 명예교수는 “학교 자체적으로 평가위원을 꾸려 동료평가를 하게 되면 아마 반발이 만만치 않을 것”이라며 “만약 본부에서 평가위원들을 선정할 경우 평소 학교와 갈등이 많았던 교수들은 평가에서 불이익을 받을 수 있다”고 덧붙였다.

◆ “학회에 의한 외부평가가 대안” 의견도= 때문에 대안으로 제시되는 것이 학회에 의한 평가다. 이 명예교수는 “학회 회장의 경우 선거를 통해 뽑는 경우가 많아 비교적 중립적”이라며 “학회가 중심이 돼 학문적인 신망을 얻는 교수들로 평가위원을 꾸리거나 그 같은 평가 제도를 만들면 대학들의 교수업적평가에 도움이 될 것”이라고 조언했다.

조준모 처장도 “학회마다 연구업적이 좋은 사람을 중심으로 평가단을 구성해 대학의 의뢰를 받는 방법이 질적 평가를 할 수 있는 한 가지 대안”이라고 제시했다.

아직까지 대학들은 등재제도 폐지 이후에 대한 대비가 미흡하다. 상위권 대학의 평가방향이 어떻게 설정될 지에 관심을 두고 지켜보는 정도다. 때문에 등재제도를 그대로 유지하자는 의견도 만만치 않다.

교육부도 향후 질적 평가에 대한 사례조사 결과나 선진 모델을 제공한다는 방침이지만, 폭 넓은 의견수렴을 통해 정책을 좀 더 검토해보겠다는 입장도 갖고 있다. 교육부 관계자는 “등재제도 폐지에 대해서는 논란이 많아 의견수렴이 더 필요할 것 같다”고 밝혔다. 그러나 정부 정책과 별개로 대학 자체의 학문발전을 위해서라도 질적 평가로의 전환은 필요해 보인다.

경영학계의 한 원로 교수는 “학술지 등재제도에 따른 양적인 교수업적평가는 질 낮은 논문을 대량 생산하는 교수들에게만 혜택이 갈 수 있기 때문에 질적 평가로의 전환은 불가피 하다”고 강조했다.

저작권자 © 한국대학신문 무단전재 및 재배포 금지