중앙일보가 발표한‘2009 대학평가’에서 모교는 종합 9위로 순위가 매겨졌다.  학교 관계자는 물론 재학생과 동문들의 우려가 쏟아졌다. 이 같은 상황에서 모교 기획실 기획예산팀은 “이번 평가는 전문성과 공정성이 결여된 측면이 있다”며 이의를 제기했다. 반론을 들어본다. <편집자>

올해 중앙일보 평가에 88개 대학이 참여했다. 평가는 크게 4개 영역으로 나뉘고, 영역별로 38개 평가 지표가 있다. 모교가 얻은 영역별 지표 수 및 배점은 <표1>과 같다. 평가영역별 Z값(도움말 참고) 평균값을 기준으로 살펴보면, 모교의 강점은‘평판 및 사회진출도>교수연구>국제화>교육여건 및 재정’순으로 나타났다.

<표1 : 평가영역별 서강대 취득점수>


■ 평가지표, 중소규모 대학에 크게 불리
평가지표에 따라 각 대학 별로 유리한 점과 불리한 점이 있을 수밖에 없는데, 중앙일보의 평가는 중소규모 대학에 유리한 지표를 찾기 어렵다. 영역별로 살펴본다.

▷ 교육여건 및 재정 영역(12개 지표, 배점 비율 25%) :
12개 지표 가운데 가중치가 높으나 모교의 결과가 좋지 않은 것이 ▲교수당 학생수(15점 만점)와 ▲교수확보율(10점 만점)이다. <표2>를 보면, 인문사회, 이학 및 공학계열 교수당 학생수 또는 교수확보율은 상위 대학과 비슷하거나 본교가 교육여건이 더 개선되어 있음을 확인할 수 있다. 그런데도 모교는 각각 40위와 53위의 평가 결과를 얻는 불이익을 받았다. 또한 ▲세입중 납입금 비중은 병원전입금을 세입에서 제외하는 경우 본교(52.85%)가 고려대(64.1%), 성균관대(57.29%)에 비해 2008년 기준으로 재정적 건전성을 확보하고 있다<표3>. 모교에 의학계열이 없기에 받는 평가 불이익의 또 다른 단면이다. 해당 영역 중 ▲학생당 도서자료 구입비(5위) ▲학생당 교육비(7위) 지표는 상위 10%에 올랐으나, 실질 점수 취득은 각각 배점의 27.6%, 20.5%로 통계적 왜곡 현상의 피해를 봤다. 도서자료 구입비의 경우 88개 대학 가운데 상위 5.68%에 해당하는 5위를 했지만, 배점은 5점 만점 가운데 27.6%인 1.38점 밖에 취득하지 못했다. 통계적 왜곡 현상이 없었다면 5점 만점 가운데 4.71점 이상을 받았을 것이다. 학생당 교육비의 경우 88개 대학 가운데 7위를 했으면 상위 7.95%에 해당하는 성적이지만, 배점은 15점 만점 가운데 20.5%에 해당하는 3.07점 밖에 못 받았다. 이 역시 왜곡 현상이 없었다면 13.8점 이상을 받았을 것이다. 이러한 왜곡 현상은 통계상 정규분포에 해당하지 않는 비이상값을 포함시킨 뒤 각 지표별 가중치 범위 안에 Z값을 분포하도록 변환한 중앙일보의 평가방식에 의해 발생했다. 각 지표에서 1위를 차지한 대학이 평균에 비해 월등히 높은 점수를 받은 경우 이러한 왜곡은 더욱 심해진다.

<표2 : 교수당 학생 수 및 교수 확보율>


<표3 : 세입 중 납입금 비중>



▷ 교수연구 영역(10개 지표, 배점 비율 30.0%) :
 해당 영역에서 모교는 지난해에 비해 두 계단 하락했다. 이 영역은 전체 평가에서 차지하는 비율이 30%로 가장 높다. 모교는 총 10개 지표 가운데 4개 지표(▲계열평균 교수 당 외부연구비 ▲계열평균 교수 당 자체 연구비 ▲과학기술 교수 당 SCI(Science Citation Index, 과학기술논문 인용 색인) 논문 수 ▲과학기술 교수 당 SCI IF(Impact Factor, 논문의 영향력 지수)) 8위를 기록했으나 이 영역 점수취득 비율 평균은 34.7%에 불과해 통계적 왜곡으로 불이익을 받았다. 또 ▲기술이전 수입액 ▲지적재산권 등록 지표 등은 해당 영역의 다른 지표와 달리 절대평가 지표인 까닭에 <표4>에서 보듯 규모가 큰 대학에 유리할 수밖에 없다. 지적 재산권 및 기술이전수입액 분야는 자연·공학·의학 분야에서 주로 발생하므로 해당 계열 교원 수만 고려해 산정한 교원 당 지표로 환산할 경우, 특허 및 기술이전 수입 등에서 모교의 실적은 우수하다. 양적 평가가 아닌 질적인 면에서 앞선다는 의미다. 특히, 교수 1인당 기술이전 수입액은 모교가 다른 대학에 비해 탁월한 실적을 거뒀고 1위를 기록했다. 그런데도 절대치에 의한 평가 탓에 17위에 그쳤다.

<표4 : 지적 재산권 등록 및 기술이전 수입액>



▷ 국제화 영역(5개 지표, 배점 비율 17.5%) :
이 영역에서 모교는 비교 대학에 비해 가장 순위가 낮았다. 해당 영역 지표 가운데 가장 비중이 높은 ▲외국인 교수 비율(20점 만점)은 외국어대학이 1위를 차지했고 ▲외국인 학생(학위과정) 비율(만점 만점)은 대불대학교가 차지하는 등 주로 특성화 대학이나 지방대에 유리한 지표다. ▲외국인 학생(학위과정) 비율의 비교대학을 살펴보면 특정 국가 학생들의 비중이 매우 높음을 <표5>를 통해 확인할 수 있다. 단순히 외국학생 인원수로만 판단할 것이 아니라 국가의 다양성 등을 반영한 질적 지표로 확산도 평가가 병행돼야 공정할 것이다.

<표5 : 외국인 학생(학위과정) 비율>


▷ 평판·사회진출도(11개 지표, 배점 비율 27.5%) : 해당 영역은 모교가 강점을 가진 분야다. 순위는 전년도와 동일하지만 전년도에 비해 상대적으로 높은 점수를 받았다. 특히 ▲직무수행능력(4위) ▲자기계발(4위) 지표에서 두드러진 상승이 있었고 ▲취업률(6위) ▲고시합격자 수(7위) 등의 지표에서도 전년도에 비해 괄목할만한 성장을 했다. 그러나 ▲고시합격자 수 ▲공인회계사 & 변리사 수 ▲코스닥 & 거래소 임원 수 지표는 절대평가 지표여서 규모가 큰 대학이 유리하고 모교처럼 중소규모 대학은 불리하다. 또한 ▲취업률 지표(순수 취업률X0.5+정규직 취업률X0.5)의 경우 <표6>에서 보듯이 일부 대학은 본교의 자료만으로 산출하고, 일부 대학은 지방캠퍼스와 합산해 산출한 뒤 평가함으로써 평가의 공정성과 일관성을 상실하고 있다.

<표6 : 취업률>


■ 대학별 자체 평가에 맡겨야
대학 평가는 평가 주관기관이 ▲양적 또는 질적 평가지표 선정 ▲가중치 조정 등에서 전문성을 갖추지 못한 평가 방법을 쓸 경우, 결과가 왜곡될 수 있다. 중앙일보 평가는 평가지표 수가 38개나 되는 까닭에 중소규모의 대학은 모든 지표에 집중하기 어렵다. 특히, 의과대학이 없는 모교 같은 대학은 기본적으로 한계점을 지닌다. 이러한 평가를 외면할 수는 없지만, 결과에 일희 일비해서도 안 될 것이다. 대학 평가는 2007년 10월 법으로 제정된 대학의 ‘자체평가’에 맡기고 언론사에 의해 매겨지는 줄세우기 식 서열화는 지양돼야 할 것이다.

= 모교 기획실 기획예산팀 평가파트  =


■ 도움말 : 중앙일보 평가는 어떤 방식?
중앙일보 평가는 다른 기관의 평가와 달리 Z(표준화 점수)값을 변형한 Z값 가중치 점수를 활용한다. Z값이란 통계에서 척도가 다른 지표 값을 표준화해서 점수를 합산하기 위한 척도다. 평균을 중심으로 각 분포 값이 얼마나 떨어져 있는지를 점수화하는 방법인데, Z값은 분포값이나‘실값-평균/표준편차’로 구한다. Z값은 다양한 지표를 합산하기 위해서는 적합한 방식이지만, 정규분포에 해당하지 않는 Outlier(비이상값)가 평가 결과를 왜곡시킬 수 있다. 평균에서 가장 멀리 떨어진 일부 대학의 Z값이 지나치게 큰 값일 경우 왜곡 현상이 나타날 수 있기 때문이다. 예를 들어 소수 대학이 높은 점수를 얻고 대부분의 대학이 점수가 낮을 경우 일부 대학의 Z값은 지나치게 커진다. 이때, Z값에 가중치를 곱할 경우 왜곡 현상은 심화된다. 이를 해소하기 위해 2008년부터 중앙일보에서는 각 지표별 가중치 범위 안에 Z값을 분포하도록 변환하는 방법을 택하였다. 그러나, 이 방법에서도 왜곡 현상이 다소 줄어들 뿐 개선으로 이어지지는 않는다. 특히, 비이상값이 포함된 지표는 각 대학별 유의미한 차이값을 상당히 왜곡시키는 현상을 발생시킨다. 대학평가시 Z값을 활용하는 것은 중앙일보 대학평가가 유일하고, 중앙일보는 1995년부터 평가지표별로 각 대학의 Z값을 구한 뒤 여기에 가중치를 곱해 합산하는 방식으로 순위를 산출하였고, 2008년부터는 Z값을 활용하여 배점 범위 안에 Z값을 변환하여 만든 가중치점수를 활용하여 순위를 산출하고 있다.