인공지능 번역기, 속도는 앞섰으나 정확도에서 낙제점

[한국대학신문 이한빛 기자] 인간 번역사와 인공지능 번역기의 대결은 인간의 승리로 끝났다.

21일 세종대 광개토관에서 열린 ‘인간 vs 인공지능 번역대결’에서 인간 번역사는 30점 만점에 평균 24.5점을 맞아 평균 10점에 그친 인공지능 번역기를 압도하며 승리했다.

국제통역번역협회와 세종대, 세종사이버대가 주관한 이번 대결은 지난해 3월 이세돌 9단과 알파고의 바둑대결 ‘구글 딥마인드 챌린지’ 이후 약 1년 만에 벌어진 인간 대 인공지능의 대결이었다.

▲ 21일 세종대 광개토관에서 ‘인간 vs 인공지능 번역대결’이 열렸다. 김현숙 세종사이버대 교수(노트북 C)와 김대균 세종사이버대 교수(노트북 B) 등이 인공지능 번역기에 지문을 넣고 있다. (사진 = 이한빛 기자)

그동안 인공지능 번역기는 문법기반과 통계기반으로 번역을 제공해왔으나 문장의 어색함과 단어의 복잡함의 단점이 발생했다. 최근 이를 보완하기 위해 빅데이터를 학습해 문장의 맥락을 이해하는 신경망 자동번역(NMT) 기법을 활용해 번역 품질을 높였다.

김동익 국제통역번역협회 회장은 “이번 대결은 NMT 기법의 번역기가 어느 정도까지 성장했으며, 앞으로 얼마 만큼 활용할 수 있는지 가늠하기 위한 목적으로 추진했다”고 설명했다.

대결은 경력 5년차 이상의 번역사 4명과 인공지능 번역기 3개의 대결로, 문학과 비문학 지문의 한영번역과 영한번역으로 이뤄졌다. 인공지능 번역기 대표로는 구글 번역기와 네이버 파파고, 시스트란 번역기가 참여했다.

문제는 그동안 번역되지 않은 지문을 사용했다. 한영번역에서는 김서령의 수필 <셀프빨래방>과 강경애의 소설 <어머니와 딸>의 일부 내용이 출제됐다. 영한번역에서는 토마스 프리드먼의 ‘Thank You For Being Late’와 미국 폭스뉴스의 기사인 ‘How a Movie Propelled Lego Back to the World's Most Powerful Brand’가 활용됐다. 지문 길이는 영한번역은 220단어, 한영번역은 150자로 지정했다.

번역사들은 오후 1시부터 50분간 번역을 진행했고, 번역기의 번역은 2시부터 10분간 이뤄졌다. 평가기준은 정확성과 언어표현력, 논리 및 조직 등 3가지 요소로 판단했다.

그 결과 인간 번역사는 한영번역에서 30점 만점에 24점, 영한번역에서 26점을 기록했다. 3개의 번역기 중 2개는 10점 이하의 점수를 기록했다. 가장 점수가 좋았던 번역기 A는 한영번역에서 13점, 영한번역에서 15점에 그쳤다.

번역 평가를 맡은 곽중철 한국외대 교수는 “번역기의 정확도가 높은 전문 분야 대신 공정한 평가를 위해 문학과 비문학 지문을 선택했다”며 “번역기의 번역은 8~90% 이상 어법에 맞지 않았고, 단어나 맥락의 파악 없는 단순번역이 대부분”이라고 평했다.

곽 교수는 “바둑에서는 알파고가 출중한 발전을 보여줬지만, 텍스트의 이해 분야에서는 인공지능이 아직 부족한 상황”이라며 "번역을 이해한 상태에서 통역 또는 번역을 진행해야 하는데 그것을 제대로 이해하지 못했다는 것이 이번 대결에서 여실히 드러났다”고 덧붙였다.

한편 이날 대결과 함께 열린 ‘AI와 자동번역의 발전전망’ 토론회에 참석한 전문가들은 NMT 기반의 번역기가 데이터의 축적에 따라 정확도가 높아지는 만큼 앞으로의 가능성을 지켜봐야 한다고 말했다.

▲ 21일 인간 vs 인공지능 번역대결과 함께 열린 ‘AI와 자동번역의 발전전망’ 토론회에서 전문가들은 단순한 대결을 넘어 인간과 인공지능의 협력 방안을 찾아나가야 한다고 강조했다. (사진 = 이한빛 기자)

김유석 시스트란 상무는 “NMT 기반 번역기는 현재 초등학생 보다 조금 더 높은 수준에 있지만, 해가 지날수록 청소년기, 청년기를 넘어 원숙한 수준의 번역에 이를 것이라고 본다”며 “고도화절차를 통해 어느 정도 정제화와 클렌징 작업을 거친다면 NMT기반 번역기가 빠른 시기 내에 상용화 될 수 있을 것”이라고 내다봤다.

이번 행사를 단순히 인간과 인공지능의 대결로만 볼 것이 아니라 인간과 인공지능의 협업 가능성과 접합점을 찾기 위한 계기로 삼아야 한다는 주장도 나왔다.

허명수 한동대 교수(한국번역학회 회장)는 “통역, 번역의 경우 글에 담긴 감정과 문화적인 요소, 사투리 등 다양한 변수가 있어 인공지능 번역기가 통역사의 영역을 위협하지 않을 것”이라며 “오히려 통역사들이 번역기를 활용해 통역과정에서 정확도를 높이는데 기여할 것으로 본다”고 말했다.

저작권자 © 한국대학신문 무단전재 및 재배포 금지