한국판 챗GPT 네이버 클로바X 사용 후기(성능 테스트, 스킬 기능 소개)

이번 포스팅에서는 8/24(목) 베타서비스를 시작한 네이버 클로바X를 사용해 본 후기를 공유드립니다. 현재 클로바X는 대기 등록 후 승인되면 사용할 수 있습니다.

들어가기 전

개인적으로 클로바X가 챗GPT보다 한국어 데이터를 6,500배 더 많이 학습했다는 홍보를 보고 많은 기대를 했었습니다.

클로바X를 며칠간 사용해 본 결과, 컸던 기대와는 달리, 한국어를 조금 더 자연스럽게 구사하는 것 외에는 여러 가지 측면에서 경쟁사 챗봇 대비 부족한 것을 알 수 있었습니다.

현재의 성능으로는 경쟁력이 없어 보이지만, 앞으로 기대해 볼 만한 부분도 있었습니다.

저는 챗GPT의 플러그인 기능과 동일한 스킬 기능을 클로바X를 경쟁사 제품과 차별화시킬 수 있는 핵심 기능으로 생각합니다.

네이버가 자사의 수많은 서비스를 클로바X에 스킬화하고, 연동된 스킬들이 사용자의 요청대로 잘 작동한다면, 적어도 국내에서는 충분히 사용 가치 있는 서비스가 될 것 같습니다.

할루시네이션 현상

할루시네이션 현상은 생성형 AI 챗봇 사용 시 가장 경계해야 할 요소입니다. 할루시네이션 현상이란 챗봇이 틀린, 검증되지 않은, Outdated된, 편향된 답변을 사실인 것처럼 제공하는 것을 의미합니다.

클로바X는 현재 할루시네이션 현상이 심각합니다. 어쩌다 한 두 번 발생하는 것이 아닌 매우 높은 확률로 발생합니다. 그리고 이 현상은 학습한 데이터의 97% 이상이 한국어인 점에서 기인하는 것으로 추정됩니다.

제가 사용해 본 결과, 클로바X는 한국어에 특화되었다는 소개에 걸맞게 국내 뉴스, 나무위키, 네이버 블로그, 티스토리 블로그 포스팅을 굉장히 많이 참조하는 편이었습니다.

한글로 작성된 문서를 주로 참조하여 답변을 제공하다 보니, 한국인이 많이 다루지 않는 주제에 대해서는 정확한 정보를 제공하지 못하는 것을 확인할 수 있었습니다.

미드저니 최신 버전 문의

미드저니의 버전을 문의했는데, 무료 데모 버전을 이용할 수 있다는 틀린 답변과 함께, 문의하지 않은 사용법을 알려줍니다.

미드저니는 23년 3월 30일에 무료 평가판 서비스를 중단했는데, 클로바X는 22년 9월, 23년 3월 두 개의 티스토리 포스팅을 참조하여 무료 데모 버전을 이용할 수 있다고 합니다.

챗GPT 웹 브라우징 기능 활성화 여부 문의

챗GPT 유료 버전에서 제공되던 웹 브라우징 기능은 23년 7월 초부터 비활성화 상태입니다. 클로바X는 23년 5월 티스토리 포스팅을 참조하여 현재 챗GPT 유료 구독자는 브라우징 기능을 사용할 수 있다고 답변합니다.

더 놀라운 것은 단 하나의 문서만 참조했으며, 생성형 AI임에도 불구하고 참조한 문서의 내용을 100% 복사/붙여넣기한 부분입니다.

한국어 데이터를 다른 챗봇대비 압도적으로 많이 학습한 것을 내세웠으나, 한 가지 언어에 치우친 학습 방법이 글로벌 시대에는 어울리지 않는 결과를 가져오는 것으로 보입니다.

한국어 구사 능력

영남 사투리인 가가 가가(걔가 걔냐?)와 하차감이라는 한국인이 아니라면 알기 힘든 두 가지 용어에 대해 클로바X와 챗GPT(GPT-3.5)에게 문의해 보았습니다.

국어사전에는 없는 사투리나, 신조어의 뜻을 문의하는 경우 클로바X가 굉장히 뛰어난 성능을 보여줍니다.

다만, 여기서도 드러나는 문제점은 가가 가가에 대한 설명은 나무위키 문서 하나만을 참조했고, 하차감 역시 네이버 블로그 포스팅 하나만을 참조했습니다. 이번에도 두 문서의 내용을 99% 복사/붙여넣기 한 것을 알 수 있었습니다.

이렇게 답변을 제공하는 것을 한국어 능력이 뛰어나다고 말할 수 있을지, 아니면 다른 서비스 대비 한국어 문서를 더 많이 참조한다는 표현이 더 적합할지 고민됩니다.

가가 가가

하차감

데이터 학습 기간

클로바X는 베타서비스 시작일 바로 전날인 8/23(수) 데이터까지 학습한 것으로 추정됩니다. 8/24(목) 뉴스는 제공하지 못하지만, 8/23(수) 뉴스는 검색하여 제공합니다.

대화 수 제한

3시간에 30개 대화 수 제한이 있습니다.

스킬(Skill)

클로바X의 스킬(Skill)은 챗GPT의 플러그인 기능과 거의 동일한 기능입니다. 사용자가 삭제할 수 없는 플러그인 정도로 생각하면 될 것 같습니다. 현재 네이버 쇼핑, 네이버 여행 두 가지 스킬을 테스트해 볼 수 있습니다.

네이버 쇼핑

제품의 종류, 색상, 가격 범위, 리뷰 수, 평점을 특정하여 문의할 경우 제품의 종류 및 색상, 가격 범위는 매우 정확히 반영하는 편이었습니다. 반면, 리뷰 수와 평점은 조건을 충족하지 못하는 경우가 대부분이었습니다.

네이버 예약

날짜, 지역, 투숙 인원, 가격 등을 지정해서 여러 차례 문의해 보았습니다. 날짜와 지역까지는 정확히 반영하지만, 아직 해당 날짜의 금액까지는 제대로 파악하지 못하는 것으로 보입니다.

파일 첨부 기능

현재는 지원되지 않지만, 문서를 업로드하고 이를 기반으로 대화를 나눌 수 있는 기능을 제공할 것으로 보입니다. 이 기능은, 한국어 논문이나 연구 자료를 분석하는데 유용하게 사용될 것으로 보입니다.

클로바X는 텍스트, 이미지, 영상, 음성 등을 인식할 수 있는 기능인 멀티 모달도 지원 예정이라고 합니다.

이 기능이 지원되면 문서 파일뿐만 아니라 이미지, 음성 파일 등을 업로드하고, 이것에 대한 대화를 나눌 수 있습니다.

다만 업계 선두 주자인 OpenAI의 GPT-4도 2023년 3월 14일 공개 당시 멀티 모달 기능을 지원하는 것으로 자료까지 공개했으나, 반년 가까이 지난 지금까지도 일반 사용자에게 이 기능이 제공되지 않는 것을 보면 머나먼 이야기인 것을 추정해 볼 수 있습니다.

클로바X 사용 후기

결론부터 말씀드리면, 생성형 AI 챗봇으로써의 기능에 대해서는 실망감이 큽니다.

챗GPT보다 한국어를 6,500배 많이 학습했고, 학습한 데이터의 한국어 비중이 97% 이상인 부분을 강조했지만, 이 부분이 오히려 글로벌 시대에 맞지 않는 학습 결과인 것으로 보입니다.

심지어 강조했던 한국어 능력도, 국어사전에 없는 사투리와 신조어를 더 잘 알고, 조금 더 인간스러운 문장을 구사하는 것 외에는 챗GPT 대비 특별히 더 뛰어나다는 느낌은 받지 못했습니다.

긴 문장을 제공하고, 그 문장을 재구성시키는 요청을 여러 차례 진행해 봤는데, 챗GPT가 더 나은 결과물을 제공하는 경우도 많았습니다.

특히, 한두 개의 문서만 참조하고, 참조한 내용을 복사/붙여넣기 한 수준의 답변을 제공하는 방식은 시급한 개선이 필요해 보입니다. 공신력 없는 일반인 블로거의 포스팅을 한두 개만 참조하여 답변을 거의 그대로 제공한 케이스를 불과 이틀간의 테스트에서도 상당히 많이 경험할 수 있었습니다.

물론 런칭 극 초반이기에, 입수되는 대량의 사용자 피드백을 통해 급속도로 개선될 것은 분명합니다.

하지만 개선되어 한국어 능력만큼은 챗GPT와 다른 글로벌 경쟁 서비스를 능가하더라도, 영어와 다른 언어 능력이 혁신적으로 개선되지 않는다면 챗봇으로써는 경쟁력이 없을 것 같습니다. 글로벌 시대에 한국인이 한국 관련 정보만 검색하지 않기 때문입니다.

희망적인 부분은 챗봇의 기능을 제대로 하지 못하더라도 '스킬 기능'이 제대로만 작동하면 한국인에게는 매력적인 AI 서비스가 될 수도 있겠다는 생각이 듭니다.

예를 들어 네이버 예약/페이 스킬을 사용해서 숙소 예약을 편하게 하거나

"9/12~9/14 2박 3일간, 속초 여행, 4명, 현재 예약 가능한 펜션 중 1박 당 15~20만 원, 네이버 리뷰 수 50개, 평점이 4.5점 이상의 펜션을 찾고, 그중 리뷰 수가 가장 많은 숙소를 선택해서 네이버 페이 결제창까지 열어줘"

비가 내리는 날 네이버 지도/날씨 스킬을 사용해서 가장 효율적인 대중교통 루트와 기상정보를 확인할 수도 있습니다.

"내가 지금 서울 강남역에 가야 하는데, 광화문에서 6:30PM에 출발한다는 전제 하 가장 빨리 도착할 수 있는 대중교통 루트 알려줘, 그리고 출발, 도착 시점의 날씨와 온도 알려줘"

네이버 증권 스킬을 사용해서 원하는 조건에 맞는 주식을 찾을 수도 있고

"시가총액 기준 코스피 상위 100개 종목 중, 오늘 5% 이상 하락했는데, 외국인 기관은 순매수를 하고, 개인만 매도한 종목을 찾아줘. 만약 있다면 최근 한 달간의 외국인, 기관, 개인의 순매수/매도 현황 알려줘"

간단하게는 네이버 웹툰 스킬을 사용해서 원하는 웹툰을 빠르게 열람할 수 있습니다.

"신의탑 웹툰 내가 열람한 마지막 회차 바로 다음 회차 열어줘"

네이버 자체 스킬에 더하여, 다른 국내 기업의 수많은 플러그인도 설치될 것으로 보이며, 이 기능들이 제대로 작동만 한다면, 여태까지는 없던 차별화된 서비스가 될 것 같습니다.

저 개인적으로는 스킬 기능이 잘 작동한다면, 큰 고민 없이 유료 구독을 진행할 것 같습니다. 반대로, 다른 모든 요청을 아주 잘 수행하는 시점이 오더라도 스킬 기능이 제대로 작동하지 않는다면, 제 지갑을 쉽게 열 것 같지는 않다는 생각이 듭니다.

※네이버에서 클로바X 유료 플랜 도입 계획을 언급한 적은 없습니다.

현재 상황으로는 사용자의 단순한 질문에 대해 제대로 된 답변을 제공하기까지도 상당한 시간이 필요할 것으로 보입니다. 이런 상황에서 스킬 기능이 원활하게 작동하는 것을 바라는 것은 시기 상조인 것 같습니다.

비록 갈 길이 멀지만, 국내 기업이 글로벌 AI 기업으로 성장하는 것을 누구보다 바라는 입장으로서, 네이버가 조금 더 힘내서 클로바X와 출시 예정된 다른 AI 서비스를 유저들이 만족할 수 있는 서비스로 성장시킬 수 있길 바랍니다.