OpenAI에서 미국 현지 시간 5/13(월) 멀티모달 플래그십 모델인 GPT-4o를 공개했습니다.
사용자와 실시간으로 대화가 가능한 GPT-4o는, 대화 상대의 감정을 인식하고 상황에 맞는 적절한 감정 표현도 할 수 있으며, 심지어 농담을 하고, 노래를 부르기도 합니다.
GPT-4o의 음성 모드는 말하기 전 1~2초의 대기 시간이 있었던 기존과는 달리 언제든지 말을 시작할 수 있으며, 답변도 실시간으로 합니다.
그뿐만 아니라 기존에는 AI가 말하는 것이 끝날 때까지 기다려야 했던 것과 달리, 이제는 말하는 도중에 끼어들 수도 있습니다.
아래는 OpenAI에서 공개한 강아지를 AI에게 소개하는 영상입니다. 영상을 보면 자비스가 떠오르며, AGI의 탄생이 머지않았다는 생각이 듭니다.
✅ GPT-4o의 o는 '모든 것'을 의미하는 Omni의 약자로, 텍스트/오디오/이미지를 동시에 입력받고 출력할 수 있는 것을 의미합니다.
GPT-4o 무료 사용법
GPT-4o는 챗GPT를 이용하는 모든 유저에게 무료로 제공됩니다.
무료 유저의 경우 챗GPT 가입 후 별도의 설정을 하지 않아도 기본적으로 GPT-4o 모델이 적용됩니다. 챗GPT 답변에서 답변에 사용된 모델을 확인할 수 있습니다.
해당 모델은 3시간당 사용량 제한이 적용되며, 제공된 사용량을 전부 소진하면 가장 기본 모델인 GPT-3.5로 자동으로 전환됩니다.
유료 플랜인 Plus 플랜에서는 현재 3시간 80회의 사용량이 제공되며, 무료 플랜의 정확한 사용 가능 횟수는 공개되지 않았습니다. (Plus 플랜은 무료 플랜 대비 최대 5배의 사용량이 제공될 것으로 언급)
또한, 유료 플랜에만 제공되었던 특정 기능에 수행에 특화된 챗봇인 커스텀 GPT(GPTs)를 무료 플랜에서도 이용할 수 있습니다. 단, 커스텀 GPT를 제작하는 기능은 제공되지 않습니다.
뿐만 아니라, 챗GPT가 인터넷을 검색하여 최신 정보를 제공하는 브라우징 기능과, 사용자가 직접 파일을 업로드하여 챗GPT와 대화하고 분석하는 기능도 무료 플랜에서 제공됩니다.
아쉽지만 AI 이미지 생성 모델인 달리3는 무료 플랜에서는 제공되지 않습니다.
챗GPT 무료 플랜에서 제공되는 기능을 정리하면 아래와 같습니다.
| 항목 | 설명 |
| GPT-3.5 | 무제한 사용 |
| GPT-4o | 제한적 사용 (3시간당 사용 횟수 제한) |
| 파일 업로드 | 사용자가 보유한 파일 업로드 후 요약 및 분석 |
| 데이터 분석 | 챗GPT에 탑재된 파이썬을 활용한 데이터 분석 및 차트 생성 |
| 이미지 인식, 분석, 대화 | 사용자가 업로드한 이미지에 대한 대화 및 분석 |
| 음성 대화 | 음성을 사용하여 대화 가능 |
| 브라우징 | 실시간으로 웹에서 정보를 검색하여 최신 정보 제공 |
| GPT 스토어, GPTs | GPT 스토어에서 GPTs 검색 및 사용 (GPTs 생성은 불가) |
| 메모리 기능 | 사용자의 특성을 기억하여 더 나은 답변 제공 |
✅ Plus 플랜 사용자는 기존과 같이 GPT-4(3시간 40회)도 이용할 수 있습니다.
챗GPT-4o 적용 시점
향상된 텍스트 및 이미지 기능이 5/13(월)부터 순차적으로 적용되며, 실시간 대화가 가능한 새로운 음성 모드는 향후 몇 주 내에 챗GPT Plus 유저에게 먼저 적용될 예정이라고 합니다.
저의 경우 신규 모델 공개 직후 모델 선택 옵션이 활성화되어 현재 사용 중에 있습니다.
GPT-4o 성능
OpenAI는 GPT-4o가 많은 부분에서 GPT-4보다 뛰어난 것으로 공개했습니다.
1. 언어 능력
GPT-4o는 GPT-4 대비 추론 능력이 뛰어납니다. 이 신규 모델은 0점짜리 COT MMLU(일반 지식 문제)에서 88.7%라는 새로운 최고 점수를 기록했습니다.
2. 음성 자동 인식 능력
GPT-4o의 음성 인식 성능은 모든 언어, 특히 자원이 부족한 언어에 대해 Whisper-v3을 크게 앞서는 것으로 확인됩니다.
3. 음성 번역 능력
GPT-4o는 음성 번역의 새로운 기준을 제시하며 MLS 벤치마크에서 Whisper-v3보다 뛰어난 성능을 발휘합니다.
향상된 AI 이미지 생성 모델
라이브 데모에서는 음성 모드의 성능 향상이 주로 부각되었지만, AI 이미지 생성 모델에도 엄청난 성능 업그레이드가 있었습니다.
지금부터 OpenAI에서 공개한 다양한 예시 중 눈에 띄는 몇 가지를 함께 살펴보겠습니다.
1. 텍스트의 이미지 구현
사용자가 입력한 텍스트를 이미지로 구현하는 능력이 기존과는 비교할 수 없을 정도로 향상되었습니다.
이 분야 기존 최강자 Ideogram을 능가하는 성능을 보여줍니다. 금일부로 AI 이미지의 활용도가 더욱 높아질 것으로 예상됩니다.
아래와 같이 긴 문장도 완벽하게 반영해서 편지 형태로 제공할 수 있습니다.
2. 캐리커처
다음은 실물 사진을 캐리커처로 변경한 예시입니다. 원본 인물과 상당히 담은 캐릭터가 생성된 것을 볼 수 있습니다.
3. 로고 제작
마지막으로 OpenAI 로고를 컵 받침에 새긴 예시입니다. 사용자의 요청대로 로고는 나무 부분에, 텍스트는 대리석 부분에 정확하게 구분되어 반영되는 것을 알 수 있습니다.
OpenAI 홈페이지에는 위 예시 외에도 훨씬 더 다양한 사용 예시가 공개되어 있습니다.
음성 데모 영상
다음으로 OpenAI에서 공개한 음성 데모 영상 몇 가지를 함께 보겠습니다.
먼저 수학 문제를 AI와 함께 학습하는 영상입니다.
AI가 사용자의 요청대로 비꼬는 말투로 대답하는 영상입니다.
마지막으로 두 AI가 서로 대화하는 영상입니다.
API 관련 정보
개발자는 API에서 텍스트 및 비전 모델로 GPT-4o에 액세스할 수 있습니다. GPT-4o는 GPT-4 터보에 비해 속도가 2배 빠르고 가격은 절반이며, 사용 제한은 5배 더 높습니다.
향후 몇 주 내에 신뢰할 수 있는 소수의 파트너 그룹을 대상으로 새로운 오디오 및 비디오 기능에 대한 지원을 API에서 시작할 계획이라고 합니다.
지금까지 OpenAI의 새로운 멀티모달 플래그십 모델 GPT-4o에 대해 함께 살펴보았습니다.
OpenAI는 꽁꽁 숨겨온 새로운 플래그십 모델을 구글의 연례 개발자 회의(I/O) 바로 전날에 발표하며 세상의 모든 이목을 끄는데 또 한 번 성공했습니다.
GPT-4와는 달리 무료 사용자에게도 신규 모델이 제공되는 만큼 챗GPT의 유저가 점점 더 많아질 것으로 예상됩니다.
OpenAI는 언제나 기대 이상의 새로운 AI 툴을 선보였습니다. GPT-5의 출시가 더욱 기대되는 하루입니다.
OpenAI의 공식 페이지에는 더욱 다양한 데모 영상과 사용 예시가 공개되어 있으니 관심 있는 독자분께서는 방문해 보시기 바랍니다.