Browse with Bing 답변 퀄리티 테스트

저의 챗GPT 계정에 신규 기능인 Browse with Bing이 런칭(5/23) 다음날 적용됐습니다. 신규 기능에 대한 정확한 평가를 위해 최소 100회 이상의 요청을 통해 테스트를 수행했습니다.

결론부터 말씀드리면 "대박"입니다. 할루시네이션(=틀린 답변을 사실인 것처럼 제공)이 거의 없고, 답변 검색 과정도 아주 상세히 제공합니다.

느린 답변 속도와 요청 개수 제한(3시간 25개)이라는 한계점이 있지만, 두 가지가 개선된다면 메인 검색엔진을 챗GPT로 변경하는 유저도 꽤 많아질 것으로 생각됩니다.

지금부터 테스트 결과를 공유하겠습니다. 첫 번째 테스트는 이미 온라인에 공개된 데이터에 대한 정보를 요청하는 테스트입니다.

엔비디아(NVIDIA) 실적

엔비디아 최근 분기 실적(5/24 발표) 알려줘

챗GPT가 답변한 실적을 제공된 URL에서 비교 검증한 결과 100% 일치했습니다. 답변 내용 중 "2024년도 1분기 실적"을 할루시네이션으로 오해할 수 있지만, 미국은 회계연도 기준이 기업마다 상이하며, 엔비디아의 경우 5/24에 발표된 실적이 2024년 1분기 실적이 맞습니다.

"Finished Browsing" 우측 화살표를 클릭하면 아주 상세한 답변 검색 과정과 참조한 사이트의 URL도 확인할 수 있습니다.

"Nvidia quartely earnings May 24 2022" 검색 → nvidianews.nvvidia.com을 참조한 것을 알 수 있습니다. 놀랍게도, AI가 스스로의 판단을 통해 검색어를 영어로 번역한 후 검색을 진행했습니다.

구글 애드센스 계정 변경

특정 사이트에 구글 애드센스(=구글 광고 프로그램) 광고를 송출하려면, 애드센스의 광고 적용 심사를 통과해야 합니다. 이미 광고 송출이 승인된 사이트를 기존 구글 계정에서 삭제 후 다른 구글 계정에 등록할 수 있는지 문의해 보겠습니다.

특정 애드센스 계정(=구글 광고)에서 광고 송출이 승인된 사이트를 삭제한 후 신규 계정에 이 사이트에 대해 애드센스 적용 신청해도 돼? 웹브라우징 기능을 사용해서 검토 후 답변해 줘

계정 변경 방법과 리스크에 대해 상세히 설명합니다.

데이터를 참조한 모든 사이트의 URL을 제공하므로, 신뢰할 만한 사이트를 참조했는지 검증할 수 있습니다.

빙에서 "move approved Adsense site to another account" 검색 → support.google.com 클릭 → (컨텐츠를 Reading 하지 않고) 이전 페이지로 이동 → www.ezoic.com 클릭 후 컨텐츠 Reading

마이크로소프트 Build 2023

최근(5/23) 진행된 마이크로소프트 Build 2023 개발자 컨퍼런스 내용을 요약해달라고 요청해 보겠습니다.

마이크로소프트 Build 2023 요약해 줘

"Microsoft Build 2023 summary"로 검색한 www.theverge.com 뉴스 기사를 읽고 정보를 제공합니다.

뉴스 기사는 잘못된 정보를 제공할 가능성이 있으므로, 마이크로소프트 공식 블로그에서 관련 내용을 찾아서 정리해 줄 것을 요청해 보았습니다.

마이크로소프트 공식 블로그에서 내용 찾아서 정리해 줘

특정 페이지를 참조하는 것에 문제가 있다고 합니다. 명령어를 살짝 바꿔서 몇 번 더 요청했으나 아쉽게도 비슷한 답변을 받았습니다.

대구공항 여객기 사건(5/26)

이번에는 발생한지 2시간이 채 지나지 않은 대구 여객기 문 열림 이슈에 대해 문의해 보겠습니다. 정말 다행히 인명피해는 없었다고 하네요

대구공항 여객기 문 열린 이슈에 대해 검색해서 정리해 줘

이번에는 "대구공항 여객기 문 이슈"라는 한글 검색어로 검색한 www.bbc.com, www.ajunews.com에서 컨텐츠를 읽고 내용을 정리했습니다.

정말 좋다고 느낀 부분은 답변에 1,2와 같이 숫자가 표시되는데, 참조한 여러 개의 사이트 중 어떤 사이트를 참조했는지에 대한 표시입니다.

Browse with Bing 총평

Browse with Bing은 브라우징 기능의 최대 리스크인 할루시네이션(=틀린 답변을 사실인 것처럼 제공)이 거의 없었습니다.

또한, 답변 검색 과정을 상세하게 제공하며, 참조한 사이트의 URL도 제공합니다. 이러한 정보는 답변의 출처가 신뢰할 수 있는 사이트인지, 아닌지를 판단하는데 큰 도움이 됩니다.

기존 검색엔진에 비해 검색 속도가 상당히 느리며, 여러 사이트를 검색하다가 검색이 중단되거나, 특정 사이트를 읽지 못하는 등의 한계도 있습니다.

현재 Browse with Bing 기능의 느린 답변 속도와 요청 개수 제한(3시간 25개) 등으로 인해 지금 당장 기존 검색엔진을 대체하기는 어려울 것입니다.

그러나 최근 몇 개월간 챗GPT의 기능이 매우 빠른 속도로 확장되어왔고, 퀄리티 개선 속도도 굉장히 빨랐기에 브라우징 기능의 속도까지 개선된다면 챗GPT의 점유율이 더욱 증가할 것은 분명해 보입니다.