데빈이란? - 세계 최초의 AI 소프트웨어 엔지니어 Devin

데빈(Devin)은 미국의 Cognition사에서 개발한 세계 최초의 AI 소프트웨어 엔지니어입니다.

쉘, 코드 에디터, 브라우저 등의 자체 개발자 도구가 탑재된 데빈은 자율적으로 엔지니어링 작업을 수행할 수 있습니다.

또한, 사용자와 실시간으로 피드백을 주고받으며, 디자인 결정 과정 등에서도 사용자와 긴밀하게 협력합니다.

아직 사용 사례가 충분하지 않아 정확한 평가가 어렵지만, 데모 영상처럼 실제로 작동한다면 AI 소프트웨어 분야의 게임 체인저가 될 것으로 기대됩니다.

🔔 데빈은 현재 Waiatlist 등록 후 Access를 받아 이용할 수 있습니다.

데빈(Devin)의 능력

데빈은 복잡한 엔지니어링 작업을 계획하고 실행하는 데 필요한 장기적인 추론 능력과 계획 능력을 갖추고 있어, 수천 가지의 의사 결정이 필요한 작업을 수행할 수 있습니다.

또한, 작업 과정의 모든 활동을 기억하고, 학습하며, 작업과정 중 발생하는 오류도 스스로 분석하고 수정할 수 있습니다.

데빈을 개발한 Cognition사는 데빈이 글로벌 AI 기업의 실무 엔지니어링 면접을 통과했으며, Upwork에서의 부업 활동도 성공적으로 수행한 것으로 밝혔습니다.

Cognition사는 데빈을 SWE-Bench에서 테스트한 결과, 깃허브 이슈의 13.86%을 정확하게 해결하여, Calude 2의 4.80%, GPT-4의 1.74%를 크게 앞섰다고 소개했습니다.

SWE-bench는 GitHub 이슈를 자동으로 해결하는 시스템의 능력을 테스트하는 데이터 세트입니다.

Cognition사의 블로그에는 SWE-bench 테스트 진행 관련 상세 내역이 포함된 기술 보고서가 게시되어 있습니다.

해당 기술 보고서에는 테스트 배경, 방식, 결과 및 분석에 대한 내용이 포함되어 있으며, 실제로 테스트를 수행한 항목에 대한 데이터를 확인할 수 있는 깃허브 페이지 링크도 제공합니다.

지금부터 데빈이 특정 역할을 수행하는 몇 가지 데모 영상을 함께 보겠습니다. 놀라운 것은 위 데모에 활용된 링크가 대부분 실존하는 링크였으며, 해당 링크를 설명에 하이퍼링크로 추가해 두었습니다.

Devin이 AI 이미지 생성 모델인 스테이블 디퓨전에서 컨트롤넷을 활용하여 Hidden 텍스트가 포함된 이미지를 생성하는 방법에 대한 블로그 포스팅을 학습한 후 → 포스팅에서 소개한 방법대로 SARA라는 Hidden 텍스트가 포함된 이미지를 생성하는 영상입니다.

세포 자동자 게임인 Game of Life를 시뮬레이션 하는 대화형 개인 웹사이트를 만드는 영상입니다. 사용자가 요청한 기능을 점진적으로 추가한 다음 앱을 Netlify에 배포합니다.

사용자가 오픈 소스 Competitive Programming Book을 유지 관리하고 디버깅하는 것을 Devin이 도와주는 영상입니다.

사용자가 GitHub의 research repository 링크를 제공해서 대규모 언어 모델(7B Llama)을 파인 튜닝하는 영상입니다. 제공된 링크에는 LLM을 파인 튜닝 하는 방법에 대한 문서가 포함되어 있습니다.

Cognition은 미국에 기반을 둔 10인 규모의 스타트업으로, Founders Fund와 다른 유명 투자자들로부터 2,100만 달러(약 280억 원)의 시리즈 A 투자를 유치한 회사입니다.

인원은 소수이지만, 직원들이 국제 정보 올림피아드(IOI, International Olympiad in Informatics)에서 총 10개의 금메달을 수상했을 정도로 초일류 인재들로 구성되어 있습니다.

아래는 창업자인 Scott Wu가 어린 시절 미국의 Mathcounts 중학 수학 경시대회에 참여한 짧은 영상입니다. Scott Wu가 비범한 천재라는 것을 알 수 있습니다.

Cognition사의 블로그에는 데빈이 다양한 작업을 수행하는 영상이 공개되어 있습니다. Devin이 어떠한 역할을 수행할 수 있는지 관심 있는 독자분께서는 홈페이지에 방문해 보시기 바랍니다.