AI가 읽고 이해하도록… 쌓여있는 데이터 정리한다

오픈AI는 최근 회사 내부에 쌓인 7만여 데이터 세트(특정 목적에 따라 모아놓은 데이터의 묶음)를 인공지능(AI)이 활용할 수 있도록 재가공하고 있다. 오픈AI가 관리하는 데이터는 600페타바이트(PB·100만 GB)가 넘는 규모로, 2시간짜리 고화질 영화(약 10GB) 6000만 편에 해당한다. 각 데이터 표에 어떤 정보가 들어 있는지 설명을 붙이고, 이용자 수 등을 집계할 때 어떤 자료를 사용하고 무엇을 포함하거나 제외할지 계산 기준을 정한다. 기존엔 같은 이용자 수라도 집계 기준에 따라 수치가 달라 담당자가 자료를 일일이 확인해야 했다. 오픈AI는 이렇게 정리한 데이터를 활용해 AI가 회사의 기준에 맞는 자료를 찾아 분석하도록 자체 시스템을 구축했다.