1개 AI가 미해결 수학 다룬 논문 722편 쏟아내…수학계 ‘혼돈’

최근 급격히 거세진 인공지능(AI)발 소용돌이를 마주한 수학자들의 반응 가운데 일부다. 앤트로픽은 인공지능 업계에서 오픈에이아이의 최대 경쟁업체 가운데 하나이고, 필즈상은 수학계의 노벨상으로 불리는 최고 영예의 상이다.

지난 6일 오픈에이아이가 370개가 넘는 미해결 수학 문제를 다룬 722편의 인공지능 생성 논문을 한꺼번에 공개한 이후 수학계가 큰 충격에 휩싸였다. 그 안엔 찬사와 우려가 동시에 담겨 있다.

이번 공개는 오픈에이아이가 지난달 8일 세계 최대 수학 난제 중 하나로 꼽히는 ‘나비에-스토크스 방정식 해의 존재성과 매끄러움’ 문제를 해결했다고 발표한 지 한달만에 나왔다.

특히 이번에는 특정 문제가 아닌 대수학, 정수론, 이론 컴퓨터 과학, 수리 논리, 위상수학 등 다양한 분야에 걸친 다양한 수학 미해결 문제들에 대한 연구 결과를 무더기로 쏟아냈다는 점에서 충격의 강도가 다르다. 하버드대 이론물리학자 겸 수학자 마이클 더글러스는 과학전문지 ‘사이언티픽 아메리칸’과의 인터뷰에서 “나비에-스토크스 문제를 해결한 것보다 훨씬 더 중요한 순간”이라며 “수학과 수리물리학의 새로운 시대가 시작됐다”고 말했다. 영국 클레이수학연구소 소장인 마틴 브리드슨도 “수학의 최첨단이 하루만에 이렇게까지 발전할 수 있다고는 상상도 할 수 없었을 것”이라며 “숨 막힐 정도로 훌륭하다”고 평가했다.

앤트로픽의 알포게 박사는 소셜미디어 엑스에 올린 글을 통해 다소 복잡한 심경을 드러냈다. “일부 연구자들은 프로젝트가 차질을 빚게 될 것이다. 이는 슬픈 이야기이다. 하지만 오늘은 그 이야기는 잠시 접어둬야 한다. 기술이 수학자들에게 얼마나 빠르게 유용해졌는지를 보여주기 때문이다.”

수학은 그동안 인공지능이 두드러진 발견을 내놓기 가장 어려운 분야 가운데 하나로 여겨졌다. 그러나 올해 5월 80년만에 ‘에르되시 추측’의 반례를 내놓은 것을 시작으로 굵직한 수학 연구 성과들이 잇따르면서 수학계도 크게 술렁이기 시작했다. 반례란 “모든 백조는 희다”는 주장에 맞서 검은 백조 한 마리를 찾아 보이는 일처럼, 단 하나만 나와도 기존의 추측 전체를 무너뜨리는 결정적 사례를 말한다.

수학계의 노벨상이라 불리는 필즈상 수상자 25명이 지난달 발표한 성명은 수학자들이 느끼는 충격의 강도를 짐작하게 해준다. 이들은 성명에서 수학 문제 해결을 인공지능 성능의 한 지표로 삼으려는 기업들의 움직임이 수학 공동체에 해를 끼치고 아이디어가 자랄 토양을 파괴할 수 있다고 비판했다.

이번에 공개된 논문의 상당수는 클레이수학연구소가 2000년에 선정한 ‘밀레니엄 문제’ 가운데 미해결로 남아 있는 6개 중, 오픈에이아이가 해결을 주장한 나비에-스토크스 방정식을 뺀 5개와 관련된 내용을 다룬다. 해답은 포함되어 있지 않다. 지금까지 7개 문제 중 푸앵카레 추측만 2003년 증명이 완료됐다.

나비에-스토크스 방정식은 커피를 휘저을 때 생기는 소용돌이처럼 물과 공기의 흐름을 기술하는데, 이 방정식이 어떤 조건에서도 끝까지 말이 되는 답을 내놓는지, 아니면 어느 순간 값이 무한대로 튀며 '고장'이 나는지를 증명하라는 문제다. 오픈에이아이는 지난 9월 자사의 아직 공개하지 않은 인공지능 모델이 이를 풀었다고 밝혔지만 학계에서 공식 인정된 것은 아니다.

한꺼번에 쏟아진 700여편의 논문을 받아든 수학계의 처지는 하루에 제보 722건을 무더기로 받은 신문사 편집국과 비슷하다. 워낙 많은 논문이 한꺼번에 쏟아졌기 때문에, 이를 검토하고 검증하기 위해선 오랜 시간과 노력이 필요하다. 일부 논문은 분량이 수백쪽에 달하고 복잡한 계산으로 가득 차 있다. 오픈에이아이는 공개 하루만에 부호 오류 등을 이유로 논문 세 편을 철회하기도 했다.

미국 수학회 회장을 역임한 브리나 크라 노스웨스턴대 교수는 논문이 이해하기 어렵게 쓰인 점을 지적했다. 그는 “결과는 놀랍지만 수학계가 이를 완전히 이해하는 데는 오랜 시간이 걸릴 것”이라고 말했다

찬사 못지않게 연구 생태계의 붕괴를 걱정하는 목소리도 크다. 브리드슨 박사는 뉴욕타임스에 “많은 사람들에게는 흥미진진하고, 어떤 사람들에게는 두려운 일이며, 또 어떤 사람들에게는 참담한 일이 될 것”이라고 말했다.

백형렬 카이스트 AI수학대학원장(수리과학과 교수)은 “증명이 맞느냐도 중요하지만, 그것이 우리의 지식이 되는 과정도 그만큼 중요하다”며 “인공지능이 증명을 아무리 쏟아내더라도 수학자 공동체 안에서 살아 숨 쉬는 지식이 되지 못한다면, 그 자체로 수학의 진보라고 하기는 어렵다”고 말했다.

수학계 최고 권위의 필즈상과 아벨상을 모두 수상한 프랑스 수학자 장피에르 세르는 뉴욕타임스에 인공지능을 활용한 수학 연구에 대한 갈등을 토로했다. 그는 “수학자들은 배우는 것과 새로운 것을 발견하는 데서 수학의 즐거움을 느끼는데 인공지능은 첫번째 즐거움은 증가시키지만 두번째 즐거움은 감소시킨다”고 말했다.