페르마는 고대의 수학자 디오판토스가 지은 <산술>을 즐겨 읽었는데요, 어떤 문제에 대한 아이디어나 증명법이 떠오르면 여백에 메모를 남겼습니다. 그가 남긴 메모들 중에서 끝까지 해결되지 않고 남아있던 문제가 페르마의 마지막 정리입니다.

피타고라스 정리와 비슷하게 생겼습니다. “x^n + y^n = z^n (n≥3) 인 정수해는 없다.” 이것이 페르마가 남긴 마지막 정리입니다. “경이로운 방법으로 이 문제를 증명했다. 그렇지만 여백이 좁아서 여기에 적지는 않는다.”라는 메모와 함께 말이죠.

단순해보이고, 증명도 쉬워보였지만… 350년 넘게 아무도 풀지 못했습니다. 1994년 앤드루 와일즈가 마침내 증명하죠.

증명의 핵심은 ‘대칭’입니다. 대칭이란 성질을 유지시키는 변환을 가리킵니다. 정삼각형을 120도 돌리거나, 240도 돌리거나, 360도 돌리거나, 또는 반으로 나눈 선을 기준으로 좌우를 반전시켜도 원래 상태와 똑같죠. 이런 게 대칭입니다. 이렇게 대칭을 만드는 집합의 한 묶음을 ‘군’이라고 하는데요, 갈루아가 대칭 이론인 군론을 창안했습니다.

와일즈가 증명에 사용한 것은 ‘갈루아 표현’이라는 방법인데요, 수에 숨어 있는 대칭을 행렬로 나타내는 방법입니다. 무엇을 비교했냐면, 타원곡선과 모듈러형식을 비교했습니다. 타원곡선은 대칭이 숨겨진 방정식이고, 모듈러형식은 대칭이 극도로 풍부하게 드러난 패턴입니다. 서로 관련이 없다고 여겨졌던 이 두 영역의 연관성을 최초로 통찰한 사람들은 일본 수학자 타니야마와 시무라였습니다. 타원곡선은 모습을 바꾼 모듈러라고 추측했죠.

1984년 프라이가 과감한 주장을 발표했고, 뒤이어 리벳이 그 주장이 옳다는 것을 증명했습니다. 그 내용이 뭐냐면, 페르마의 마지막 정리가 틀렸다고 가정해본 겁니다. 정수해가 존재한다면 어떤 일이 일어날지 따져본 거죠. 아주 특이한 타원곡선이 생기는데, 모듈러 성질이 없는 타원곡선입니다. 타원곡선이 모듈러라는 타이야마-시무라 추측과 상반되죠.

그 특이한 타원곡선은 반안정 타원곡선의 한 예입니다. 와일즈는 모든 반안정 타원곡선이 모듈러 형식과 대응된다는 것을 증명했습니다. 따라서 페르마의 마지막 정리는 틀리지 않았습니다.

와일즈는 갈루아 표현이라는 도구를 이용해 타원곡선과 모듈러 형식의 대칭 구조를 비교했고, 두 대상이 같은 구조로 연결된다는 사실을 밝혔습니다. 그 결과 350년 동안 풀리지 않던 페르마의 마지막 정리가 마침내 증명되었습니다. 2001년 “모든 타원곡선이 모듈러”라는 것까지 증명됨으로써, ‘타니야마-시무라 추측’은 이제 ‘모듈러성 정리’라는 새 이름을 얻게 되었습니다.