딥러닝 작동 원리 완벽 정리, 알파고로 이해하기

챗GPT를 매일 켜면서도 이게 대체 어떻게 배우는 건지 설명해 보라면 말문이 막히는 분이 많습니다. 온 국민이 지켜본 알파고와 이세돌의 대국도 그렇습니다. 기계가 인간의 지능을 앞질러 버린 사건처럼 기억되지만, 그 승부의 실체는 데이터와 컴퓨팅, 알고리즘이 한자리에 맞물린 딥러닝 작동 원리였습니다. 이 글은 규칙을 일일이 짜 넣던 옛 AI가 왜 한계에 부딪혔는지, 데이터로 스스로 배우는 셀프 러닝 AI가 어떻게 그 자리를 넘겨받았는지를 알렉스넷과 알파고 두 장면으로 정리해 드립니다. 다 읽고 나면 딥러닝 작동 원리를 한 문단으로 남에게 설명할 수 있게 됩니다.

규칙 기반 AI는 왜 한계에 부딪혔을까

먼저 짚어야 할 것은 딥러닝 이전의 AI가 무엇을 하고 있었는지입니다. 초기 인공지능은 사람이 판단 규칙을 하나하나 손으로 적어 넣는 방식으로 움직였습니다. 고양이를 알아보게 하려면 귀 모양은 어떻고 수염은 몇 가닥인지 같은 조건을 프로그래머가 미리 정의해 두는 식입니다.

문제는 세상의 데이터가 멈추지 않고 불어난다는 데 있습니다. 다뤄야 할 데이터가 늘어나면 그로부터 쓸모 있는 정보를 뽑아내기 위한 규칙도 함께 늘어나야 합니다. 그런데 규칙을 사람이 짠다는 것은 곧 손으로 셀 수 있는 경우의 수 안에서만 작동한다는 뜻입니다. 예외가 나올 때마다 규칙을 덧대다 보면 어느 순간 규칙끼리 충돌하고, 새 상황은 계속 밀려듭니다. 규칙을 만드는 사람의 한계가 그대로 AI 전체의 한계가 되어 버립니다. 규칙 기반 AI는 여기서 멈춰 섰습니다.

데이터·컴퓨터·알고리즘이 한 점에서 만난 순간

그 벽을 넘은 발상은 방향을 뒤집는 데서 나왔습니다. 규칙을 사람이 적어 주는 대신, 방대한 데이터를 던져 주고 기계가 스스로 특징을 찾아내게 하자는 것입니다. 이 셀프 러닝이 실제로 작동하려면 세 가지 조건이 동시에 갖춰져야 했습니다.

첫째는 배울 재료, 즉 대량으로 정리된 데이터입니다. 이미지마다 이름표가 붙은 대규모 데이터셋인 이미지넷이 그 역할을 했습니다. 둘째는 그 많은 계산을 감당할 컴퓨터입니다. 본래 게임 그래픽을 그리던 엔비디아 GTX 580 같은 GPU가 병렬 계산에 강했던 덕분에 학습 시간이 현실적인 수준으로 내려왔습니다. 셋째는 데이터에서 층층이 특징을 뽑아내는 알고리즘, 곧 알렉스넷이라 불린 심층 신경망입니다.

이 셋이 따로 존재하던 시절에는 아무 일도 일어나지 않았습니다. 재료와 연산 장치와 알고리즘이 한 점에서 겹친 순간, 기계가 스스로 배우는 딥러닝 작동 원리가 비로소 실제로 굴러가기 시작했습니다. 현대 AI의 출발선은 이 만남에 있습니다.

알파고는 정말 인간을 넘어선 걸까

바둑은 오랫동안 기계가 넘볼 수 없는 영역으로 여겨졌습니다. 경우의 수가 사실상 무한에 가까워, 모든 수를 계산해 최선을 고르는 방식으로는 감당이 되지 않기 때문입니다. 알파고가 한 일은 이 무한을 대하는 관점을 바꾼 것입니다.

관건은 바둑을 끝없이 이어지는 선택의 게임이 아니라, 한정된 확률 선택의 게임으로 다시 본 데 있습니다. 지금 이 판에서 둘 수 있는 수많은 자리 가운데 이길 확률을 가장 높이는 쪽이 어디인지, 그 확률을 데이터로 학습해 추려 내는 것입니다. 모든 가능성을 전부 뒤지는 대신 승산이 높은 선택지로 범위를 좁혀 들어가는 방식입니다.

그러니 알파고가 인간의 지능 자체를 앞질렀다고 읽는 것은 장면을 잘못 본 것입니다. 기계는 인간과 같은 방식으로 바둑을 두어 이긴 게 아니라, 문제를 자신이 풀 수 있는 형태로 다시 정의했을 뿐입니다. 딥러닝 작동 원리의 본질은 이 재정의, 감당 못 할 무한을 다룰 수 있는 확률 문제로 바꿔 놓는 솜씨입니다.