mallo

InceptionV1와 Qwen3-32B를 다시 보니, 뉴런은 정말 뒤엉킨 매듭이 아니었을까요?

요약 듣기

0:0011:49

말로 앱 받기 원문 보기already-clean.goodfire.com
요약 보기

글의 중심 주장은 꽤 단호하지만, 어디까지나 저자의 현재 판단이에요. 저자는 이미지 모델과 언어 모델의 뉴런, 회로를 오래 들여다본 뒤에 신경망이 우리가 겁먹었던 것만큼 뒤엉켜 있지 않다고 보게 됐다고 말해요. 예전에는 뉴런이 서로 상관없는 개념들을 아무렇게나 한데 욱여넣는다고 믿게 만든 대표 사례들이 있었는데, 저자는 그 해석이 많이 잘못됐다고 봐요. 그래서 신경망을 이해하려면 먼저 내부를 억지로 풀어헤쳐 다른 표현으로 바꿔야 한다는 생각보다, 원래 신경망 자체를 직접 연구하는 쪽이 더 가능성이 크다고 주장해요.

여기서 배경이 되는 말부터 잡아볼게요. 저자가 말하는 해석 가능성은, 모델이 답을 잘 맞히는지만 보는 게 아니라 내부에서 어떤 뉴런이 어떤 역할을 하고, 그 뉴런들이 어떻게 연결되어 입력 정보를 처리하는지 추적해 보는 일이에요. 저자는 이 일에 두 접근이 있다고 나눠 말해요. 하나는 신경망 자체를 현미경으로 들여다보듯 직접 관찰하는 방법이고, 다른 하나는 먼저 '이런 특징들이 숨어 있을 것'이라는 목록을 세운 뒤 그것들을 따로 뽑아내는 새 분해 모델을 만드는 방법이에요. 저자는 한동안 분야가 두 번째 방법으로 기울었는데, 그 이유는 원래 네트워크가 너무 엉킨 매듭처럼 보였기 때문이라고 설명해요.

왜 그렇게 보였는지를 이해하려면 초기에 유명했던 '다의적 뉴런'과 '중첩' 이야기를 알아야 해요. 다의적 뉴런은 겉으로 볼 때 서로 무관한 여러 일을 동시에 하는 것처럼 보이는 뉴런을 뜻하고, 중첩은 뉴런 수가 부족해지면 네트워크가 관련 없는 것들을 한 뉴런에 포개 넣는다는 설명이에요. 이 설명이 맞다면, 특정 뉴런이 왜 하필 그 둘을 같이 담고 있는지는 거의 의미가 없어져요. 마치 서랍이 부족한 집에서 양말과 건전지와 영수증을 같은 칸에 넣어둔 상황과 비슷해져서, 서랍 배치를 연구해 봐야 집주인의 생각을 읽을 수 없다는 식이죠. 그래서 원래 네트워크를 직접 보기보다, 희소 오토인코더 같은 별도 모델로 '풀어낸 버전'을 만든 뒤 그걸 연구해야 한다는 흐름이 생겼다는 거예요.

그런데 저자는 대표적인 근거였던 InceptionV1의 후기 층이 사실은 중첩의 증거가 아니었다고 봐요. 핵심은 두 가지예요. 첫째, 당시 모델 구조 자체가 깊은 층에서 학습을 잘 못 하게 만드는 문제가 있었고, 둘째, 그 문제를 읽어내는 해석 도구도 약해서 후기 층이 더 난잡해 보였다는 거예요. 저자에 따르면 이후에 깊은 층 학습을 돕기 위해 도입된 보통의 구조 개선들이 뜻밖에도 해석 가능성도 높였어요. 같은 크기, 같은 데이터 조건에서도 후기 층 뉴런이 거의 전부 읽히는 수준까지 바뀌었다는 거죠. 저자는 이 점을 근거로, 문제가 '두 번째 학습 원리'의 출현이 아니라 원래 학습이 잘 안 된 사례였고 그건 비교적 쉽게 고칠 수 있다고 해석해요.

이 반전이 가장 선명하게 드러나는 예가 InceptionV1의 유명한 '고양이와 자동차 뉴런'이에요. 예전에는 이 뉴런이 고양이 얼굴과 자동차 앞부분을 함께 반응하니, 관련 없는 둘이 한 뉴런에 섞였다고 읽었어요. 그런데 저자는 그걸 다시 보고, 사실 이 뉴런의 공통점은 '고양이'나 '자동차'라는 명사가 아니라 뾰족한 V자 형태라고 해석해요. 불꽃, 물줄기, 여우 얼굴처럼 같은 모양이 들어오면 반응하고, 반대로 둥근 O형태는 음의 방향으로 민다는 식이에요. 이게 왜 중요한가 하면, 우리가 뉴런을 자꾸 사물 이름표처럼 읽으려 할수록 '서로 다른 명사들의 묶음'으로 오해하기 쉽다는 뜻이거든요. 저자는 중간층 뉴런은 무엇을 이름 붙이느냐보다, 다음 단계에서 어떤 구분을 가능하게 하느냐로 보는 편이 낫다고 말해요.

비슷한 식으로, 저자 자신이 한때 중첩의 대표 증거로 봤던 회로도 다시 해석돼요. 예전에는 자동차 특징이 여러 개의 개 뉴런 사이에 숨어 들어가 나중에 다시 읽혀 나오는 것처럼 보였대요. 그런데 다시 보니 그건 자동차와 개가 '같은 자세'를 공유해서 생긴 연결이었고, 뒤층에는 이런 자세를 일반화해서 잡는 깨끗한 뉴런들이 많이 있었다는 거예요. 여기서 또 하나 짚는 게 도구의 오류예요. 이미지를 합성해 뉴런이 좋아하는 입력을 그려내는 feature visualization은 깊은 층에서 최적화가 쉬운 길로 빠져, 실제보다 개 쪽으로 과장된 그림을 만들 수 있었다고 해요. 그러면 관찰자는 네트워크가 이상하게 섞였다고 믿기 쉬워지죠. 저자는 이런 사례를 통해, 혼란의 상당 부분이 대상 자체가 아니라 현미경 조정 실패에서 나왔다고 말하고 있어요.

그렇다면 남아 있는 '한 뉴런이 여러 가지를 한다'는 현상은 뭘까요. 저자가 내세우는 대안 설명이 재귀적 일반화예요. 쉽게 말해, 처음에는 아주 좁은 패턴을 잡던 뉴런이 학습 도중 가까운 방향으로 조금씩 가지를 뻗는다는 그림이에요. 가상의 나무를 떠올리면 이해가 쉬워요. 줄기에서 전혀 엉뚱한 철사 조각이 튀어나오는 게 아니라, 원래 가지 옆에서 다시 작은 가지가 나는 식이죠. 저자는 언어 모델에서 'iy'에 반응하던 뉴런이 'diy'로, 더 나아가 'do it yourself' 같은 표현으로까지 퍼지는 사례를 들어요. 겉으로는 의미가 늘어난 것처럼 보여도, 성장 경로를 따라가 보면 전혀 무관한 것들의 임의 결합이라기보다 가까운 곳으로 확장된 흔적이라는 거예요. 저자는 이미지 모델에서도, 언어 모델에서도, 심지어 원래의 InceptionV1을 다시 훈련해 봐도 이런 모습이 반복된다고 말해요.

이 설명이 중첩과 어떻게 다른지도 중요해요. 저자의 구분에 따르면 일반화는 비슷한 것들을 한곳에 모으고, 중첩은 무관한 것들을 충돌만 안 난다는 이유로 겹쳐 넣어요. 그래서 둘은 예측이 거의 반대예요. 재귀적 일반화가 맞다면 뉴런이 여러 의미를 품더라도 그 사이에는 가까운 연결고리가 보여야 하고, 학습 과정에서도 조금씩 이어지는 길이 보여야 해요. 반대로 중첩이 맞다면 멀리 떨어진 것들이 지역적 설명 없이 묶여야 하죠. 저자는 바로 이 점 때문에 중첩을 기본 가설로 둘 게 아니라 가장 나중에 의심해야 할 가설이라고 말해요. '설명이 아직 없다'는 사실만으로는 중첩을 입증할 수 없고, 도구가 나빴는지, 모델이 잘못 학습됐는지, 일반화를 아직 못 읽은 건지를 먼저 따져볼 수 있기 때문이에요.

언어 모델 쪽 이야기는 특히 조심해서 읽어야 해요. 저자는 초기 연구들에서는 해석 가능한 뉴런 비율이 아주 낮게 나왔지만, 더 나은 도구와 최신 모델을 보면 그림이 크게 달라진다고 말해요. Qwen3-32B에 대한 예비 점검에서는 대략 90% 정도의 뉴런 극성이 한 가지 주된 역할을 하고, 또 일부는 서로 관련된 두 역할을 하며, 소수만 아직 이해되지 않았다고 추정해요. 다만 이 숫자는 딱 떨어지는 성적표가 아니에요. 약한 활성까지 어디까지 셀지, '한 가지 일'의 기준을 어떻게 잡을지, 깊이와 회로 밀도를 어떻게 볼지에 따라 수치가 달라진다고 저자 스스로 강조해요. 그러니까 여기서 읽어야 할 포인트는 '정확히 몇 퍼센트인가'보다, 무작위 잡탕처럼 보이던 것들 중 많은 부분이 실제로는 읽을 수 있는 구조일 수 있다는 방향성이에요.

왜 예전에는 그렇게 비관적으로 보였는지에 대한 저자의 설명도 흥미로워요. 해석 모델이 가설을 세우고 실험으로 깨보는 반복을 충분히 못 했고, 점수 체계도 '정말 맞는 설명'보다 '활성을 그럴듯하게 흉내 내는 설명'에 보상을 주는 쪽이었다는 거예요. 여기에 더해 언어 뉴런이 어떤 모습일지에 대한 감이 거의 없었고, 작은 모델이나 단순화된 모델을 많이 봤다는 점도 겹쳤다고 해요. 저자는 이해가 퍼즐처럼 누적된다고 보는데, 초반에는 주변도 모르니 하나의 뉴런 설명조차 막막하지만, 일단 지도에 칸이 차기 시작하면 주변 연결, 위아래 흐름, 반대 극성, 조작 실험이 서로 교차 검증을 해 준다고 말해요. 그래서 텅 빈 상태와 꽤 채워진 상태가 모두 자연스러운 구간이고, 중간이 오히려 가장 헷갈릴 수 있다는 그림이에요.

이 대목에서 저자가 뉴런을 보는 관점도 바뀌어요. 예전에는 뉴런을 '자동차', '곡선' 같은 사람 친화적인 명사로 생각했다면, 지금은 흐름을 가르는 게이트에 더 가깝다고 봐요. 예를 들어 어떤 단계에서는 자동차와 개가 같은 자세 때문에 먼저 한데 묶일 수 있어요. 그러다 뒤쪽의 더 전문적인 자동차 뉴런들 앞에서는, 자동차는 통과시키고 개는 음의 방향으로 밀어내는 뉴런이 필요해질 수 있죠. 이렇게 보면 뉴런의 핵심은 '무엇을 본다'보다 '무엇을 통과시키고 무엇을 막는다'예요. 그래서 저자는 양의 반응만큼 음의 반응도 중요하게 봐요. 마지막 층에서 택시 대 구급차, 브로콜리 대 콜리플라워처럼 비슷한 둘을 가르는 뉴런들이 나온다는 설명은, 신경망이 무작위로 붙여 넣기보다 점점 더 세밀한 구분을 만든다는 그림과 잘 이어져요.

이렇게 보면 저자가 마지막에 내놓는 네 단계 주장도 정리돼요. 첫째, 신경망에는 중첩 같은 별도 원리보다 일반화 하나가 거의 대부분을 설명할 수 있고, 그 정도면 직접 연구를 시작하는 데 큰 장애가 없어요. 둘째, 최신 모델과 도구에서는 그 직접 연구가 예상보다 잘 된다고 저자는 말해요. 셋째, 이해는 누적되기 때문에 일부만 보는 것보다 넓게 지도를 채우는 편이 오히려 쉬울 수 있어요. 넷째, 아주 조심스러운 추측으로, 이런 방식이 해석 가능성 문제의 큰 부분을 이미 해결할 수도 있다고 저자는 기대해요. 다만 이 네 번째는 저자도 분명히 추정이라고 선을 그어요. 아직 언어 모델은 너무 크고, 완전히 풀렸다고 하기는 멀었으며, 더 자세한 실험은 동반 논문에서 다룰 거라고 하니까요.

그래서 이 글을 읽고 바로 '이제 신경망은 거의 다 이해됐다'고 받아들이면 곤란해요. 저자도 그런 확정은 하지 않아요. 예비 수치에는 표본이 작은 것도 있고, 약한 활성이나 기준선 선택에 따라 결과가 흔들릴 수 있다고 여러 번 말해요. 실제 네트워크 어딘가에 중첩이 전혀 없다고 단언하는 것도 아니고, 연구를 위해 중요하지 않을 만큼 드물 수 있다는 쪽에 더 가까워요. 또 설명이 잘 안 되는 뉴런을 억지로 의미 있는 이야기로 포장해서도 안 된다고 경고해요. 좋은 도구로 다시 보고, 더 나은 구조로 다시 훈련해 보고, 학습 과정을 추적해 보고도 여전히 안 풀리면 그때 남겨 두면 된다는 태도예요. 그러니 이 글의 무게중심은 '문제가 이미 해결됐다'가 아니라, '우리가 비관하게 만들었던 대표 증거들이 생각보다 약했으니, 원래 네트워크를 직접 연구하는 과학을 다시 밀어볼 만하다'에 있어요.