수학적 추상화의 방법과 철학

by I Seul Bee

10부의 말미에서 우리는 세 가지 묵직한 질문을 남겼다. 추상화와 일반화, 이상화, 형식화는 어떻게 구분되는가? 본 연재를 통해 살펴본 여섯 가지 추상화 조작은 서로 어떻게 연결되는가? 그리고 이런 조작으로 규정된 수학적 대상은 인간의 사고와 독립하여 ‘정말로 존재하는가?’ 이 글에서는 지난 열 편의 궤적을 한자리에 모아 이 세 질문의 지형도를 그려본다.

일반화, 추상화, 이상화, 형식화

연재의 첫머리에서 우리는 평면 \(\mathbb R^2\)의 논의를 \(n\)차원 공간 \(\mathbb R^n\)으로 넓히는 일과, 구체적인 \(\mathbb R^n\)에서 추상 벡터공간으로 넘어가는 일을 대조했다. 같은 작업이 관점에 따라 일반화이면서 추상화일 수 있고, 추상화와 이상화도 실제 과학적 모형에서는 겹칠 수 있다. 따라서 아래 구분은 이 연재의 사례들을 정리하기 위한 작업상의 지도로 이해해야 한다.[Weisberg2013]

  • 일반화(generalization)는 어떤 명제나 방법의 적용 범위를 더 넓은 대상군으로 확장하는 일이다. \(\mathbb R^2\)에서 \(\mathbb R^n\)으로의 확장이 한 예다. 물론, 기존 정리가 언제나 문구까지 그대로 유지되는 것은 아니다. 차원에 따라 가정을 보강하거나 결론을 다시 써야 할 수 있고, 넓어진 영역에서 정리를 새로 증명해야 한다.
  • 추상화(abstraction)는 당면한 목적과 무관한 차이를 무시하거나 동일시하고, 공통 성질, 관계, 연산을 전면에 내세우는 일이다. \(\mathbb R^n\)에서 벡터공간으로 넘어가면 좌표 표현은 필수 자료가 아니게 되고, 덧셈과 스칼라곱의 공리가 중심이 된다. 그 결과 다항식이나 함수의 공간도 같은 이론 아래 다룰 수 있다. 그러나 모든 좌표공간 정리가 임의의 벡터공간에 자동으로 옮겨가는 것은 아니다. 차원, 위상, 내적처럼 원래 증명이 사용한 추가 구조가 무엇인지 따져야 한다.
  • 이상화(idealization)는 마찰 없는 평면, 점입자, 완전 강체처럼 현실의 대상을 의도적으로 단순화하거나 문자 그대로는 성립하지 않는 가정을 도입해 다루기 쉬운 모형을 만드는 일이다. 흔히 추상화가 차이를 생략하는 데, 이상화가 왜곡이나 극한적 가정을 도입하는 데 초점을 둔다고 구분하지만, 실제 모형에서는 두 과정이 함께 작동한다.[Weisberg2013]

형식화(formalization)는 표현과 추론을 명시적인 언어, 공리, 규칙으로 부호화하는 일이다. 라이프니츠가 구상한 보편적 표상 언어인 characteristica universalis와 그 표상들을 계산하는 추론법인 calculus ratiocinator의 이상은 그 중요한 선구 가운데 하나였다.[BeaneyAnalysis] 충분히 형식화된 증명에서는 각 단계가 정해진 구문 규칙에 맞는지 기계적으로 검사할 수 있다. 어떤 형식 체계도 다양한 해석과 모형을 가질 수 있으며, 구문론과 의미론을 구별하는 것과 의미론을 제거하는 것은 서로 다른 일이다.

힐베르트 프로그램은 고전 수학의 형식화를 추진하고, 그 형식 체계의 무모순성을 내용적으로 안전하다고 여긴 유한주의적 메타수학으로 정당화하려는 기획이었다.[Zach2023] 1931년 쿠르트 괴델(Kurt Gödel)은 효과적으로 공리화되고 자연수 산술을 표현할 만큼 강한 일관된 형식 체계에는 그 체계 안에서 증명할 수도 반증할 수도 없는 문장이 있음을 보였다. [이것이 제1 불완전성 정리의 핵심이다. 이어지는 제2 불완전성 정리는 충분한 산술을 포함하고 표준적인 도출 가능성 조건을 만족하는 일관된 효과적 공리계가, 그 체계의 무모순성을 표현하는 표준적 명제를 자기 안에서 증명할 수 없다고 말한다.]

괴델의 발견으로 인해 힐베르트가 꿈꿨던 거대한 계획은 큰 벽에 부딪혔다. 하지만 그렇다고 해서 수학의 형식화 자체가 의미를 잃은 것은 아니었다. 오히려 이를 계기로 제한된 체계 안에서의 무모순성 증명이나 형식 검증은 새로운 방향으로 진화해 나갔다.[Zach2023] Lean과 mathlib에서는 명제와 증명을 형식 언어로 표현하고 작은 신뢰 핵심이 각 증명 항을 검사한다.[MathlibCommunity2020]

형식화는 일반화, 추상화, 이상화와 결합할 수 있다. 일반화된 정리, 추상 대수 구조, 이상화된 물리 모형을 모두 형식 언어로 기술할 수 있다. 그러나 형식화가 언제나 다른 작업이 끝난 뒤 표면에만 덧붙는 것은 아니다. 명시적 형식화 과정에서 숨어 있던 가정이 드러나고, 그 발견이 다시 정의와 추상화의 수정을 이끌기도 한다.

여섯 가지 조작

본 연재는 수학적 추상화가 수행되는 여러 방식을 다음 여섯 가지로 묶어 살펴보았다.

  • 동치류를 사용한 정의: 직선들의 ‘같은 방향’ 관계나 정수의 순서쌍 관계처럼 반사성, 대칭성, 추이성을 만족하는 관계를 정하고, 서로 동치인 대상들을 하나의 동치류로 묶는다. 방향의 경우 ‘평행’을 서로 다른 직선에만 허용하는 엄격한 관계로 쓰지 않고, 같은 직선도 포함하는 같은-방향 관계로 확장해야 동치관계가 된다.
  • 공리화: 대상의 재료보다 그 대상이 만족해야 할 명시적 조건을 앞세운다. 힐베르트의 기하학 공리화와 19세기 여러 수학자를 거치며 형성된 추상 군 개념이 대표적이다.
  • 보편 성질을 사용한 정의: 곱 대상을 특정 순서쌍의 집합으로 고정하기보다, 사영 사상들과 임의의 다른 대상에서 들어오는 사상이 만족해야 할 보편 조건으로 규정한다. 이 조건은 대상을 선택한 범주 안에서 유일한 동형사상까지 포함하여 특징짓는다.[MacLane1986]
  • 사례의 통합: 연립방정식의 해, 기하 벡터, 다항식, 함수처럼 재료가 다른 사례에서 공통 연산 법칙을 추출하여 벡터공간 같은 하나의 이론으로 다룬다.
  • 정리에서 정의의 후보를 얻기: 더 좁은 맥락에서 중요했던 정리의 조건이나 결론이 더 넓은 이론에서 핵심 정의로 다듬어지는 경우다. 컴팩트성은 유클리드 공간에서의 닫힘, 유계성, 점열컴팩트성, 열린 덮개 성질 등이 여러 단계에 걸쳐 분리되고 비교되며 형성되었다.
  • 논쟁을 공리적 틀과 분리하기: 콜모고로프는 확률공간을 전체 질량이 \(1\)인 측도공간으로 공리화하여 확률 계산의 공통 형식을 제시했다.[Kolmogorov1933] 이것은 서로 다른 확률 해석들이 공통으로 공유할 수 있는 엄밀한 수학적 계산 틀을 분리해 낸 성과였다.

이 조작들은 실제 작업에서 서로 얽힌다. 한 공리계의 모형을 제시하면 그 공리들이 함께 만족될 수 있음을 보이고, 채택한 메타이론에 대한 상대적 무모순성 근거를 얻을 수 있다. 동치류 구성은 정수, 유리수, 실수 같은 대상의 모형을 만드는 강력한 수단이고, 보편 성질은 공리적 조건을 사상 중심으로 표현하는 한 방식이다. 사례의 통합은 공리화를 촉발할 수 있으며, 기존 정리에서 추출한 성질은 새로운 정의의 후보가 될 수 있다.

동치류는 일정한 차이를 동일시하고, 공리화는 허용되는 구조를 명시하며, 보편 성질은 사상 관계로 대상을 특징짓는다. 이들이 공유하는 넓은 경향은 대상의 물질적 재료보다, 탐구에 관련된 동일성 기준, 연산, 조건, 관계를 명료하게 드러낸다는 데 있다.

층위의 사다리

‘대상 → 연산 → 법칙 → 구조 → 관계’라는 사다리는 이 연재의 흐름을 되돌아보는 유용한 비유다. 물론 수학사가 이 단계들을 칼로 자르듯 순서대로 밟아온 것은 아니다. 여러 층위는 고대부터 교차하며 함께 발전해 왔다.

셈돌과 수 표기는 개별 사물에서 수량을 분리하는 데 기여했다. 비에트의 문자대수는 알려진 양과 미지의 양을 문자로 체계적으로 표현하여 개별 수치 계산을 일반적인 식의 조작으로 바꾸었다.[Kline1972] 피콕의 ‘형식 불역의 원리’와 해밀턴의 사원수는 대수 법칙의 적용 범위를 탐색하고, 사원수 곱셈에서는 교환법칙이 성립하지 않는다는 사실을 받아들이게 했다.[Peacock1845][Hamilton1847] 새 연산은 명시된 공리와 기존 이론과의 정합성, 그리고 그것이 해결하는 문제에 의해 평가된다.[Corry2004]

아일렌베르크와 매클레인은 1945년에 자연적 동형을 체계화하는 과정에서 범주, 함자, 자연변환을 도입했고, 범주론은 선택한 범주에서 대상과 사상을 함께 연구하는 언어로 발전했다.[EilenbergMacLane1945]

따라서 이 사다리는 역사적 필연의 순서가 아니라 강조점의 이동을 보여주는 발견적 도식이다. 여섯 가지 조작은 그 이동에서 쓰인 방법들의 목록이며 두 분류는 일대일로 대응하지 않는다. 공리화는 구조 층위에서 두드러지고 보편 성질은 관계 층위를 잘 보여 주지만, 동치류 구성이나 사례의 통합은 여러 층위에서 반복된다.

수학적 대상은 무엇으로 아는가

지금까지는 추상화가 수학의 역사에서 ‘어떻게’ 수행되어 왔는지를 다루었다. 이제 인간이 속성을 덜어 내고 관계를 중심으로 규정한 추상적 대상들이 인간의 인식과 독립하여 존재하는가라는 철학적 질문으로 넘어가 보자.

이 물음은 폰 노이만식 자연수와 체르멜로식 자연수의 차이에서 이미 예고되었다. 폴 베나세라프(Paul Benacerraf)는 1965년 논문 「What Numbers Could Not Be」에서, 두 집합론적 구성이 산술 구조로서는 똑같이 기능하면서도 “\(1\in3\)인가?” 같은 집합론적 부가 질문에는 서로 다른 답을 준다는 사실을 지적했다.[Benacerraf1965] 이것은 한 이론 안의 논리적 모순이 아니라, 산술적으로 동형인 여러 구현 사이의 차이다. 베나세라프는 이 비고유성으로부터 자연수를 어느 특정한 집합과 절대적으로 동일시할 비임의적 근거가 없다고 주장하고, 수를 한 진행 구조에서 다른 수들과 맺는 관계로 규정되는 ‘위치’로 보자고 제안했다.

베나세라프는 1973년 논문 「Mathematical Truth」에서 서로 긴장하는 두 제약을 제시했다.[Benacerraf1973] 첫째는 수학 문장의 의미와 참을 비수학적 문장에 적용되는 일반적 의미론과 평행하게 설명해야 한다는 의미론적 제약이다. 표준적인 지시적 의미론을 그대로 적용하면 참인 수학 문장의 이름과 양화사는 수나 집합 같은 대상에 대한 존재론적 관여를 낳는 것처럼 보인다. 둘째는 수학적 진리에 대한 설명이 우리가 수학을 어떻게 알 수 있는지를 해명하는 합리적인 일반 인식론과도 조화를 이루어야 한다는 인식론적 제약이다. 수학적 대상을 시공간 밖의 인과적으로 무력한 추상적 실재로 이해하면, 당시 영향력 있던 인과적 지식론과 지칭론 아래에서는 인간이 그것을 어떻게 알거나 지시하는지 설명하기 어려워진다.

이 긴장을 흔히 베나세라프의 딜레마(Benacerraf's dilemma)라고 부른다. 이 딜레마는 어느 한쪽의 일방적인 실패를 선고했다기보다, 수학의 본질과 인간의 인식이라는 두 마리 토끼를 모두 잡는 설명을 내놓으라는 무거운 철학적 과제였다. 형식주의나 관습주의도 객관적 진리를 포기하는 것은 아니지만, 증명 가능성이나 규약을 문장의 의미와 연결된 진리로 어떻게 설명할 것인지 답해야 한다.

구조주의의 갈래

베나세라프의 1965년 논문은 수학적 대상을 고립된 실체보다 구조 안의 위치로 이해하려는 현대 구조주의 논의를 촉발했다. 이후 구조주의는 구조와 그 자리를 추상적 대상으로 인정하는지에 따라 비제거적 구조주의와 제거적 구조주의 등 여러 입장으로 발전했다. 셔피로의 ante rem 구조주의와 헬먼의 양상 구조주의는 대표적인 두 입장이지만, 구조주의 전체가 이 둘로 소진되는 것은 아니다.[ReckSchiemer2021]

스튜어트 셔피로(Stewart Shapiro)의 ante rem 구조주의는 구조와 구조 안의 자리를 구체적인 구현체와 독립하여 존재하는 추상적 대상으로 인정하는 실재론적 입장이다. [이 입장은 셔피로의 1997년 저서 『Philosophy of Mathematics: Structure and Ontology』에서 체계적으로 전개되었다.][Shapiro1997] 셔피로에게 자연수 구조는 폰 노이만식 체계나 체르멜로식 체계처럼 여러 동형인 관계 체계가 구현할 수 있다는 점에서는 보편자와 비슷하지만, 동시에 하나의 대상으로 지칭할 수 있는 추상적 개별자이기도 하다. 구조 안의 자리도 사라지는 것이 아니라, 구현체의 원소가 차지할 수 있는 ‘직책’인 동시에 그 자체의 추상적 대상으로 이해된다. 이 입장은 수학 담론의 객관성과 지시적 의미론을 보존하기 쉽지만, 추상적 구조에 대한 지식과 구조적 자리의 동일성을 어떻게 설명할지라는 과제를 안는다.

제프리 헬먼(Geoffrey Hellman)의 양상 구조주의(modal structuralism)는 구조를 별개의 추상적 대상으로 인정하지 않는 제거적 구조주의의 대표적 형태다. [헬먼은 1989년 저서 『Mathematics without Numbers: Towards a Modal-Structural Interpretation』에서 이 입장을 체계화했다.][Hellman1989] 이 해석에서 산술 명제 \(\varphi\)는 대략 \[ \Box\forall M\bigl(\mathrm{PA}(M)\rightarrow\varphi^M\bigr) \] 처럼 “필연적으로, 모든 적절한 관계 체계 \(M\)이 데데킨트–페아노 공리를 만족하면 \(\varphi\)가 \(M\)에서 성립한다”는 명제로 번역된다. 조건문이 공허하게 참이 되는 것을 막기 위해 \[ \Diamond\exists M\,\mathrm{PA}(M) \] 이라는 가능성 또는 비공허성 조건도 함께 둔다.

헬먼은 가능한 체계를 또 다른 그림자 같은 실재로 가정하지 않고, 가능성과 필연성을 S5 양상논리의 법칙으로 규율되는 환원 불가능한 기본 개념으로 받아들인다. 이로써 별도의 추상적 구조에 대한 존재론적 관여는 피하지만, 어떤 수학적 구조의 가능성을 어떻게 정당화하고 그 양상을 어떻게 인식하는지라는 문제가 남는다. 두 입장 모두 객관성과 지식을 함께 설명하려 하되, 하나는 추상 구조에 대한 접근과 동일성 문제를, 다른 하나는 양상과 비공허성의 정당화 문제를 떠안는다.

신논리주의와 흄의 원리

이 딜레마에 대한 또 다른 응답은 프레게의 논리주의 기획으로 거슬러 올라간다. 프레게는 1884년의 『Die Grundlagen der Arithmetik』와 1893년, 1903년에 두 권으로 출간한 『Grundgesetze der Arithmetik』에서 산술을 논리적 법칙과 정의로부터 도출하려 했다.[Frege1884][Frege1893] 그 형식 체계의 핵심 원리 가운데 하나인 제5 기본법칙은, 개념 \(F\)와 \(G\)의 외연을 각각 \(\varepsilon F\), \(\varepsilon G\)라 할 때 \[ \varepsilon F=\varepsilon G\ \Longleftrightarrow\ \forall x(Fx\leftrightarrow Gx) \] 라고 규정한다. 즉 두 개념의 외연은 정확히 같은 대상들이 두 개념 아래에 속할 때, 그리고 그때에만 동일하다는 원리다. 프레게는 외연을 이용하여 수를 정의하고 흄의 원리를 도출하려 했다.

그러나 제5 기본법칙은 프레게가 채택한 강한 이차 논리의 개념 포괄 원리와 결합할 때 모순을 낳는다. 러셀은 1901년 무렵 역설을 발견하고 1902년 6월 16일 프레게에게 알렸다. 현대 집합론의 기호로 핵심을 나타내면 \(R=\{x\mid x\notin x\}\)를 가정할 때 \(R\in R\Longleftrightarrow R\notin R\)가 되어 모순이 생긴다. [프레게는 『Grundgesetze der Arithmetik』 제2권이 인쇄되던 중 러셀의 편지를 받았으며, 1903년에 출간된 제2권 후기에서 모순을 전개하고 제5 기본법칙의 수정안을 제안했다. 그러나 그 수정안은 원래의 기초 체계를 구하지 못했다.][Frege1893] 따라서 붕괴한 것은 제5 기본법칙을 강한 포괄 원리와 결합한 프레게의 전체 체계이다.

20세기 후반에는 프레게의 기획을 흄의 원리를 중심으로 재구성하려는 신논리주의(neo-logicism)가 등장했다. [찰스 파슨스(Charles Parsons)는 1965년에 흄의 원리로부터 산술 공리를 도출할 수 있다는 점을 지적했고, 크리스핀 라이트(Crispin Wright)의 1983년 저서 『Frege’s Conception of Numbers as Objects』는 이 기획을 본격적으로 부흥시킨 대표적 문헌이 되었다.][Parsons1965][Wright1983] 프레게 자신은 『산술의 기초』에서 흄의 원리를 수의 완전한 정의로 삼을 수 있는지 검토했지만, 그것만으로는 ‘율리우스 카이사르는 수인가’와 같은 혼합 동일성 문장의 답을 정할 수 없다는 문제 때문에 외연을 통한 명시적 정의로 나아갔다. 신논리주의자들은 흄의 원리를 산술의 출발점으로 다시 채택한다. [‘Hume’s Principle’이라는 명칭은 조지 불로스(George Boolos)가 1987년에 도입했다. 프레게는 『산술의 기초』 §63에서 데이비드 흄의 『A Treatise of Human Nature』 제1권 제3부 제1절을 인용했지만, 자신은 이 명칭을 사용하지 않았다.][Boolos1987]

흄의 원리는 \[ \#F=\#G\ \Longleftrightarrow\ F\approx G \] 로 나타낼 수 있다. 여기서 \(F\approx G\)는 \(F\)에 속하는 대상들과 \(G\)에 속하는 대상들 사이에 일대일 대응이 존재한다는 뜻이다. 이것은 일반적으로 \[ @a=@b\ \Longleftrightarrow\ a\sim b \] 꼴로 표현되는 추상화 원리(abstraction principle)의 대표적 사례다. 직선의 방향도 \[ \mathrm{dir}(a)=\mathrm{dir}(b)\ \Longleftrightarrow\ a\parallel b \] 처럼 나타낼 수 있다. 여기서 \(\parallel\)는 ‘같은 방향’을 나타내는 동치관계이다. [단, 임의의 직선은 자기 자신과 같은 방향이라고 정의한다.] 다만 추상화 원리와 동치류 구성은 구별해야 한다. 동치류는 이 동일성 조건을 실현하는 한 모형이지만, 신프레게주의자는 \(\#F\)를 동치류와 동일시하지 않고 원리가 동일성 조건을 부여하는 독자적 추상 대상으로 이해할 수 있다.

흄의 원리는 표준적인 이차 논리와 함께 모형을 갖는다. [불로스는 1987년에 자연수들과 별도의 대상 하나로 이루어진 영역을 사용하여, 유한 개념에는 해당 자연수를, 무한 개념에는 그 별도 대상을 대응시키는 모형을 제시했다. 이는 통상적인 메타이론을 전제로 한 상대적 정합성 결과이지, 어떤 형식 체계의 무조건적인 ‘절대 정합성 증명’은 아니다.][Boolos1987] 이차 논리의 필요한 포괄 원리와 \(0\), 후속자, 자연수에 관한 정의에 흄의 원리를 더하면 데데킨트–페아노 공리들을 도출할 수 있다. 이 형식적 결과를 프레게 정리(Frege's theorem)라고 부른다.[ZaltaFregeTheorem]

[『산술의 기초』에는 이 도출의 비형식적 전략이 나타나고 『산술의 근본법칙』에는 관련 형식적 증명들이 전개되어 있다. 파슨스가 1965년에 그 가능성을 지적하고 라이트가 1983년에 도출을 재구성했으며, 리처드 헥(Richard Heck)은 1993년에 프레게가 흄의 원리를 얻은 뒤 수행한 산술의 도출이 제5 기본법칙에 본질적으로 의존하지 않는다는 사실을 보였다.][Parsons1965][Wright1983][Heck1993]

신논리주의의 구상은 조건부이다. 흄의 원리가 수 개념의 정당한 암묵적 정의이고 분석적으로 참이라면, 그 원리와 논리에서 도출되는 산술에도 선험적 정당화를 부여할 수 있다는 것이다. 이는 수에 대한 지식을 인과적 접촉보다 논리와 개념의 이해로 설명하려는 베나세라프 문제의 한 응답이다. 그러나 흄의 원리가 실제로 논리적 또는 분석적인지, 또 그것이 무한히 많은 수의 존재를 정당하게 도입하는지는 논쟁 중이다.[Boolos1997]

더 일반적으로, 같은 문법 형식을 지닌 추상화 원리라고 해서 모두 정당한 것은 아니다. 어떤 원리는 그 자체로 모순을 낳고, 개별적으로 모형을 갖는 원리들이 다른 추상화 원리와 결합할 때 함께 만족될 수 없는 사례도 있다. 이를 나쁜 동료 문제(bad company problem)라고 한다. 보수성, 안정성, 공동 만족 가능성 등 여러 선별 기준이 제안되었지만, 흄의 원리를 비순환적으로 정당화하면서 모든 나쁜 원리를 배제하는 하나의 기준에 합의가 이루어진 것은 아니다.[ZaltaFregeTheorem]

현실 세계에 들어맞는 이유

수학의 존재론을 잠시 옆으로 두더라도 큰 물음 하나가 남는다. 현실의 구체성을 많이 덜어 낸 수학적 구조가 왜 물리 세계를 그토록 잘 기술하는가?

유진 위그너(Eugene Wigner)는 1960년 에세이 「The Unreasonable Effectiveness of Mathematics in the Natural Sciences」에서 이 물음을 유명하게 제기했다.[Wigner1960] 그가 논한 사례에는 복소수, 복소 힐베르트 공간, 연산자와 행렬역학이 포함된다. 다만 수학이 양자역학의 ‘유일하고 완벽한 언어’라고 결론 내린 것은 아니다. 위그너는 수학 개념이 경험 법칙을 놀랄 만큼 정확하게 표현하고 새로운 예측까지 가능하게 하는 현상을 ‘부당할 만큼’ 효과적이라고 부르며 그 성공의 범위와 이유를 수수께끼로 남겼다.

리만의 기하학과 일반상대성이론의 연결도 한 사람의 순수 이론이 반세기 뒤 그대로 물리학이 된 단선적 이야기는 아니다. 리만 이후 크리스토펠, 리치, 레비치비타 등이 텐서 계산과 미분기하를 발전시켰고, 그로스만과 아인슈타인은 이 도구들을 중력 이론에 맞게 활용했다.[Norton1984] 그럼에도 물리적 동기와 독립하여 발전한 수학이 훗날 핵심 모델 언어가 된다는 점은 위그너의 문제를 잘 보여 준다.

다음은 이 문제에 제안된 여러 설명의 계열이다. 모두 위그너 자신이 네 가지 답으로 열거한 것은 아니며, 서로 배타적이지도 않다.

  • 선택 효과: 인간은 물리 세계에서 반복되는 형태를 골라 문제로 삼고, 개발된 수학 가운데 적용에 성공한 부분을 특히 기억하고 확장한다. 해밍(Richard Hamming)은 우리가 문제와 수학 도구를 선택한다는 점을 부분적 설명으로 들었지만, 그것만으로 남는 놀라움을 모두 해소하지는 못한다고 보았다.[Hamming1980]
  • 진화 · 인지적 설명: 인간의 지각과 추론 능력이 물리 환경과 상호작용하며 형성되었으므로, 그 능력에서 출발한 수학이 세계의 일부 규칙성과 맞는 것은 전혀 우연만은 아니라는 견해다. 그러나 현대 고등수학의 먼 전이까지 이것만으로 설명되는지는 별도 문제다.
  • 수학적 우주 가설: 물리 세계가 단지 수학으로 기술되는 것을 넘어 그 자체가 수학적 구조라는 테그마크(Max Tegmark)의 강한 형이상학적 제안이다. 이는 널리 합의된 결론이 아니라 논쟁적인 가설이다.[Tegmark2008]
  • 모형화와 근사의 관점: 적용수학은 현실을 그대로 복사하지 않는다. 목적에 맞는 변수를 선택하고, 이상화, 근사, 보정을 거쳐 제한된 범위에서 쓸 수 있는 모형을 만든다. 이 관점에서는 성공의 일부가 수학의 기적이라기보다 세심한 모형 선택과 조정의 결과다.[Weisberg2013]

정확함으로서의 추상

이제 연재의 출발점으로 돌아가 보자. 일상어에서 ‘추상적’이라는 말은 때때로 막연함을 뜻하는데, 수학적 추상화는 왜 정밀함을 낳는가?

이 연재가 제안한 한 가지 답은, 수학적 추상화가 어떤 차이는 무시하고 어떤 구조는 보존할지를 명시하는 작업이라는 것이다. 추상화는 단순한 뺄셈만이 아니라 새 표현을 도입하고, 대상을 동일시하고, 여러 사례를 통합하는 일도 포함한다.

  • 동치류를 사용한 정의는 어떤 차이를 무시할지를 동치관계의 반사성, 대칭성, 추이성으로 규율한다.
  • 공리화는 허용되는 구조가 만족해야 할 조건을 명시한다. 공리만으로 존재가 자동 보장되는 것은 아니며, 모형을 제시하면 그 조건들의 공동 만족 가능성을 보일 수 있다.
  • 보편 성질을 사용한 정의는 다른 대상들과의 사상 관계를 통해 대상을 유일한 동형사상까지 포함하여 특징짓는다.
  • 사례의 통합은 서로 다른 사례가 공유하는 연산과 법칙을 추출하되, 통합 과정에서 무엇이 추가로 가정되는지도 드러낸다.
  • 정리에서 정의의 후보를 얻기는 기존 정리의 조건이나 결론을 더 넓은 맥락에 맞게 수정하고 비교하여 새로운 개념으로 다듬는다.
  • 논쟁을 공리적 틀과 분리하기는 여러 해석이 공유할 계산 규칙을 고립시킨다. 즉 논쟁을 공리적 틀과 분리하기는 여러 해석이 공유할 수 있는 보편적 계산 규칙을 명확히 정립해 준다.

그러므로 “무엇을 버렸고 무엇이 남았는가?”라는 질문은 여전히 유익하지만, 때로는 “무엇을 새로 도입했고 무엇을 동일시했는가?”도 함께 물어야 한다.

셈돌에서는 사물의 재질과 수량이 분리되고, 문자대수에서는 특정 수치 대신 일반적인 관계가 표현되었다. 공리적 방법에서는 대상의 직관적 해석과 공리로 보존할 구조가 구별되었다. 범주론에서는 내부 원소가 언제나 ‘모조리 지워지는’ 것이 아니라, 선택한 사상들이 보존하는 구조와 대상 사이의 관계가 중심에 놓였다.[MacLane1986] 위상수학은 실직선의 거리만을 버리고 ‘열림 하나’만 남긴 이론이라기보다, 열린집합이나 근방을 기본 자료로 삼아 연속성을 원상의 열린성으로 일반화한다. 확률론에서도 \(P(\Omega)=1\) 하나만 남는 것이 아니라, 가산 가법성을 갖는 확률측도 \(P\) 전체가 형식 구조를 이룬다.[Kolmogorov1933]

‘추상(抽象, 상을 뽑아냄)’과 ‘사상(捨象, 상을 버림)’의 대비는 이 과정을 생각하는 인상적인 철학적 비유다. [다만 서로 다른 한자어의 풀이가 수학적 추상화의 유일한 역사적 정의를 확정하는 것은 아니다. 수학의 정확함은 어원보다, 동일성 기준, 공리, 사상, 증명 규칙을 공개적으로 명시하고 그 결과를 검토할 수 있다는 데서 나온다.]

압축과 순서

수학교육의 관점에서 추상화를 압축(compression)으로 보는 것은 유용한 관점 중 하나이다. 복잡한 과정이 익숙해지면 하나의 개념적 단위로 다뤄지고, 그 단위가 더 높은 사고의 재료가 된다. 데이비드 톨(David Tall)은 수학적 사고의 발달에서 압축, 연결, 개념의 대상화를 중요한 과정으로 다룬다.[Tall2013]

1960년대의 새수학 운동은 완성된 집합, 구조 언어를 학교교육에 앞세웠다는 비판을 받았고 여러 지역에서 강한 반발과 수정을 겪었다. 이후 학교수학의 내용과 언어에 남긴 영향도 적지 않다.[Kilpatrick2012]

이 연재는 벡터공간, 위상공간, 측도공간을 완성된 공리부터 제시하기보다, 구체적 문제와 역사적 동기를 거쳐 공리로 나아가는 방식으로 서술했다. 논리적 전개 순서, 실제 역사의 순서, 학습에 효과적인 순서는 서로 다를 수 있다.[Tall2013]

맺으며

이 연재는 “왜 수학에서 ‘추상적’이라는 말은 막연함과 반대로 정밀함을 뜻하는가?”라는 질문에서 출발했다. 우리는 수천 년의 수학사에서 사물과 수량의 분리, 그림과 증명의 구별, 문자대수, 공리적 구조, 범주와 사상, 벡터공간, 위상공간, 확률공간이 형성되는 여러 장면을 살펴보았다.

그 장면들을 하나의 공식으로 환원할 수는 없다. 어떤 추상화는 속성을 덜어 내고, 어떤 추상화는 서로 다른 대상을 동일시하며, 어떤 추상화는 공통 구조를 새 언어로 도입한다. 공통점이 있다면 대상의 재료만 묻지 않고, 어떤 차이를 무시하며 어떤 동일성, 연산, 관계, 법칙을 보존할지를 명시한다는 데 있다.

아리스토텔레스는 수학적 대상을 감각적 사물에서 특정 속성을 떼어 내어 고찰하는 것과 관련해 ‘제거에서 나온 것들’(ta ex aphaireseōs)이라는 표현을 사용했다. 이후의 수학은 이 오래된 관점을 공리, 구조, 사상, 형식 증명이라는 매우 다양한 방법으로 확장했다.

무엇을 구별하고 무엇을 동일시할지, 무엇을 가정하고 무엇을 증명할지를 공개적인 언어로 명시하는 일은 수학의 엄밀성과 이동 가능성을 낳는 중요한 원천이다.

참고문헌

저작권

이슬비, 2026. designeralice＠daum.net.

수학적 추상화

  1. 수학적 추상화의 기본 개념
  2. 초기 수학에서의 암묵적 추상화
  3. 대수적 기호와 연산 법칙
  4. 공리적 방법에 의한 추상화
  5. 수학적 구조와 범주론
  6. 벡터공간과 선형 구조
  7. 거리공간과 위상공간
  8. 측도공간과 확률공간
  9. 수학적 추상화의 인지와 학습
  10. 현대 수학 연구에서의 추상화
  11. 수학적 추상화의 방법과 철학