가산집합과 비가산집합은 원소의 개수에 따라 집합을 분류한 것이다. 해석학과 위상수학에서는 원소의 개수뿐만 아니라 원소의 분포 형태까지 고려하여 집합을 분류하는데 그러한 분류법 중 하나가 집합의 범주이다.
정의 1. \(X\)가 위상공간이고 \(E\subseteq X\)라고 하자. 만약 \(\left(\overline{E}\right)^o = \varnothing\)이면 \(E\)는 \(X\)의 어느 곳에서도 조밀하지 않다(nowhere dense)고 말한다.
보기 1. \(\mathbb{R}\)가 보통위상공간이라고 하자. 이때 \(\mathbb{N}\)은 \(\mathbb{R}\)의 어느 곳에서도 조밀하지 않다.
보기 2. \(\mathbb{Z}\)가 보통위상공간이라고 하자. 이때 \[\left(\overline{\mathbb{N}}\right)^o = \mathbb{N}^o = \mathbb{N}\]이므로 \(\mathbb{N}\)은 \(\mathbb{Z}\)의 어느 곳에서도 조밀하지 않다고 할 수 없다.
위 두 보기를 통해 동일한 집합이라도 전체공간이 달라지면 어느 곳에서도 조밀하지 않은 성질은 달라질 수 있음을 알 수 있다. 또한 어느 곳에서도 조밀하지 않다는 성질이 조밀하다는 성질의 반대가 아님을 알 수 있다.
정의 2. (집합의 범주)
\(X\)가 위상공간이고 \(E\subseteq X\)라고 하자.
- \(E\)가 어느 곳에서도 조밀하지 않은 집합들의 가산합집합으로 표현될 수 있으면 ‘\(E\)는 \(X\)에서 제 1 범주의 집합이다’라고 말한다.
- \(E\)가 \(X\)에서 제 1 범주의 집합이 아니면 ‘\(E\)는 \(X\)에서 제 2 범주의 집합이다’라고 말한다.
만약 전체공간이 명확하여 언급할 필요가 없을 때에는 ‘\(X\)에서 제 1 범주의 집합’과 ‘\(X\)에서 제 2 범주의 집합’을 간단히 ‘제 1 범주의 집합’과 ‘제 2 범주의 집합’이라고 표현하기도 한다.
보기 3. 보통위상공간 \(\mathbb{Q}\)는 \(\mathbb{Q}\)에서 제 1 범주의 집합이다. 왜냐하면 \[\mathbb{Q} = \bigcup_{q\in\mathbb{Q}}\left\{q\right\}\] 이기 때문이다.
보기 4. 보통위상공간 \(\mathbb{R}\)에서 \(\left\{0 \right\}\)은 제 1 범주의 집합이다. 그러나 보통위상공간 \(\left\{0\right\}\)에서 \(\left\{0\right\}\)은 제 2 범주의 집합이다. 왜냐하면 \(\left\{0\right\}\)의 부분집합 중 어느 곳에서도 조밀하지 않은 것은 \(\varnothing\) 뿐이기 때문이다.
보기 5. 보통위상공간 \(\mathbb{N}\)은 \(\mathbb{N}\)에서 제 2 범주의 집합이다. 왜냐하면 \(\mathbb{N}\)에서의 보통위상은 이산위상이므로 \(\mathbb{N}\)의 부분집합 중 어느 곳에서도 조밀하지 않은 것은 \(\varnothing\) 뿐이기 때문이다.
참고 1. \(A\subseteq B\)이고 \(B\)가 제 1 범주의 집합이면 \(A\)도 제 1 범주의 집합이다.
증명
\(B\)가 어느 곳에서도 조밀하지 않은 집합들의 가산합집합 \(B = \bigcup E_i\)로 표현되면 \(A\)도 어느 곳에서도 조밀하지 않은 집합들의 가산합집합 \(A = \bigcup (E_i \cap A)\)로 표현된다.
참고 2. 임의의 자연수 \(i\)에 대하여 \(E_i\)가 제 1 범주의 집합이면 \[E = \bigcup_{i\in\mathbb{N}}E_i\] 도 제 1 범주의 집합이다.
증명
\(E_i\)가 제 1 범주의 집합이므로 어느 곳에서도 조밀하지 않은 집합 \(E_{ij}\)와 \(\mathbb{N}\)의 가산부분집합 \(I_i\)가 존재하여 \[E_i = \bigcup_{j\in I_i} E_{ij}\] 이다. 이때 \[I = \left\{ (i,\,j) \,\vert\, i\in\mathbb{N},\,j\in I_i\right\} \subseteq \mathbb{N} \times \mathbb{N}\] 이므로 \(I\)는 가산집합이고 \[E= \bigcup_{i\in\mathbb{N}} E_i = \bigcup_{i\in\mathbb{N}} \bigcup_{j\in I_i} E_{ij} = \bigcup_{(i,\,j)\in I}E_{ij}\] 이므로 \(E\)는 제 1 범주의 집합이다.
참고 3. 제 1 범주와 제 2 범주는 위상적 성질이다. 즉 \(X,\) \(Y\)가 위상공간이고 \(\phi : X \,\to\,Y\)가 위상동형사상일 때, \(X\)가 제 1 범주의 집합일 필요충분조건은 \(Y\)가 제 1 범주의 집합인 것이다.
증명
\(X\)가 제 1 범주의 집합이라고 하자. 그러면 \(X\)는 어느 곳에서도 조밀하지 않은 집합들의 가산합집합 \[X = \bigcup_{i\in I}E_i\] 로 표현된다. \(\phi\)와 \(\phi^{-1}\)가 모두 연속이므로 각 \(i\)에 대하여 \(\overline{\phi (E_i )} = \phi \left(\overline{E_i}\right)\)이고 \[\left(\overline{\phi (E_i )} \right)^o = \phi\left( \left( \overline{E_i} \right)^o \right) = \phi (\varnothing ) = \varnothing\] 이다. 그런데 \[Y = \phi (X) = \bigcup_{i\in I} \phi (E_i )\] 이므로 \(Y\)도 어느 곳에서도 조밀하지 않은 집합들의 가산합집합으로 표현된다. 따라서 \(Y\)도 제 1 범주의 집합이다.
한편 \(\phi^{-1}\)도 일대일 대응이고 연속이므로 위 과정에서 \(X\)와 \(Y\)의 역할을 바꾸면, \(Y\)가 제 1 범주의 집합일 때 \(X\)도 제 1 범주의 집합임을 보일 수 있다.
참고 4. \(E\)가 닫힌 집합이고 \(E^o = \varnothing\)이면 \(E\)는 제 1 범주의 집합이다.
증명
닫힌 집합의 폐포는 자기 자신이므로 \[\left( \overline{E} \right)^o = E^o =\varnothing\] 이다. 따라서 \(E\)는 어느 곳에서도 조밀하지 않은 집합이다.
이제 완비거리공간이 어떠한 범주에 속하는지 살펴보자.
보조정리 1. \((X,\,\rho)\)가 완비거리공간이고 \(\left\{ U_n \right\}\)이 \(X\)의 조밀한 열린집합열이면 \(U_n\)들의 교집합은 \(X\)에서 조밀하다.
증명
\(U = \bigcap U_n\)이라고 하자. 그리고 \(x\in X\)가 임의로 주어졌다고 하자. 이때 \(x\in U ' \)임을 보여야 한다.
\(\epsilon > 0\)이 임의로 주어졌다고 하자. \(U_1\)이 \(X\)에서 조밀하므로 \(U_1 \cap B_{\epsilon} (x)\)의 원소 \(y_1\)이 존재한다. \(U_1 \cap B_{\epsilon} (x)\)가 열린 집합이므로 \(\epsilon_1 > 0\)이 존재하여 \[B_{\epsilon_1} (y_1 ) \subseteq U_1 \cap B_{\epsilon} (x)\] 이다. \(\delta_1 := \min \left\{ \epsilon_1 /2 ,\,1\right\}\)이라고 하자. \(U_2\)가 \(X\)에서 조밀하므로 \(U_2 \cap B_{\delta_1} (y_1 )\)의 원소 \(y_2\)가 존재한다. \(U_2 \cap B_{\delta_1} (y_1 )\)이 열린 집합이므로 \(\epsilon_2 > 0\)이 존재하여 \[B_{\epsilon_2} (y_2 ) \subseteq U_2 \cap B_{\delta_1} (y_1 )\] 이다. \(\delta_2 := \min\left\{ \epsilon_2 /2 ,\, 1/2 \right\}\)이라고 하자.
이러한 과정을 반복하는 수학적 귀납법을 이용하면 임의의 자연수 \(n\)에 대하여 \[B_{\epsilon_{n+1}} (y_{n+1} ) \subseteq U_{n+1} \cap B_{\delta_n} (y_n ) ,\\[6pt] \delta_n = \min\left\{ \frac{\epsilon _n}{2} ,\, \frac{1}{n} \right\}\] 을 만족시키는 수열 \(\left\{ y_n \right\},\) \(\left\{ \epsilon_n \right\},\) \(\left\{\delta _n \right\}\)을 얻는다. \[B_{\delta_{n+1}}(y_{n+1} ) \subseteq B_{\epsilon_{n+1}}(y_{n+1})\subseteq B_{\delta_n} (y_n )\] 이므로 \(m > n\)일 때마다 \(y_m \in B_{\delta_n} (y_n)\)이 성립한다. \(\delta_n \le 1/n\)이므로 \(m > n\)이면 \(\rho(y_m ,\,y_n )<1/n\)이다. 즉 \(\left\{y_n \right\}\)은 코시 수열이다. \(X\)가 완비거리공간이므로 \(\left\{y_n \right\}\)은 \(X\)의 점 \(y\)에 수렴한다.
임의의 자연수 \(n\)에 대하여 \(y\in\overline{B_{\delta_n} (y_n )}\)이다. 그런데 \(\delta_n \le \epsilon_n /2\)이므로 임의의 자연수 \(n\)에 대하여 \[y \in \overline{B_{\delta_n} (y_n )} \subseteq \overline{B_{\epsilon_n /2} (y_n )} \subseteq B_{\epsilon _n} (y_n ) \subseteq U_n\] 이 성립한다. 즉 \(y \in \bigcap U_n\)이다. 또한 \[y\in B_{\epsilon_1} (y_1 ) \subseteq B_{\epsilon} (x)\] 이므로 \(\rho (x,\,y) < \epsilon\)이다. 그러므로 \(x\in U '\)이다. \(x\)는 \(X\)의 임의의 점이므로 \(U\)는 \(X\)에서 조밀하다.
정리 1. (배어의 범주 정리; Baire's category theorem)
\(X\)가 공집합이 아닌 완비거리공간이면 \(X\)는 \(X\)에서 제 2 범주의 집합이다.
증명
결론에 반하여 \(X\)가 제 1 범주의 집합이라고 하자. 그러면 \(X\)의 어느 곳에서도 조밀하지 않은 집합 \(A_n\)들이 존재하여 \[X = \bigcup_{n=1}^{\infty} A_n\] 이므로 \[\bigcup_{n=1}^{\infty} \left( \overline{A_n} \right)^c = \left( \bigcup_{n=1}^{\infty} \overline{A_n} \right)^c = X^c = \varnothing\tag{1}\] 이다. 그런데 각 \(n\)에 대하여 \(\left( \overline{A_n} \right)^c\)은 \(X\)의 조밀한 열린부분집합이다. 따라서 보조정리 1과 (1)에 의하여 \(\varnothing\)은 \(X\)에서 조밀하다. 이것은 모순이므로 \(X\)는 \(X\)에서 제 2 범주의 집합이다.
따름정리. \((X,\,T)\)가 위상공간이고 완비거리공간으로 거리화 가능하면 \(X\)는 \(X\)에서 제 2 범주의 집합이다.
증명
\((X,\,\rho )\)가 완비거리공간이고 \(\rho\)에 의하여 유도된 위상이 \(T\)라고 하자. 그러면 \(G\)가 \((x,\,\rho )\)의 열린집합일 필요충분조건은 \((X,\,T)\)의 열린집합인 것이다. 따라서 배어의 범주 정리에 의하여 \(X\)는 \((X,\,T)\)에서 제 2 범주의 집합이다.
범주 정리를 활용하여 해결하는 문제들을 살펴보자.
\(X\)가 거리공간이라고 하자. 만약 \(x\in X\)이지만 \(x\in X ' \)이면 \(x\)를 \(X\)의 고립점(isolated point)이라고 부른다. 즉 \(x\)가 \(X\)의 고립점이라는 것은 \(x\in X\)이고 \(B_{\epsilon} ' (x) \cap X = \varnothing\)인 \(\epsilon > 0\)이 존재하는 것을 의미한다.
예제 6. \(X\)가 완비거리공간이고 고립점을 갖지 않으면 \(X\)는 비가산집합임을 증명하시오.
풀이
결론에 반하여 \(X\)가 가산집합이라고 가정하자. 명백히 \(X\)는 유한집합이 아니므로 \(X = \left\{ x_n \,\vert\, n\in\mathbb{N}\right\}\)과 같이 나타낼 수 있다. \(X\)가 고립점을 갖지 않으므로 임의의 자연수 \(n\)에 대하여 \(\left\{ x_n \right\}\)은 어느 곳에서도 조밀하지 않다. 따라서 \(X\)는 어느 곳에서도 조밀하지 않은 집합들의 가산합집합으로 표현되므로 \(X\)는 제 1 범주의 집합이다. 배어의 정리에 의하여 이것은 모순이므로 \(X\)는 비가산집합이다.
예제 7. 범주 정리를 이용하여 무리수가 존재함을 증명하시오.
풀이
결론에 반하여 무리수가 존재하지 않는다고 가정하자. 그러면 \(\mathbb{R}\)에는 유리수만 존재하므로 \(\mathbb{R}\)는 가산집합이다. 그런데 \(\mathbb{R}\)는 완비거리공간이고 고립점을 갖지 않으므로 \(\mathbb{R}\)는 비가산집합이다. 이것은 모순이므로 \(\mathbb{R}\)에는 유리수가 아닌 원소가 존재한다.
예제 8. 완비거리공간 \((X,\,\rho )\)의 부분집합 \(E\)가 \(X\)에서 조밀하다고 하자. 만약 함수 \(f:X \,\to\,\mathbb{R}\)가 \(E\) 위에서 연속이면 \(f\)는 \(X\)의 제 2 범주인 부분집합 위에서 연속임을 보이시오.
풀이
각 \(x\in X\)에 대하여 \[\begin{align} U(x) &:= \inf \left\{ \sup \left\{ f(t) \,\vert\, t\in B_{\epsilon} (x) \right\} \,\vert\, \epsilon > 0 \right\} ,\\[6pt] L(x) &:= \sup \left\{ \inf \left\{ f(t) \,\vert\, t\in B_{\epsilon} (x) \right\} \,\vert\, \epsilon > 0 \right\} \end{align}\] 이라고 정의하자. 자연수 \(n\)에 대하여 \[U_n := \left\{ x\in X \,\left\vert\, U(x) - L(x) < \frac{1}{n} \right. \right\}\] 이라고 하면 \(U_n\)은 열린집합이다. 임의의 \(x\in U_n\)에 대하여 \[\delta := \frac{1}{n} - (U(x) - L(x))\] 라고 두면, \(\epsilon_1 > 0\)과 \(\epsilon_2 > 0\)이 존재하여 \[\begin{align} \sup \left\{ f(t) \,\vert\, t\in B_{\epsilon_1} (x) \right\} < U(x) + \frac{\delta}{3} ,\\[6pt] \inf \left\{ f(t) \,\vert\, t\in B_{\epsilon_2} (x) \right\} > L(x) - \frac{\delta}{3} \end{align}\] 를 만족시킨다. \(\epsilon := \min \left\{ \epsilon_1 ,\, \epsilon_2 \right\}\)라고 하자. 임의의 \(u\in B_{\epsilon /2} (x)\)에 대하여 \(B_{\epsilon /2}(u) \subseteq B_{\epsilon} (x)\)이므로 \[\begin{align} \sup \left\{ f(t) \,\vert\, t\in B_{\epsilon/2} (u) \right\} &\le \sup \left\{ f(t)\,\vert\, t\in B_{\epsilon} (x) \right\} < U(x) + \frac{\delta}{3},\\[6pt] \inf\left\{ f(t) \,\vert\, t\in B_{\epsilon /2} (u) \right\} &\ge \inf \left\{ f(t) \,\vert\, t\in B_{\epsilon} (x) \right\} > L(x) - \frac{\delta}{3} \end{align}\] 가 성립한다. 두 부등식을 결합하면 \[U(u) - L(u) < U(x) -L(x) + \frac{2}{3} \delta < \frac{1}{n}\] 이므로 \(u\in U_n\)이 성립한다. 이것은 \(B_{\epsilon /2} (x) \subseteq U_n\)을 의미하므로 \(U_n\)은 열린집합이다. 함수 \(f\)가 \(E\)에서 연속이고 \(E\)는 \(X\)에서 연속이므로 \(E \subseteq U_n\)이다. 이것은 \(U_n\)이 \(X\)에서 조밀한 집합임을 의미한다. 따라서 보조정리 1에 의하여 \(\bigcap U_n\)은 \(X\)에서 조밀하다. \(\left( U_n \right)^c\)들은 쌍마다 서로소인 집합이므로 \[\left( \bigcap U_n \right)^c = \bigcup \left( U_n \right)^c\] 은 제 1 범주의 집합이다.
따라서 \(\bigcap U_n\)은 제 2 범주의 집합이고 \(U_n\)의 정의에 의하여 \(f\)가 연속인 모든 점을 원소로 가진다.
예제 9. 함수 \(f : \mathbb{R} \,\to\,\mathbb{R}\)가 무리수 집합에서 불연속이면서 유리수 집합에서는 연속일 수 없음을 보이시오.
풀이
\(f\)가 \(\mathbb{Q}\)에서 연속이지만 \(\mathbb{R} \setminus \mathbb{Q}\)의 모든 점에서는 불연속이라고 가정하자. \(\mathbb{Q}\)는 제 1 범주의 집합이므로 \(f\)가 \(\mathbb{Q}\)에서 연속이려면 \(f\)는 제 2 범주의 집합인 \(\mathbb{R} \setminus \mathbb{Q}\)에서도 연속이 되어야 한다. 이것은 모순이다.