\(3\)차원 공간에 서로 다른 두 점 \(P,\) \(S\)와 벡터 \(\textbf{v}\)가 주어졌다고 하자. 그리고 점 \(S\)를 지나고 \(\textbf{v}\)와 평행한 직선을 \(\ell\)이라고 하자. 이때 \(P\)와 \(\ell\) 사이의 거리 \(d\)는 다음과 같은 방법으로 구할 수 있다.
평행사변형의 인접한 두 변이 각각 \(\overrightarrow{PS},\) \(\textbf{v}\)와 평행하고, 두 변의 길이가 각각 \(\vert\overrightarrow{PS}\lvert,\) \(\lvert\textbf{v}\vert\)와 같을 때, 이 평행사변형의 넓이는 두 벡터의 외적의 크기인 \(\lvert \overrightarrow{PS} \times \textbf{v}\rvert\)와 같다. 이때 점 \(P\)와 직선 \(\ell\) 사이의 거리는 이 평행사변형의 높이와 같다. 그러므로 평행사변형의 높이를 평행사변형의 밑변의 길이로 나누면 평행사변형의 높이 \(d\)와 같다.
보기. 위 공식을 이용하여 점 \(S(1,\,1,\,5)\)와 직선 \[\ell \,: \quad x=1+t ,\quad y=3-t ,\quad z=2t\] 사이의 거리를 구해보자. 먼저 \[\overrightarrow{PS} = -2\textbf{j} + 5\textbf{k}\] 이고 \[\overrightarrow{PS} \times \textbf{v} = \left\lvert \begin{matrix} \textbf{i} & \textbf{j} & \textbf{k} \\ 0 & -2 & 5 \\ 1 & -1 & 2 \end{matrix} \right\rvert = \textbf{i} + 5\textbf{j} + 2\textbf{k} \] 이므로 \(S\)와 \(\ell\) 사이의 거리는 다음과 같다. \[d = \frac{\sqrt{1+25+4}}{\sqrt{1+1+4}} = \sqrt{5} .\tag*{\(\square\)}\]
보기의 문제를 다른 방법으로 풀어보자. 라그랑주의 방법(method of Lagrange)은 변수에 제한 조건이 주어졌을 때 주어진 함수가 극값을 갖는 점을 찾는 방법이다. 라그랑주의 방법으로 보기의 문제를 해결할 수 있다.
점 \(S\)와 직선 \(\ell\)을 모두 동일하게 평행이동시켜서 \(S\)가 원점에 놓이도록 하자. 그러면 직선은 다음과 같이 나타낼 수 있다. \[L : \quad x = t ,\quad y = 2-t ,\quad z = 2t-5 .\] 이 직선과 원점 사이의 거리가 최소가 되도록 하는 점의 좌표 \((x,\,y,\,z)\)를 구해야 한다. 원점과의 거리가 최소인 점을 찾는다는 것은 함수 \[f(x,\,y,\,z) = x^2 + y^2 + z^2\] 의 값이 최소가 되도록 하는 점의 좌표 \((x,\,y,\,z)\)를 구하는 것과 같다. 이제 직선 \(L\)을 이용하여 제한 조건을 만들자. \(L\)의 처음 두 등식을 연립하면 \[y = 2-x\tag{2}\] 가 되며, \(L\)의 첫 등식과 마지막 등식을 연립하면 \[z =2x-5 \tag{3}\] 를 얻는다. (2)와 (3)을 이용하기 위하여 다음 두 함수를 도입한다. \[\begin{gather} g(x,\,y,\,z) = x+y-2 ,\\[6pt] h(x,\,y,\,z) = 2x-z-5 . \end{gather}\] 두 함수의 값이 모두 \(0\)이 되도록 하는 점들의 모임이 곧 직선 \(L\)이 된다. 그러므로 우리는 변수가 두 제한조건 \[\begin{gather} g(x,\,y,\,z) =0, \\[6pt] h(x,\,y,\,z) =0 \end{gather}\] 을 모두 만족시킬 때 \(f(x,\,y,\,z)\)의 극값을 구해야 한다. 라그랑주의 방법을 이용하자. \[\nabla f = \lambda \nabla g + \mu \nabla h\tag{4}\] 를 만족시키는 상수 \(\lambda ,\) \(\mu\)와 \((x,\,y,\,z)\)를 구해야 한다. (4)에 의하여 \[2x\,\textbf{i} + 2y\,\textbf{j} + 2z\,\textbf{k} = \lambda (\textbf{i} + \textbf{j}) + \mu (2 \textbf{i} - \textbf{k})\] 즉 \[\begin{cases} 2x = \lambda + 2\mu \\[6pt] 2y = \lambda \\[6pt] 2z = - \mu \end{cases}\] 를 얻으며, 이 식을 통하여 \[x-y+2z=0 \tag{5}\] 을 얻는다. 직선 \(L\)의 방정식을 이용하여 (5)를 \(t\)에 대한 식으로 변형하면 \[t-(2-t)+2(2t-5)=0\] 이 되며, 이 식을 풀면 \(t=2\)를 얻는다. 다시 \(t=2\)를 직선의 방정식에 대입하면 \[x=2 ,\,\, y=0 ,\,\, z=-1\] 을 얻는다. 즉 \((2,\,0,\,-1)\)은 직선 위의 점 중에서 원점에 가장 가까운 점의 후보이다. 한편 \(3\)차원 공간에서 직선은 닫힌 집합이고, \(t \,\to\, \pm \infty\)일 때 직선 위의 점과 원점 사이의 거리는 무한대로 발산하므로, \((2,\,0,\,-1)\)은 직선 위의 점 중에서 원점과 가장 가까운 점이다.
이제 이 점과 원점 사이의 거리를 구하면 \[d = \sqrt{2^2 + 0^2 + (-1)^2} = \sqrt{5}\] 로서, 앞의 풀이의 결과와 동일한 값을 얻는다.