Rank Order Segregation Index for Continuous Variables

on Categorical Variables

Segregation index (분리 지수)는 한 사회 내 구성원이 어떤 기준에 따라 분리된 정도를 측정하는, 사회과학의 중요한 지표입니다. 흔히 인종이나 성별에 따른 분리 지수를 많이 측정하는데, 이때 사회 구성원이 크게 두 분류로 분리되는 경우가 가정됩니다. 성별의 경우 남녀로, 인종의 경우 미국에서는 흑인/백인에 따른 분리가 자주 가정됩니다. 만일 인종에 따른 거주지 분리 지수를 구한다면, 지역별로 같은 인종끼리 거주하는 정도가 얼마나 강한지를 구하게 됩니다.

이 경우 흔히 사용되는 분리 지수의 산식은 이렇습니다.

\[ D = \frac{1}{2} \Sigma_{k=1}^K | \frac{n^a_k}{N^a} - \frac{n^b_k}{N^b} | \]

위 식에서 \(K\)는 집단의 총 개수입니다. 거주지에서의 분리 지수라면 고려하는 지역의 개수가 됩니다. 이때 각 구성원들은 a와 b 두 카테고리 중 하나에 해당됩니다. 성별 분리 지수라면 a와 b가 각각 남녀일 것입니다. \(N^a\)는 모든 집단에서 a카테고리에 속하는 구성원의 수입니다. \(N^b\)는 모든 집단에서 b카테고리에 속하는 구성원의 수입니다. \(n^a_k\)는 \(k\)번째 집단에서 a카테고리에 속하는 구성원의 수, \(n^b_k\)는 \(k\)번째 집단에서 b카테고리에 속하는 구성원의 수입니다. 이 식은 전체 비율 평균으로부터 각 집단의 구성비가 얼마나 편중되어 있나를 측정하는 식입니다. 결과값의 범위는 \([0, 1]\)입니다.

이를 Python으로 간단히 정의해보면 이렇습니다.

import numpy as np
from typing import List, Any

# bool은 각 구성원이 어떤 카테코리에 속하는지 표현
# List[bool]은 각 집단에 해당
def get_d(list_of_list: List[List[bool]]) -> float:
  a_counts = [(np.array(e)==True).sum() for e in list_of_list]
  b_counts = [(np.array(e)==False).sum() for e in list_of_list]
  a_total = sum(a_counts)
  b_total = sum(b_counts)

  return sum([abs(a/a_total - b/b_total) for a, b in zip(a_counts, b_counts)])/2

# True 유형과 False 유형이 고르게 분포할 경우
ex1 = [[True, True, False], [True, True, True, True, False, False, False], [True, False, False, True, False]]
# True 유형과 False 유형이 서로 잘 안 섞여 있는 경우
ex2 = [[True, True, True], [False, False], [True, False], [False, False, False, True]]

print(f"{get_d(ex1):.04}") # 0.1786
print(f"{get_d(ex2):.04}") # 0.6333

예시 데이터를 생성하고 출력값을 보면, 두 유형이 더 잘 섞여 있는 ex1의 분리지수가 끼리끼리 모여 있는 ex2의 분리지수보다 낮습니다.

그런데 이 분리지수에는 치명적인 한계가 있습니다. 🫢 바로 범주형 변수가 아닌 경우의 분리지수를 측정하기 어렵다는 점입니다. 인종, 성별처럼 범주형 변수가 아닌, 연속형이거나 순서형 변수라면 어떻게 해야할까요? 그 대표적인 경우가 소득 변수입니다. 소득 변수는 그 자체로 범주형 변수가 아니기 때문에, 소득 분포에 따른 분리지수를 구할 때는 보통 임의로 기준점을 정하고 그에 따른 범주를 만드는 경우가 많습니다. 예컨대 상층과 하층을 구별하고 그에 따른 분리지수를 구하는 것이죠. 하지만 이 경우에도 여전히 문제는 있죠. 우선 그 기준점을 어디로 정할 것이냐 - 결코 정답이 없습니다. 무엇보다, 연속형/순서형 변수를 범주형으로 바꿈으로써 전체 분포가 갖는 상당한 정보량을 상실하게 됩니다.

때문에 이에 대한 대안이 꾸준히 제시되어 왔습니다. 여기서는 Reardon(2011)이 제시한 방법을 소개하고자 합니다. 소득과 같은 연속형 변수에 따른 분리지수를 구하는 방법으로 현재까지 제시된 방법들 중 가장 합리적이고, 경제학과 사회학 등 여러 분야의 신진 연구에서 적극적으로 사용되고 있는 방법입니다.

on Continuous Variables

Reardon(2011)'s solution

Reardon이 제시한 방법은 아주 단순하고 강력한 직관에서 출발합니다. 소득에 따른 분리지수를 구할 때 그동안 임의의 기준점을 잡고 그 경계에 따라 범주를 나누는 방식을 사용했다면, 어떤 기준점에 따라 분리지수를 구하는 함수식을 가능한 모든 기준점의 범위에서 가중평균합(적분)하는 것입니다.

풀어서 얘기하면 이렇습니다. 어떤 시기의 어떤 사회의 소득 데이터가 있다고 합시다. 소득에 따라 구성원의 Rank-Order를 구할 수 있을 것입니다. 그러면 다시 0에서 1까지, 각 구성원의 상대적 Rank-Order를 구할 수 있습니다. 범주형 분리 지수를 사용한다면, 이 0에서 1까지 중 어떤 값 \(p\)를 선택한 후 그에 따른 분리지수를 구하면 됩니다. 그렇다면 \(p\)에 따른 분리지수를 구하는 함수를 예컨대 \[p = g(p)\] 와 같이 정의할 수 있을 것입니다. 이때 이 함수식을 0에서 1까지 적분하되, 가중치 역할을 하는 항을 삽입해주면 일종의 가중평균값을 얻게 됩니다. 그 값은 모든 상대적 기준점을 반영한 분리지수라고 할 수 있습니다.

더 자세히 수식을 소개해보겠습니다. Reardon이 제시한 Rank-Order 분리지수의 기본형은 다음과 같습니다.

\[ \Lambda^R = \int_{0}^{1} \frac{f(p)}{\int_{0}^{1} f(q),dq} \Lambda(p) ,dp \]

이때 \(\Lambda(p)\)는 경계갑 \(p\)에서의 분리지수를 산출하는 함수가 되고, \(\frac{f(p)}{\int_{0}^{1} f(q),dq}\)는 각 지점에서 산출된 값을 가중평균해주는 가중치 역할을 하게 됩니다. 이 \(f(p)\) 함수는 \(p=0\) 또는 \(p=1\)일 때 0의 값을, \(p=\frac{1}{2}\)일 때 1의 값을 갖는 오목함수여야 한다고 제시됩니다. (따라서 \(p=\frac{1}{2}\)일 때 가장 큰 가중치가 부여되고, 양 끝에서 발생할 수 있는 민감도를 줄일 수 있습니다.) 이를 만족하는 함수는 몇 가지가 있지만, 일반적으로 다음의 엔트로피 산식을 사용합니다.

\[ E(p) = -(p\log_{2}^{p} + (1-p)\log_{2}^{(1-p)}) \]

이제 \(\Lambda(p)\)에 해당하는 각 지점에서의 분리지수를 구하는 함수식을 정해야 합니다. Reardon(2011)에서는 크게 세 가지 수식이 제시되는데, 그중 정보이론(Information theory)에 기반한 Theil index의 사용이 추천됩니다. 그 식은 다음과 같습니다.

\[ H = \Sigma_{k=1}^{K} \frac{t_{k}}{T} \frac{E-E_{k}}{E} \]

위 식에서 \(E\)는 앞서 본 엔트로피 수식인 \(E(p)\)에 의해 구해지는 엔트로피 값입니다. \(E\)는 전체 구성원을 망라했을 때의 엔트로피 지수(엔트로피가 높을수록 분리정도가 낮습니다)를, \(E_{k}\)는 \(k\)번째 집단에서의 엔트로피 지수입니다. 여기서 \(T\)는 전체 구성원의 수, \(t_{k}\)는 \(k\)번째 집단에서의 구성원의 수로서, \(\frac{t_{k}}{T}\)는 인원 수에 따른 가중치 역할을 합니다. 이 식을 구하면 전체 분포(구성비)로부터 각 집단의 구성비가 편중된 정도의 평균을 구할 수 있습니다. 이 수식을 p~[0, 1] 범위에서 가중평균합하면 우리가 원하는 분리지수를 얻게 됩니다.

이제 앞선 세 식을 종합해 보겠습니다. Theil Index인 \(H\)를 이용하는 Rank-Order 분리지수 \(\Lambda^R\), 즉 \(H^R\)를 구하는 수식은 다음과 같이 정리됩니다:

\[ H^R = \int_{0}^{1} \frac{E(p)}{\int_{0}^{1} E(q),dq} H(p) ,dp \\ = 2 \log_{2}^{\int_{0}^{1} E(p)H(p) ,dp} \]

네, 이제 이 수식을 계산하면 됩니다! 🙃

당연히 이 식을 그대로 계산하기는 어렵고 근사법을 이용해야 합니다. 그 방법에 대해서도 Reardon은 여러 노하우를 제시하고 있지만 여기서 자세한 내용은 생략하겠습니다.

Python Library: segindex

Reardon이 제시한 Rank Order 분리지수는 그 추론이 합리적일 뿐 아니라 소득을 비롯한 여러 연속형/순서형 변수에 유용하게 사용될 수 있습니다. 다만 해당 지수를 구하는 통계 패키지가 많진 않은 것으로 보이는데요, 여기서는 간단한 Python library인 segindex를 소개합니다.

segindex 라이브러리를 이용해 위에서 소개한 Theil Index를 사용한 Rank Order 분리지수를 구할 수 있습니다.

! pip install segindex==0.1.4
from segindex import estimate_Hp

# 각 값이 소득 수준이라고 할 때,
# area1은 상대적으로 비슷한 소득 수준끼리 모여있고, area2는 더 혼합되어 있음
area1 = [[80, 80, 70, 70], [50, 45, 40],[20, 20, 20, 10]]
area2 = [[80, 70, 50], [80, 70, 45, 20, 20], [40, 20, 10]]

print(estimate_Hp(area1)) # 0.7182
print(estimate_Hp(area2)) # 0.3191

위 코드는 segindex의 estimate_Hp 함수를 이용해 분리지수를 구한 예시입니다. 눈으로 보기에도 소득수준에 따른 분리 정도가 더 높은 area1의 분리지수가 더 높게 측정됐습니다.

Example: Chetty et al.(2014)

Reardon이 제시한 Rank Order 분리지수는 사회과학계 여러 분야의 새로운 연구들에 적극적으로 활용되고 있습니다. 대표적인 사례가 Chetty et al.(2014)의 유명한 논문, "Where is the Land of Opportunity?"입니다. 이 연구는 미국의 대규모 행정 데이터를 이용해 소득 수준에 따른 불평등과 이동성 측정 등 다양한 작업을 수행했는데요, 그중 소득 순위에 따른 지역별 분리지수를 구할 때 Rank Order 분리지수를 사용하고 있습니다. 소득 데이터를 "순위"로 변환하여 불평등과 이동성 등 각종 지표를 구한다는 것은 이 연구의 방법론적 핵심 아이디어 (새로운 아이디어는 아니지만, 과감한) 였는데요, Rank Order 분리지수야말로 이 연구에 꼭 필요한 지표였던 셈이죠.

소득을 순위로 변환하여 각종 지표를 측정하는 것에 대한 방법론적 논쟁은 있지만, Chetty et al.의 연구와 같이 대규모 데이터를 다룰 때 그 유용성과 현실적 필요성은 분명해 보이는데요, 갈수록 대규모 데이터를 이용한 연구가 활발해진다면 Rank Order 분리지수를 이용한 연구도 더 활발해지지 않을까요? 🔬