P50, P80, P90의 의미와 예산을 잡는 기준
P50, P80, P90은 각각 시뮬레이션 결과의 50%, 80%, 90%가 그 값 이하에 머무는 값입니다. 건축 프로젝트 예제(천 달러 단위)에서 총비용의 P50은 2,776, P80은 2,879, P90은 2,937입니다. 그래서 P80 예산은 결과 5번 중 1번, P90 예산은 10번 중 1번 초과됩니다.
여기서 P80으로 예산을 잡으면 기준 추정치 2,620에 예비비 259만큼 더한 금액이 됩니다. 어느 수준으로 예산을 확보할지는 초과를 얼마나 자주 감수할지의 문제이고, 한 단계 올릴수록 신뢰도 1%포인트당 드는 비용이 커집니다. 백분위수는 부분의 백분위수를 더하지 말고 합계에서 구해야 합니다. 비용 항목 6개의 P80을 더하면 2,843입니다. 그러나 리스크 이벤트를 넣기 전, 항목 6개의 합계에서 구한 P80은 2,756입니다.
P50, P80, P90의 의미
몬테카를로 시뮬레이션은 모델을 수천 번 다시 계산하면서, 매번 불확실한 입력의 범위에서 뽑은 난수를 넣고 실행마다 결과를 기록합니다. 이 페이지의 예제는 건축 프로젝트입니다. 최소, 최빈, 최대로 정한 PERT 분포를 따르는 비용 항목 6개와 발생하거나 발생하지 않는 리스크 이벤트 4개를 5,000회 시뮬레이션했습니다.
시뮬레이션한 총비용 5,000개를 낮은 값부터 높은 값 순으로 정렬합니다. 80번째 백분위수인 P80은 목록의 80% 위치에 있는 값으로, 결과의 80%는 그 이하이고 20%는 그 초과입니다. 따라서 P80은 5번 중 1번, P90은 10번 중 1번 초과되며, 중앙값인 P50은 결과를 절반으로 나눕니다. 이웃한 두 결과 사이는 직선으로 보간하며, 엑셀의 PERCENTILE.INC와 같은 정의입니다.
| 수준 | 총비용 | 이하인 결과 | 초과인 결과 |
|---|---|---|---|
| P10 | 2,644 | 10.0% | 90.0% |
| P50 | 2,776 | 50.0% | 50.0% |
| P80 | 2,879 | 80.0% | 20.0% |
| P90 | 2,937 | 90.0% | 10.0% |
P80(2,879)보다 비용이 큰 결과는 이 실행에서 5,000개 중 정확히 1,000개(20.0%)입니다.
P80을 흔히 80% 신뢰 수준이라고 부르지만, 미래가 아니라 모델을 설명하는 값입니다. 입력한 범위와 리스크가 만들어 낼 수 있는 결과의 80%를 뜻합니다. 리스크가 빠졌거나 범위를 너무 좁게 잡으면 모든 P 수준이 낙관적이 됩니다. 통계적 신뢰구간과도 다릅니다. 결과가 어디에 놓이는지를 알려 줄 뿐, 어떤 수치를 얼마나 정확하게 추정했는지는 알려 주지 않습니다.
방향에 유의해야 합니다. 이 페이지와 xellstorm에서 P90은 결과의 90%가 그 값 이하에 머무는 값이며, 비용에서는 높은 쪽입니다. 석유와 가스 매장량 추정은 반대 관례를 써서, P90이 90% 확률로 초과되는 양입니다. 숫자를 비교하기 전에 보고서가 어느 쪽 관례를 쓰는지 확인해야 합니다.
S커브에서 P 수준 읽기
S커브, 즉 누적 확률 곡선은 각 값을 그 값 이하인 결과의 비율에 맞춰 그립니다. P 수준을 읽으려면 해당 퍼센트에서 곡선까지 가로로 간 뒤 아래로 내려가 값을 읽습니다. 80%에서 가로로 가면 P80이고 그 값은 2,879입니다. 반대로 읽으려면 값에서 곡선까지 올라간 뒤 가로로 가서 그 값 이하일 확률을 읽습니다. 기준 추정치(최빈 비용의 합)는 2,620입니다. 곡선과는 5.8% 지점에서만 만나므로 약 P6 수준이며, 이보다 비용이 큰 결과는 94.2%입니다.
xellstorm에서는 Results 단계의 S커브에 마우스를 올리면(휴대폰에서는 탭하면) 포인터 위치의 값 이하일 확률이 나옵니다. 백분위수 표에는 P1, P5, P10, P25, P50, P75, P80, P90, P95, P99가 있고, 맨 위의 핵심 수치에는 P90이 표시되며, 높을수록 좋은 경우에는 P10이 표시됩니다. 이는 “Good when”에서 설정하거나, “gap < 0.4” 같은 목표 또는 Profit 같은 이름에서 정해집니다.
백분위수 표의 P80 행이 이 페이지의 P80을 알려 줍니다. 핵심 수치 아래의 확률 입력란은 반대 질문에 답합니다. <= 선택 후 예산을 입력하면 그 이하로 머무를 확률이 나옵니다. 결과 엑셀 파일의 Trials 시트에는 모든 시행이 들어 있으므로, 출력 열에 =PERCENTILE.INC 수식을 쓰면 다른 수준도 구할 수 있습니다.
퍼짐: P90 − P10, P90 − P50
두 P 수준 사이의 거리는 결과의 불확실한 정도를 결과와 같은 단위로 보여 줍니다. P10에서 P90까지는 결과의 가운데 80%를 담습니다. 건축 프로젝트에서는 2,644에서 2,937까지로, 퍼짐 폭은 293이고 P50의 10.5%입니다. 위 S커브의 음영 띠가 그 구간입니다.
두 반쪽이 같을 필요는 없습니다. 중앙값에서 10번 중 1번꼴의 나쁜 결과까지의 거리인 P90 − P50은 여기서 161이고, P50 − P10은 131입니다. 비용은 낮아질 수 있는 폭보다 초과할 수 있는 폭이 크므로 위쪽 절반이 더 길며, P50을 중심으로 한 대칭 ± 범위로는 이를 설명할 수 없습니다.
P50, P80, P90 기준 예비비
선택한 P 수준에 맞추려고 기준 추정치에 더하는 금액이 예비비입니다. 예비비 = P 수준 − 기준 추정치. 기준 추정치가 2,620인 건축 프로젝트의 예비비는 다음과 같습니다.
| 예산 기준 | 예산 | 예비비 | 비용이 더 큰 결과 |
|---|---|---|---|
| P50 | 2,776 | 156 | 50.0% |
| P80 | 2,879 | 259 | 20.0% |
| P90 | 2,937 | 317 | 10.0% |
P80 예비비는 259이고, 기준 추정치의 9.9%입니다. 이 비율은 이 프로젝트의 범위와 리스크에서 나온 결과이지 규칙이 아닙니다. 범위가 더 넓거나 리스크가 더 큰 프로젝트는 더 많이 필요하며, 일률적인 비율로는 이를 알 수 없습니다. 같은 방식은 기간에도 적용되고, 이 프로젝트의 P80 완료 시점은 60.7주차입니다(일정 리스크 분석 참조). 리스크 관리대장에서는 총손실 자체의 P 수준이 준비금입니다.
어느 수준으로 예산을 잡을까
P 수준 하나를 고르는 것은 초과를 얼마나 자주 감수할지 정하는 일이며, 모든 예산에 맞는 수준은 없습니다. P50 예산은 결과의 절반에서, P80 예산은 5번 중 1번, P90 예산은 10번 중 1번 초과됩니다. 따져 볼 점은 다음과 같습니다.
- 한 단계 올릴수록 1%포인트당 비용이 커집니다. 건축 프로젝트에서 P50에서 P80으로 올릴 때 늘어나는 금액은 103(천 달러 단위), 1%포인트당 3.4입니다. P80에서 P90으로 올릴 때는 58, 1%포인트당 5.8이고, P90에서 P95로 올릴 때는 47, 1%포인트당 9.3입니다. 분포의 오른쪽 끝으로 갈수록 결과가 드물어지므로 신뢰도를 1%포인트 더 올릴 때마다 더 멀리 가야 합니다.
- 초과했을 때 치르는 비용과 돈을 묶어 두는 비용의 비교입니다. 초과가 새로운 승인 절차나 되찾을 수 없는 마진 손실을 뜻한다면 높은 수준이 제값을 할 수 있고, 초과를 쉽게 흡수할 수 있다면 낮은 수준이 다른 용도로 쓸 자금을 풀어 줍니다.
- 예산을 몇 건 운용하는가. 독립적인 프로젝트가 많으면 초과와 미달이 일부 상쇄되어, 전체 비용은 P50의 합이 아니라 평균의 합에 가까워집니다. 여기처럼 비용이 오른쪽으로 치우쳐 있으면 평균(2,785)이 중앙값(2,776)보다 높으므로, P50 예산은 평균적으로 모자랍니다.
- 예비비를 어디에 두는가. 항목별이 아니라 합계에 설정합니다. 항목별 P80을 더하면 항목은 과하게 잡히면서도 리스크 이벤트는 빠지는데, 다음 절에서 확인합니다.
- 범위를 얼마나 잘 잡았는가. 모든 P 수준은 모델에 넣은 범위와 리스크만큼만 믿을 만합니다.
백분위수는 더해지지 않습니다
부분에서 P80 예산을 만들고 싶어지기 쉽습니다. 비용 항목마다 P80을 구해 더하는 방식입니다. 이렇게 나온 값은 무엇의 P80도 아닙니다. 아래 표는 건축 프로젝트의 비용 항목 6개의 백분위수와, 같은 5,000회 시행에서 읽은 합계의 백분위수를 나란히 놓은 것입니다.
| 수준 | 항목별 백분위수의 합 | 항목 합계의 백분위수 | 차이 |
|---|---|---|---|
| P10 | 2,477 | 2,596 | −119 |
| P50 | 2,675 | 2,687 | −12 |
| P80 | 2,843 | 2,756 | +87 |
| P90 | 2,931 | 2,791 | +140 |
| 평균 | 2,692 | 2,692 | 0 |
항목별 P80의 합은 2,843이고, 합계의 P80(2,756)보다 87 큽니다. 항목 합계가 2,843보다 큰 결과는 2.9%뿐이므로 이 값은 P80이 아니라 약 P97에 해당합니다. P50을 더하면 반대쪽으로 틀립니다. 더한 값은 2,675, 합계의 P50은 2,687입니다. 더한 P10(2,477)은 시뮬레이션한 합계 5,000개 모두보다 낮습니다. 더해지는 것은 평균뿐이며, 어느 쪽으로 계산해도 2,692입니다.
P80이 어긋나는 이유는 항목들이 서로 독립적으로 변하기 때문입니다. P80을 더하면 모든 항목이 동시에 각자의 P80에 오는 상황에 대비해 예산을 잡는 셈인데, 독립 항목 6개가 동시에 모두 자신의 P80 이상에 놓일 확률은 0.2⁶, 즉 15,625분의 1입니다. 보통은 높은 항목을, 중간 근처이거나 그보다 낮은 다른 항목이 상쇄합니다. 최악 케이스 공차 누적이 그토록 보수적인 것도 같은 효과 때문입니다. P50을 더한 값이 모자란 데에는 다른 이유가 있습니다. 각 항목의 범위는 최빈 비용 위로 더 멀리 뻗어 있고, 이렇게 치우친 항목들을 합친 값의 중앙값은 중앙값의 합보다 위, 즉 평균에 가까운 쪽에 놓이는 경향이 있기 때문입니다. 백분위수를 확실히 더할 수 있는 경우는 부분들이 보조를 맞춰 움직일 때뿐입니다. 하나가 자기 P80에 있으면 나머지도 언제나 자기 P80에 있는 경우입니다.
리스크 이벤트가 상황을 더 나쁘게 합니다. 프로젝트 총비용에는 리스크 이벤트 4개도 들어 있는데, 항목별 P80을 더하면 이것이 빠집니다. 항목별 P80의 합은 2,843입니다. 이는 총비용의 P80(2,879)보다 36 낮고, 총비용의 약 P71에 불과합니다. 리스크의 백분위수를 따로 더해도 바로잡지 못합니다. 지반 조건 리스크는 결과의 25%에서 발생하고, 발생하면 비용이 150입니다. 이 리스크의 P50은 0이고 P80은 비용 전체, 즉 150입니다. 더한 P50은 이 리스크가 아예 일어나지 않는 것으로, 더한 P80은 항상 일어나는 것으로 셉니다. 합계의 백분위수는 시뮬레이션에서 읽어야 합니다. 포트폴리오도 마찬가지입니다. 여러 프로젝트를 합친 P80은 각 P80의 합이 아닙니다.
자주 묻는 질문
P80은 무슨 뜻인가요?
P80은 시뮬레이션 결과의 80%가 그 값 이하에 머무는 값이므로 5번 중 1번 초과됩니다. 건축 프로젝트 예제에서 P80 예산 2,879(천 달러 단위)은 모델의 가정대로라면 결과의 80%에서는 충분하고 나머지 20%에서는 모자랍니다.
P50은 평균과 같은가요?
P50은 평균이 아니라 중앙값으로, 결과의 절반은 그 아래, 절반은 그 위에 있습니다. 평균은 모든 결과를 더해 개수로 나눈 값이라 비용이 큰 결과의 꼬리가 평균을 끌어올립니다. 건축 프로젝트 예제에서 평균 총비용은 2,785이고 P50(2,776)보다 높습니다(천 달러 단위). 부분의 평균을 더하면 합계의 평균이 되지만, 백분위수는 그렇지 않습니다.
P90은 항상 높은 값을 뜻하나요?
P90이 높은 값인 것은 이 페이지와 xellstorm이 쓰는 관례, 즉 결과의 90%가 그 값 이하에 머무는 값일 때뿐입니다. 석유와 가스 매장량 추정은 반대 관례를 써서, P90이 90% 확률로 초과되는 양, 즉 낮은 추정치입니다. 또 매출처럼 높을수록 좋은 경우에는 보수적인 수치가 P10이며, xellstorm은 높을수록 좋은 경우 P90 대신 P10을 보여 줍니다. “< 0.4” 같은 목표나 Profit 같은 이름이 이를 자동으로 정합니다.
P90에는 시행이 몇 회 필요한가요?
대부분의 비용과 일정 결과에서 같은 정밀도를 얻으려면 P90에는 P50보다 시행이 더 필요합니다. 그 근처에 있는 결과가 더 적기 때문입니다. 건축 프로젝트 예제의 5,000회 시행에서 분포를 가정하지 않는 95% 구간(정렬한 결과의 4,458번째부터 4,542번째까지)을 구하면, 시행을 무한히 늘렸을 때의 P90은 2,931에서 2,947 사이입니다. 약 ±8입니다. P80은 ±5, P50은 ±4입니다(천 달러 단위). 이는 P80과 P90 사이의 58에 비하면 작으므로, 이 시행 횟수로 수준을 구분하기에 충분합니다. 이 구간은 독립 추출을 가정하며, xellstorm의 기본값인 라틴 하이퍼큐브 샘플링은 추출값을 더 고르게 퍼뜨려 보통 최소한 그만큼 정밀합니다.
작업 패키지나 프로젝트의 P80을 더해도 되나요?
작업 패키지나 프로젝트의 P80은 그냥 더하면 안 됩니다. 백분위수는 더해지지 않기 때문입니다. 건축 프로젝트 예제에서 비용 항목 6개의 P80을 더하면 2,843(천 달러 단위)입니다. 반면 합계의 P80은 2,756이고, 합계가 더한 값을 넘는 결과는 2.9%뿐입니다. 부분을 함께 시뮬레이션해 합계의 P80을 읽어야 하며, 더할 수 있는 것은 평균뿐입니다.
관련 글
- 프로젝트 비용과 일정
건설 프로젝트에는 예비비가 얼마나 필요할까요?
예제 풀이: 건축 견적의 최빈 비용 합계를 넘는 시뮬레이션 결과가 94.2%입니다. 몬테카를로로 건설 비용 예비비를 산정합니다. - 리스크 관리대장
리스크 관리대장에는 예비비가 얼마나 필요할까요?
확률 × 최빈 영향의 합계 291, 시뮬레이션 평균 손실 359, 최악 5% 평균 1,436(천 달러 단위). 예비비는 최악의 경우를 기준으로 정합니다. - 가이드
일정 리스크 분석: 프로젝트가 늦어지는 이유
최빈 기간으로 만든 건축 일정은 55주차에 끝난다고 하지만, 시뮬레이션 결과 중 그때까지 끝나는 것은 14.3%뿐입니다. 그 이유와 P80 완료 시점을 정하는 방법.
xellstorm은 엑셀 모델을 브라우저에서 몬테카를로 시뮬레이션하는 도구입니다. 애드인은 필요 없고, 엑셀 파일은 내 컴퓨터 밖으로 나가지 않습니다.