와이드밴드 델파이 기법 (Wide-band Delphi)

와이드밴드 델파이 기법 (Wide-band Delphi)

델파이(Delphi) 기법을 들어봤는가? 전문가들이 모여서 집중해서 답을 낼 수 있도록 유도하는 회의기법이다. 사실 말이 기법이지 그냥 의사결정을 위한 회의다. 그런데, 델파이 기법을 약간 변형해서 진화시키면, 꽤 쓸만한 정량화 도구가 된다. 이름하여 와이드밴드 델파이(Wide-band Delphi) 기법이다. 여기서는 SW개발 프로젝트를 착수하기 전에, 이 프로젝트가 과연 어느정도의 일정이 소요될 것인가를 예측하여 계획을 수립하는 사례를 가지고 설명한다. <정의> Delphi 프로세스에 기반해서, 반복적 전문가 평가를 통해 프로젝트 규모를 추정하는 기법이다. Rand Co.에서 창안되고, 1981년에 Boehm에 의해 정제된 후, 1990년에 Watt Humphrey에 의해 다시한번 정제된 규모 추정 기법이다. (Watt Humphrey 할아버지를 들어봤는가? 카네기 멜론에서 그 유명한 CMM을 제창하신 분이다. ^^) <목적> 예측할 수 없는 규모나 수치에 대해, 축적된 경험을 토대로 추정(Forecasting)하여 정량화된 결과로 도출한다. 정성적인 상태에 대해, 평가를 수행해서 정량적인 평가수치(Estimation)로 전환한다.   <참여자> 와이드밴드 델파이에서는 크게 두가지 유형의 역할이 필요하다. 전문가(experts)     : 축적된 지식에 근거해서 의사결정 안을 제시하는 역할 [=평가자(estimators)] 조정자(moderator) : 회의를 진행시키는 진행자로써, 전문가의 작성결과를 취합해서 통합결과를 다시 배분해주는 역할   <진행 프로세스> Workshop : 전문가 그룹을 선정하고, 이들에게 와이드밴드 델파이 진행방식을 설명해준다. (일종의 워크샵) Experts Initialization : 전문가 그룹에게 의사결정이 필요한 내용(Figure 1.의 예제에 있어서는 SW개발 프로젝트의 명세서들)과 작성할 평가양식을 제공한다. Kickoff Meeting : 전문가들이 의사결정이 필요한 내용에 대해 논의를 수행한다. Individual Estimation : 전문가들이 자신의 의견을 정량화해서 개진한다. (Figure 1.의 예제에서는 프로젝트의 테스크와 각 테스크의 예상 소요시간을 기재한다.) Tabulating : 조정자가 각 전문가들이 작성한 결과를 취합하여, 익명의 결과로 전환시킨 통합 버전을 작성한다. 그런후, 이를 모든 전문가에게 피드백 한다. Reviewing & Concensus : 다른 모든 전문가의 의견과 자신의 의견의 차이를 확인한 후, 다시 전문가들이 재 논의를 수행한다. 이슈가 남아있으면 4번 Individual Estimation 단계로 돌아가 반복 평가를 실시한다. 의견일치가 되었다면 결론을 내고 프로세스를 종료한다. 이러한 프로세스를 도식화하여 정리하면 Figure 1.과 같다. < Figure 1 > <Estimation Writing Form> 4번 Individual Estimation 단계에서 사용하는 템플릿으로, 개인별로 의사결정이 필요한 부분을 채워넣게 구성한다. Figure 2.의 사례를 해석하면 다음과 같다. 는 각 개발단계별로 예상 소요시간을 기록하여 프로젝트에 필요한 전체 소요시간을 기록하도록 구조적으로 구성되어 있다. 전문가가 interaion이 진행될 때마다 작성한 평가결과 히스토리를 한눈에 볼 수 있도록 되어있다. 이 평가자는 Tabulating 템플릿을 보고, 재 논의 후, 최초 평가결과와 Interation 1에서의 평가결과에 변화가 생겼는데, 그 사유를 제일 하단 'comment'란에 기재했다. < Figure 2 > 이 템플릿은 평가자들의 일치가 이루어지지 않아 반복 평가가 이루어질 때마다 재사용 되도록 디자인되어있다. 처음에는 Initial Estimation란에 입력하며, 반복(iteration)이 진행될때 마다 우측의란에 반복해서 평가예측치를 기록한다. iteration에서 자신의 평가수치가 변경된 경우에는 제일 하단에 왜 심적 변화가 일어났는가의 사유를 기록하도록 한다. <Estimation Tabulating Form> 5번 Tabulating 단계에서 사용되는 템플릿으로, 조정자가 각 평가자의 결과를 취합하여 통합시키는 양식이다. 이 템플릿에는 모든 평가자의 평가결과가 기록되는데, 본인을 제외한 나머지 평가자는 익명으로 표시된다. Figure 3.의 사례를 해석하면 다음과 같다. E로 표시된 부분이 이 평가자가 필요하다고 예측한 수치이다. X로 표시된 부분은 다른 평가자가 결정한 수치로 1명을 제외한 나머지 모두 작성자보다 오랜시간이 필요할 것으로 예측하였다. (물론 각각의 X값의 제안자는 알 수 없다.) M으로 표시된 부분은 중앙값으로, 이 평가자는 중앙값보다 낮은 수치를 제안하였다. 즉, 이 프로젝트에 필요한 소요신을 다른 전문가들보다 좀 더 적게 판단하고 있다. 첫번째 평가작업에서는 의견차이가 커서 합의점을 찾지 못하고, 재분석하여 두번째 평가결과까지 취합되었다. 두번째 평가에서는 의견차이가 조금 줄어들었다. 하지만 여전히 이 평가자는 이 프로젝트가 더 빨리 끝날 수 있다고 생각하고 있는 것으로 나타나있다. 아마, 이경우 좀더 서로의 의견차이의 이유를 논의하고 좀 더 내용을 분석해서 Iteration을 다시 수행할 것이다. < Figure 3 > Interaion이 반복된에 따라 이 템플릿은 아래에서 위로 히스토리 정보가 계속 쌓여간다. <종료조건> 아래와 같은 조건이 만족하면 Iteration을 중지하고 결론을 맺는다. 전체 Task 리스트가 모두 다루어졌을 때 평가에 사용된 모든 가정들이 요약되었을 때 평가자가 모든 단위에서 합의에 이르렀을 때   <최종 Estimation 도출> 종료조건이 만족했다면, 정량화된 최종 Estimation값을 제시할 수 있어야 한다. 전문가가 평가한 Estimation값은 아직도 약간씩의 편차가 있을 것이므로 이를 하나로 귀결시키는 방법이 필요한다. 평균값이나 중앙값을 선택하는 것도 하나의 방법일 것이다. 가장 많이 사용되는 방법은 3점법이다. 이것은 (MAX + 4*AVG + MIN) / 6 의 계산식을 이용해서 단일 Estimation을 결정하는 것으로, 프로젝트관리에서 종종 사용된다. 개인적으로는 3점법을 선호하며, 이것을 모 기업에서 와이드밴드 델파이를 적용할 때 실제로 이용하는 사례도 본 적이 있다. <특징> 와이드밴드 델파이 기법의 특징 및 장점을 정리하면 다음과 같다. 상대적으로 단순하고, 반복적이고, 프로젝트 팀 기반적이고, 협업을 요구하는 평가수행 (relatively simple, iterative, team based, collaborative estimating) 공식화/정형화된 파라메터 기반 추정 프로세스(COCOMO, Function Point Analysis 등)와 달리, 이전 프로젝트의 히스토리 정보(historical sets of metrics)에 의존하지 않음 각 도메인 및 기술 전문가들의 개인적 경험에 의존해서 프로젝트 규모 측정값을 도출하게 됨   <Ground Rules> 와이드밴드 델파이 기법을 사용함에 있어서 유의해야 하는 사항들을 정리해보면 다음과 같다. 잘 읽어보고 사용에 있어서 반드시 유의하기 바란다. 모든 평가 그룹은 상호작용 없이 독자적으로 평가를 수행해야 한다. (평가 과정에서 개인의 편향성이 결과를 곡해시키지 않도록 하기 위함이다.) 평가자는 외부요인을 무시하고 과거경험적 지식에 기반해 평가를 수행해야 한다. (외부요인의 예 : 외부에서 기대하는 적절한 프로젝트 규모에 대한 고려요청) 평가자는 자신이 제시한 수치에 영향을 준 모든 factor 및 사유를 명시해야 한다. 평가자는 일단, 휴일 등의 불필요한 복잡성을 야기시키는 요소들을 무시한다. (이런 요소들은 향후 상세 시간계획 수립에서 반영해야 할 것들이다.) 전체 프로세스에서 익명성은 항상 보장되어야 한다. (이는 편향성을 배제하고, 평가자 영향을 최소화 하기 위함이다.) 이상적인 평가세션은 사전 정의된 시간제한(통상 30~60분)이 있어야 한다. (당장 문제가 있어도 후속 iteration에서 refine 되기 때문에 걱정 할 필요 없다.) 참여하는 전문가들은 실제적으로 프로젝트에 멤버로 참여하는 사람일 것을 추천한다. (Karl E. Wiegers는 이것을 CSF가운데 하나로 선정했다.)   <결언> 와이드밴드 델파이 기법은 전문가들이 축적한 지식을 활용하여 정성적인 상태를 정량화된 정보로 도출하는데 매우 유용한 기법이다. 특히, 프로젝트 계획을 수립함에 있어서 비용이나 일정을 예측(Forecasting)하고 추정치(Estimation)을 산정하는데 아주 강력한 도구로 사용될 수 있다. 그 외에도 모호한 상태를 정량화시키고 싶은 경우에는 꼭 한번 사용을 검토해 볼 필요가 있는 요긴한 툴이라고 생각한다.