(번역) CARMELO 프로젝션에 대한 이해를 돕기 위하여 <3>

원문

http://fivethirtyeight.com/features/what-our-nba-projections-got-right-and-wrong-last-season/

번역 출처
http://m.post.naver.com/viewer/postView.nhn?volumeNo=4808829


CARMELO 관련 번역글의 마지막 편입니다. 이번 글에서는 네이트 실버가 아닌 닐 페인이 화자로 등장하여 2015-16 시즌 CARMELO 프로젝션이 어떤 퍼포먼스를 보여주었는지를 분석하고, 다가오는 2016-17 시즌에 대해서 흥미로운 전망을 보여주고 있는 선수들을 열거해줍니다. 다시 살짝 긴 글입니다. 여기까지 읽어주시느라 고생이 많으셨습니다.

우리의 예측 시스템이 지난 시즌 바르게/틀리게 예측해낸 것들
닐 페인 (FiveThirtyEight 스포츠 수석 칼럼니스트)

2016/07/08

▲ 칼 앤서니 타운스는 큰 기대를 한몸에 받고 있다.

CARMELO 가 돌아왔습니다. 제 동료 네이트 실버가 지난 목요일에 알려드렸던 대로, 저희는 이 자리에서 NBA 선수 커리어 예측 시스템의 2번째 판본을 발표하려 합니다. 저희의 최신판 예측 시스템은 아래의 링크에서 확인하실 수 있습니다.

CARMELO라는 말이 낯설게 느껴지는 분이 계신가요.⑴ 이는 기존의 유사한 선수들의 커리어 곡선을 이용하여 어떠한 미래가 오늘날의 스타, 저니맨 그리고 미미한 선수들을 기다리고 있는지를 예측해내는 알고리즘입니다. 

저 는 CARMELO가 2016-17시즌에 대해 어떻게 예측하고 있는지를 밝혀보려고 합니다. 하지만 이에 앞서서, 먼저 이 시스템이 데뷔 시즌에 겪었던 영광과 좌절을 돌아보도록 하겠습니다. 시스템이 맞닥뜨린 최대의 성공과 실패를 구분해내기 위해서, 저는 2015-16 시즌 NBA에서 활약했으면서 지난 가을의 CARMELO 예측에도 포함되어 있었던 435명의 선수들의 WAR⑵ 자료를 수집했습니다. 아래의 간단한 막대그래프는 예측된 성적과 실제 코트 위에서 일어난 결과 사이의 WAR 오차를 나타내고 있습니다.

약 55%가량의 선수들이 CARMELO가 예측한 것으로부터 1승 이내의 WAR 오차를 기록했습니다. 오차의 범위를 예측된 WAR로부터 2승 안팎으로 넓히면 이 비율은 80%까지 늘어나게 됩니다. 이것이 다른 예측 시스템들에 비해 얼마나 좋은, 혹은 나쁜 결과인지를 따지는 것은 쉽지 않습니다. 대중에게 공개된 경쟁자들이 별로 많지 않기 때문입니다. 그래서 일단 자체적으로 평가를 내린다면, 첫 시즌의 결과물 치고는 그리 나빠 보이지 않는다고 말씀드려보고 싶습니다. 특히 CARMELO의 오차가 대략 종의 형태를 띠면서 좌우대칭을 이루고 있다는 점을 감안한다면요. 이는 시스템이 구조상으로 선수의 가치를 지나치게 높게, 또는 낮게 평가하는 편향성을 지니고 있지 않다는 것을 의미합니다.

그렇다고 CARMELO가 완벽했던 것은 아닙니다. 아래에는 시스템이 2015-16시즌에서 저지른 가장 커다란 오산들이, 과대평가와 과소평가를 망라한 채로 수록되어 있습니다.

WAR 을 기준으로 했을 때, CARMELO가 저지른 최고의 실수는 바로 현재 최고의 스타에 대해서였습니다. 스테픈 커리 말이죠. 알고리즘이 커리가 부진할 것이라고 전망했던 것은 아닙니다. CARMELO는 2015-16시즌에도 그가 MVP에 등극할 것이라고 예측했었죠. 하지만 시스템은 그의 경기력이 리그 MVP를 차지한 다음 시즌에도 비약적인 발전을 거듭하리라고는 내다보지 못했습니다. 아웃라이어들의 퍼포먼스는 그들이 아웃라이어라는 맥락에서만 설명할 수 있습니다. 근대 NBA의 역사에서, 대부분의 선수들은 역대 50위 안에 드는 시즌을 만들어낸 다음 시즌에는 평균으로 회귀하는 모습을 보여주었지 거기서 한 발 더 나아가서 역대 탑 10에 드는 시즌을 만들어내지는 못했습니다. 분명히 커리는 이 "대부분"에 속하지 않았지요.

마찬가지로 CARMELO는 카일 라우리와 러셀 웨스트브룩이 잘 해낼 것이라는 사실은 예측했지만, 이 정도로 잘 해내리라고는 생각하지 못했습니다. 또한 기록들은 켐바 워커의 브레이크아웃을 담아내지도, 칼 앤서니 타운스가 근래 최고의 신인 중 하나로 자리 잡으리라는 것을 짐작하지도 못했습니다. 그리고 CARMELO가 리그 최고의 가치를 지닌 선수라고 예측했었던 앤써니 데이비스가 역사에 남을 만큼 실망스러운 시즌을 보낸 것도 엄청난 충격으로 다가왔지요.

지난 시즌의 대부분을 100%의 컨디션이 아닌 채로 보냈던 데이비스는 우리들에게 선수들이 마주하게 되는 자잘한, 혹은 심각한 부상에 대한 화두를 던져주었습니다. 부상을 예측한다는 것은 까다롭기로 이름 높은 작업이고, 선수의 출전 시간과 퍼포먼스는 그 뿌리에서부터 밀접하게 얽힌 채 서로 영향을 주고받습니다. 때문에, 위의 리스트에 이름을 올린 선수들 중에서도 상당수가 여러 가지 병증들이 출전 시간과 분당 생산성을 함께 앗아가는 현상을 경험했지요. 예를 들어 조아킴 노아나 마이클 키드-길크라이스트는 시즌의 대부분을 부상으로 날렸고, 경기에 나섰을 때도 제 모습이 아니었습니다.

또한, CARMELO가 선수들의 개인사적인 문제들에 대해서는 거의 헤아리지 못한다는 것은 언급할 필요도 없습니다. 이것이 시스템이 타이 로슨의 처참했던 2015-16시즌에 대하여 정말이지 완벽하게, 비참할 정도로 빗나가게 된 이유입니다(저도 마찬가지였고요).

그렇지만 CARMELO의 데뷔 시즌이 실패로만 점철되었던 것은 아닙니다. 아래의 명단은 최소 1500분 이상을 출장한 선수들 가운데 예측되었던 총 WAR과 실제 2015-16시즌의 결과물이 가장 근접한 수치를 기록했던 선수들을 나열해주고 있습니다.

상당히 괜찮은 명단이지 않습니까. 닉 바툼을 예로 들면, 그는 기존의 스탯들을 기준으로 보았을 때 하락세를 타기 시작한 직후였습니다. 하지만 CARMELO는 그가 예전의 모습 비슷한 수준으로 반등하리라고 예상했지요. 시스템은 또한 팀 던컨이 39세의 나이에도 수준 높은 경기력을 보여주리라는 것과 로터리 픽이었던 프랭크 카민스키가 기대에 미치지 못하리라는 것을 예측해냈습니다.

해서, 지금까지 CARMELO의 데뷔 시즌을 평가해보았습니다. 그렇다면 시스템은 앞으로 벌어질 일들에 대해 어떤 이야기를 들려주고 있을까요? 아래의 명단은 우리의 시스템이 2016-17시즌에 WAR을 기준으로 가장 큰 규모의 등락을 보여주리라 예측하고 있는 선수들을 알려줍니다.

 

CARMELO 는 예측을 위해 지난 시즌들의 데이터를 활용하고, 동시에 평균회귀의 법칙을 강하게 적용시킵니다. 때문에 시스템이 2015-16시즌을 앞두고 저지른 실수들과 2016-17년의 최대 등락 리스트 사이에는 적잖은 교집합이 존재할 수밖에 없습니다. 커리와 라우리 등이 2년 연속으로 그만큼 압도적이기는 쉽지 않겠죠. 아마 그렇지 않겠습니까? 우리는 곧 확인하게 될 겁니다. 예측 시스템이란 근본적으로 보수적인 물건이고, 평균의 법칙을 충실하게 따릅니다. 그리고 폭발적인 개인의 퍼포먼스는 이 법칙을 정면으로 거스르지요. 아마 리스트의 우측에 위치한 이름들 중에서도 몇몇은 난관을 헤치고 또 한 번의 역사를 써내려갈 수 있을 겁니다. 물론 아닐 수도 있고요. 하지만 리스트의 좌측에 위치한 이름들에게는 정말로 주목해볼 필요가 있습니다. 이들은 대부분이 시스템에서 큰 폭으로 발전할 것을 기대하고 있는 젊은 선수들이고, 또 몇몇은 시스템으로부터 반등할 것이라 기대 받고 있는 베테랑들입니다(데이비스, 블레이크 그리핀, 타이릭 에반스 말입니다).

그런 맥락에서, 아래의 리스트는 전적으로 예측의 변동성에 의거한 명단입니다. 바로, CARMELO가 예측하는 다음 시즌의 합리적 최선(상위 10% 지점)과 합리적 최악(하위 10% 지점) 사이의 영역이 넓은 선수들의 목록이지요.

당연하게도 타운스, 데이비스, 크리스탭스 포르징기스 같은 젊은 선수들이나 벤 시몬스 같은 드래프트 1픽의 경우, 가능성 높은 결과물이 보다 넓은 영역에 걸쳐 분포하는 양상을 보여주었습니다. 이들의 예측 결과를 산출해낼 만한 샘플들이 상대적으로 적었기 때문이지요. 그러나 몇몇 베테랑들도 마찬가지로 아주 변동 폭이 넓은 모습을 보였는데요. 이는 그들의 비교대상이 되는 명단이 레전드와 실패자 모두를 포함하고 있었기 때문입니다. 이 시점 이후로, 제임스 하든은 코비 브라이언트 같은 커리어 곡선을 지닐 수도 있고(그는 영원처럼 오랜 시간 동안 리그에 자리 잡고 있었습니다), 스티브 프란시스가 될 수도 있습니다(그는 커리어 초반에는 대단했지만 겨우 31세의 나이로 리그를 떠나게 되었지요).

이것이야말로 NBA의 매력입니다. 앞으로 무슨 일이 일어날지를 완벽하게 예측하는 일은 불가능하지요. 하지만 CARMELO의 존재 덕에, 우리는 이전에 비하면 조금쯤은 감을 잡을 수 있게 되었습니다.

각주:

⑴ 이는 정말 우연하게도 '국부적 최적화를 거친 커리어 곡선의 회귀분석 모델(Career-Arc Regression Model Estimator with Local Optimization)'이라는 뜻을 지닙니다.

* 실은 네이트 실버와 닐 페인이 작업의 촉매가 되어준 카멜로 앤써니의 이름에 맞추어 되는 대로 가져다 붙인 명칭입니다. 즉, 글쓴이는 나름대로 농담을 던지고 있다는 것이죠. (역자 주)

⑵ WAR은 선수의 BPM에다가 그의 출장 시간이 소속팀의 경기 시간에서 차지하는 퍼센티지를 곱하고, 다시 2.2를 곱함으로써 산출해낼 수 있습니다.