Xp
Notice

매니아 커뮤니티 서버 복구작업이 마침내 완료되었습니다.

 
197
  27089
Updated at 2019-05-10 12:21:57

안녕하세요, 홈지기입니다.

 

장장 5개월간의 엄청난 시행 착오 끝에 서버 복구 작업을 마무리 했고, 그 결실을 여러분들께 알려드리게 되었습니다. 이 공지를 쓰게 될 날이 되어 참 감개무량합니다.  

 

 KT 아현지사 화재로 인한 충격

많은 분들께서 아시다시피 저희는 지난 KT화재로 인해 모든 신규 서버를 잃었습니다. 그 화재는 저희 입장에서 최악의 시점에 일어났습니다. 더 빠르고 쾌적한 시스템 구축을 위해 저희가 자체 구축한 데이터센터를 벗어나 KT가 제공하는 보다 전문적인 IDC로 거처를 옮김과 동시에 큰 마음을 먹고 새로운 서버군을 구매하여 서버에 대해 더욱 깊이 공부하고 테스트하며 최적의 셋팅을 찾는 과정의 마무리 단계에 있었기 때문입니다. 복구 작업을 하면서 지금까지, 왜 하필 나에게 이런 일이 일어났나는 생각에 가슴속의 울분을 수없이 삭혔던 것 같습니다.

 

이 정도로 큰 사고는 아니었지만 저희는 6년 전에도 서버 고장으로 6개월여 데이터를 유실한 경험이 었습니다. 당시에는 제가 서버를 전혀 다룰 줄 몰랐고, 서버 관리를 남에게 맡긴 것의 대가를 톡톡히 치뤘습니다. 제대로 된 서버 관리의 중요성을 뼈저리게 느꼈고, 서버 공부와 자체 데이터센터까지 구축을 하면서 서버 관리를 저희의 핵심 역량으로 확보하고자 노력했습니다. 이번 사고에서도 사이트의 소멸 또는 큰 데이터 손실 없이 빠르게 복구를 해 낼 수 있었던 것은 2013년의 그 사고를 잘 딛고 일어섰기 때문이라고 생각합니다.


이번 화재를 겪은 후 머리속에 2013년의 일이 오버랩되면서 앞으로는 이런 끔찍한 일이 되풀이 되지 않도록 하겠다는 마음을 먹었습니다. KT같은 전문 기업의 말도 더 이상 믿지 않기로 했습니다. 2013년의 사고 때 서버 한 대가 고장났을 때도 문제 없이 서비스를 이어나갈 수 있는 다수의 서버로 분산 처리하는 기술을 확보하는 것이 주요 목표였다면, 이번에는 이번 KT 화재의 경우처럼 데이터센터 한 곳이 사라지더도 서비스를 이어나갈 수 있는 다수의 데이터센터 체제를 구축 하는 것을 골자로 시스템을 목표로 연구를 시작하였습니다. 그렇게 하면 어떤 장애에서도 보다 자유로워질 수 있기 때문이었습니다.

 

그리고 유난히도 길었던 5개월이 흘렀습니다.


 

새로운 데이터센터 구축기 - 트리플 데이터센터 체제 및 MANIASTATUS.COM

저희가 입주해서 피해를 입었던 아현지사는 당시 정부의 관리를 받지 않는 등급외 시설이었다는 것을 뉴스를 통해 알게 되었고, A등급으로서 정부의 체계적인 관리를 받는 구로지사를 먼저 선택해서 서버 셋팅을 하였습니다. 그리고 구로에서 서비스를 시작한 후에는 곧바로 또 다른 KT 지사를 알아보았고 구로에서 멀리 떨어져 있으면서도 관리를 할 수 있는 거리인 일산지사를 선택해 입주를 했습니다. 그리고 저희 자체 구축 데이터센터인 용산을 합쳐 총 3군데를 주축으로 '트리플 데이터센터' 운영 플랜을 만들었습니다.


현재 저희의 메인 데이터센터는 구로와 일산이며 양쪽이 거의 쌍둥이 같은 스펙을 갖추고 있습니다. 현재는 관리의 유연성을 위해 Active-Standby 형태의 구성을 갖추고 있으나, 장기적으로는 장애 대처에 더욱 유연할 수 있도록 Active-Active 구성으로 전환할 계획입니다. 구로, 일산, 용산 모두를 Active로 묶어 운영하는 방식도 연구해 실험해 봤으나 여러 가지 측면에서 잃는 부분이 많아 포기했습니다.


저희의 자체 데이터센터인 용산 데이터센터는 지난 번에 아현지사로 새 서버군을 구축하면 운영을 중단할 예정이었으나 이번 화재에서 새 서버군을 모두 잃었음에도 저희가 하루만에 서비스를 정상화 할 수 있게 해 준 핵심 역할을 한 공간이었고 앞으로도 R&D나 백업 데이터센터로 유지할 이유가 충분하다고 생각되어 계속 운영하기로 하였습니다. 또한 해외에 운영하고 있던 서버 또한 추가 증설해 데이터 백업과 모니터링 서버 역할을 부여해 백업과 관리 영역을 강화했습니다. 그렇게 오랜 고민과 시행착오 끝에 총 6군데 지역에 총 15개의 서버가 구축되었고 서버 고장이나 추가 서버가 필요할 경우를 대비해 예비로 10대의 최근 세대의 중고 서버들을 준비해 두었습니다.


KT 화재 사고가 없었다면 원래 지난 해에 말씀드리고자 했던 부분인데, 속도와 안정성에 대한 저희의 끝없는 도전이 고사양 서버들을 만나게 되면서 어마어마한 응답속도를 안정적으로 누리실 수 있게 되었습니다. 응답속도 측면에서 매니아는 60hz 모니터 화면이 뿌려줄 수 있는 무려 1프레임(16ms)의 한계 이내로 접어들어 평균 6~8ms에 이르고 있는데 이는 120hz 이상의 게이밍 모니터가 아니면 체감하기 힘든 경이로운 영역입니다. (단, 사용자의 네트웍 속도나 사용자 분들의 기기에 따라 체감되는 부분이 다를 수 있습니다.) 이는 포털의 캐시된 첫 화면을 요청했을 때 보실 수 있는 속도와 동일합니다. 동적으로 만들어내는 저희 페이지가 캐시된 페이지를 출력하는 속도와 동일하다는 것은 서버 퍼포먼스 측면에서는 극한에 다다랐다는 뜻이 아닐까 싶습니다.

 

데이터 안정성 극대화 또한 이번 시스템 구상에서 가장 큰 축 중 하나였습니다. 커뮤니티는 오랜 기간 회원분들과 만들어낸 데이터가 가장 소중한 자산인 공간이기 때문에 데이터 백업 또한 다소 지나치다 싶을 수도 있는 수준으로 철저한 시스템을 구축했습니다. 더 이상 많은 분들과 함께 만들어 있는 이 소중한 게시물 아카이브를 잃고싶지 않기 때문입니다.

 

그런데 이렇게 방대한 시스템을 구축하고 나니 또 다른 이슈가 생겼습니다. 한 지역에 있는 서버들을 모니터링 하는 것은 수동으로도 어렵지 않게 할 수 있었지만 이렇게 많은 지역에 퍼져 있는 서버들과 백업플랜들을 관장하는 것은 더 이상 혼자서는 감당하기 힘든 수준으로 복잡하고 양이 많아졌기 때문입니다. 이 방대한 시스템을 체계적으로 관리할 수 있는 자동화된 모니터링 시스템이 필요해 졌습니다. 

 

이제는 단순히 서버의 상태 파악만이 아닌 장애가 생기거나 데이터 백업 관리가 잘 안되고 있는 부분 등 원하는 모든 관리 포인트에 대해 구체적이고 즉각적인 알림이 오는 것이 중요했습니다. 오랜 노력 끝에 Mania Status라는 매니아 커뮤니티 플랫폼 만을 위해 최적화 된 자체적인 모니터링 시스템을 구축하였고 시스템관리의 자동화를 상당히 높은 수준으로 끌어올렸습니다. 이제는 원하는 관리 포인트 마다 저희 스마트폰으로 푸쉬알림이 발송되는 시스템이 체계적으로 구축되어 사이트 다운, 서버 장애, 백업 관리 등의 측면에서 보다 철저한 관리를 할 수 있게 되었습니다.


그 결실은 아래 사이트에서 지금 바로 확인하실 수 있습니다. 사이트 하단에도 링크를 배치해 두었습니다. 담겨 있는 정보가 많기 때문에 모바일에 보시기에는 쾌적하지 않을 수 있습니다.

 

MANIASTATUS.COM 바로가기▽

https://maniastatus.com

 


 

 

중요 과제와 앞으로의 계획

농구와 NBA를 좋아했던 중학생이 매니아를 취미로 만들던 시절에는 이렇게 독학으로 모든 것을 알아내며 무언가를 이뤄내 가고 있는 현재 모습을 상상조차 하지 못했습니다. 지금까지의 과정은 제게 있어 너무나도 재밌고 가치 있는 모험이었고 앞으로도 그럴 것 같습니다.

 

현재 구축된 시스템은 보시기에 따라 과도한 투자라고 생각하실 수도 있으시겠지만 모든 부분은 각각 특정 시나리오에 중요한 역할을 할 꼭 필요한 부분들입니다. 무엇을 상상하든 더 한 일이 일어나는 현실에서 매니아를 안전하게 지킬 수 있는 유일한 방법이기도 합니다. 노력 뿐만 아니라 비용 또한 어마어마하게 들어가는데도 제가 항상 이렇게 두 발 세 발 더 멀리 내딛는 이유는 매니아를 아껴주시고 사랑해 주시는 많은 분들이 계셨기 때문에 제 모험이 의미있었듯 저도 더 좋은 공간을 만듦으로써 감사한 마음을 보답해 드리고 싶기 때문입니다. 또한 전문가 분들께서 보시기엔 우스울 수도 있지만 제가 비전문가로서 독학으로 이 사이트를 만들고 개선하기 위해 들였던 노력은 상상을 할 수 없을 만큼 고된 일이었기 때문에 그 결실이 사라지거나 무너지는 것을 보고 싶지 않기 때문입니다. 매니아는 제게 있어 그 만큼 소중한 공간입니다.

 

이번 트리플 데이터센터 시스템 구축 작업은 금전적으로 저희 매니아 커뮤니티와 저희를 믿고 사이트를 맡겨주시는 다른 커뮤니티들과의 제휴를 통해 얻는 수익이 있었기에 가능했지만 이제는 저 혼자서 감당이 가능한 수준의 한계에 점점 다다르고 있습니다. 지금까지 그래왔듯 앞으로도 계속 더 좋은 커뮤니티 시스템을 만들어 나감과 동시에 밖으로는 저희 매니아 커뮤니티 플랫폼을 이용하는 커뮤니티들을 지속적으로 늘려가면서 장기적으로는 개발팀을 만들어 더욱 많은 분들이 다양한 분야에서 더욱 좋아진 매니아 커뮤니티 플랫폼을 접하실 수 있도록 하고자 합니다.

 

그 일환으로 향후 몇 개의 제휴 커뮤니티가 순차적으로 여러분들께 소개될 예정입니다. 서버 사고로 리뉴얼 작업을 정말 오래 기다려 주신 세리에매니아가 그 다음 주인공입니다. 모두 매니아를 직접적으로 발전시킬 수 있는 원동력이 되는 중요 과제인 만큼 따가운 시선 보다는 많은 관심과 격려를 부탁드리겠습니다.

 

앞으로도 매니아를 더 쾌적하고 멋진 공간을 만들어 나가는데 있어 최선을 다해 노력하겠습니다.

감사합니다.

41
Comments
2019-04-18 22:53:56

홈지기님은 정말 너무나도 멋진 분이네요. 항상 고생 많으십니다.

2019-04-18 22:54:58
2019-04-18 22:56:03

대단하십니다

2019-04-18 23:00:02

항상 고생많으십니다

2019-04-18 23:12:35

저는 이렇게 완벽한 운영진이 있는 사이트를 달리 모릅니다.

2019-04-18 23:15:47

허 퀘벡 도쿄...
대단하십니다

2019-04-18 23:17:27

respect

2019-04-18 23:22:44

수고많으셨습니다!

2019-04-18 23:31:25

너무너무 멋지십니다!!!

2019-04-18 23:34:42
2019-04-18 23:57:48

감사합니다!!!×10000000

2019-04-19 00:05:43

고생하셨습니다 항상 감사합니다

2019-04-19 01:33:16

 수고 많으셨습니다. 항상 감사합니다.

2019-04-19 01:38:55
2019-04-19 02:01:39

훔지기, 그는 신인가?
그지기, 훔는 신인가?
신지기, 그는 훔인가?


요즘 매니아에서 응원하는 밈으로 감사의 말씀을 전합니다!!

최고십니다.

2019-04-19 06:20:21

늘 믿고 들어옵니다. 대단하고 고맙습니다

2019-04-19 07:21:09

항상 수고하십니다.안그래도 최근에 케이티에대해서 뉴스에 다시 뜨던데 너무 고생하시고 덕분애 항상 들어가는매냐가 잘됩니다

2019-04-19 09:59:50

트리플 센터라니 ...
대단하십니다

2019-04-19 10:01:04

수고 많으셨습니다..ㅜㅜ..

항상 감사합니다!!

힘힘!!

2019-04-19 10:05:15

항상 수고많으시고 감사합니다

2019-04-19 10:58:08
비전문가 아니고 전문가 신거 같은데요
나중에 매니아 프리톡에 서버관리 강좌 부탁드리고 싶네요
 
정말 수고 많이 하셨습니다.
2019-04-19 13:40:20

홈지기님 당신은 도덕책....

2019-04-19 15:50:36

아 소름돋아... 놀랍네요. 

뭔가 엄청난 시스템이 되어가고 있네요.

Updated at 2019-04-19 19:46:37

아무리 추천해도 모자란 느낌이네요.

소중한 이 공간을 더 아끼겠습니다.

감사합니다.

2019-04-19 20:51:13

정말 고생 많으십니다~ 좀 더 좀 더 하시며 넓이와 폭이 커지시는거 같습니다~ 노고에 깊이 감사드립니다.

2019-04-19 22:57:26

수고하셨습니다

2019-04-20 08:06:59

순간순간의 역경을 도약의 발판으로 삼으셨군요
단순히 편하게 매니아를 사용하는 염치없는 회원으로서 감사의 인사를 드립니다!

2019-04-20 11:04:41

감사합니다. 항상 응원합니다.

2019-04-20 13:21:51

감사합니다

2019-04-20 22:10:24

국내 NBA의 가장 훌륭한 데이터 베이스!!!

항상 감사드리고 응원합니다!!

 

 

2019-04-20 22:37:09

감사합니다 정말
복받으실겁니다
2019-04-21 01:34:17

멋집니다.

2019-04-21 02:38:47

2019-04-21 07:56:13
2019-04-21 09:05:46

꿈을 계속 꾸고 또 이루어나가시는 모습이 너무 멋집니다.

2019-04-21 10:38:45

거듭난다는 건 정말 이런 걸 두고 하는 말인 것 같습니다. 멋지십니다  

2019-04-22 18:47:13

따봉!!!

2019-04-23 13:55:38

너무너무 감사드리고 수고하셨습니다!

2019-04-23 17:39:58

상상조차 안되네요. 수고많으셨고, 정말 감사한 마음입니다.

2019-04-30 01:26:46
2019-05-09 20:47:29

NFL 매니아도 볼 수 있는 날이 오겠죠...홈지기님과 여러 운영진에게 늘 감사함을 느낍니다..

  이전 페이지로
  공지사항 리스트
SERVER HEALTH CHECK: OK