Xp
Notice

[긴급 공지] 1차 복구작업이 마무리 되었습니다.

 
258
  98294
Updated at 2019-03-24 16:24:47

안녕하세요, 홈지기입니다.

 


마무리 돼 가는 1차 서버 이전 복구 작업

지난 며칠간 이뤄졌던 긴급 서버 복구 작업이 완료되어 비로소 정상적인 서비스가 가능해졌습니다. 

KT 데이터센터에서 쓰던 7대의 서버가 유독물질을 뿜어내는 서버가 돼 버리는 바람에 모두 쓸 수가 없게 되어 예전에 공지로 소개해 드렸던 저희 매니아 자체 제작 데이터센터에서 구형 서버들과 새 서버 한 대를 포함 총 18대를 다시 설치, 셋팅, 가동 시켜 서비스에는 속도 문제가 거의 없는 상태로 복구가 되었습니다. 이제는 데이터의 보호을 위한 실시간 내부 백업, 정기적 외부 백업 서버들을 추가 설치해 가동하고, 백업을 위한 회선 증설을 조금 더 하면 긴급했던 1차 복구 작업은 완전히 마무리 될 예정입니다.


다만 상당히 연식이 오래된 구형 서버들이 가동되고 있기 때문에 안정성을 확신할 수 없고 서버 증설 및 설정 변경, 튜닝 등의 작업을 하기 위해 서비스 이용에 간헐적으로 장애가 생길 수 있음을 알려드립니다. 꼭 필요한 서비스 중단에 대해서는 사전에 공지를 한 후 새벽에 작업하도록 하겠습니다.

 

 

유실된 데이터 복구 작업 - 실패

서비스 재개를 위한 복구는 마무리 단계에 있지만 그 다음 급선무인 5일간의 게시물 유실을 복구하는 작업은 너무 안타깝게도 불가하다는 판정을 내렸습니다. 재해를 입은 서버들 중 파일 서버는 2대로 파일 서버는 2대로 메인 파일 서버 10개의 디스크 RADI10 구성, 8개의 디스크 RAID50 구성이 되어 있으나 레이드 구성을 복원시도 해 본 결과 안타깝게도 디스크 장애에서 데이터 보호를 철저히 하기 위해 구성했던 총 18개의 디스크레이드 어레이 2개가 엄청난 분진과 고열 문제에서 자유롭지 못해 모두 사용 불능 상태가 되어 데이터 유실이 확정이 된 상태입니다. 이런 사고에 대비해 외부에 보다 더 알차게 백업을 하지 못한 점 너무 죄송스럽게 생각하고 5일간 데이터 소실로 인해 피해를 입으신 모든 분들께 서버 관리 및 데이터 관리 총 책임자로서 사과의 말씀을 드립니다.



구사일생, 그리고 향후 계획

저희가 아현 KT 데이터센터에 입주를 결정하기로 한 것은 불과 몇 달 전입니다. 입주하기 전에 영업사원에게 질문했던 것이 있습니다. 이 데이터센터는 정전, 회선장애, 지진, 화재 등의 안전을 위해 얼마나 준비가 되어 있는가. KT측에서는 이 아현지사가 엄청나게 중요한 위치에 있어서 이 데이터 센터가 문제가 생기면 서울 일대 인터넷이 다 나간다고 그럴 일이 절대 없도록 설계 되어 있으니 걱정할 필요 없다고 자신했습니다. 하지만 저희는 그 건물 자체가 전화국으로 애초에 설계된 점, 그리고 데이터센터의 내부 설비가 제 경험상 그렇게 자신만만하기에는 다소 부족해 보였다는 점에서 KT 측에서 데이터센터 전체가 소실됐을 때를 위해 외부에 백업을 준비하고 있었고 이게 이렇게 빨리 쓰기에 될 줄 몰랐습니다. KT 측의 말만 믿었다면 매니아와 저희 파트너 커뮤니티들의 운명은 KT 화재와 함께 끝이 났을 것입니다. 매니아 커뮤니티 이외에도 모두 10년 넘게 운영하시는 분들께서 커뮤니티와 혼연일체가 되어 힘들게 운영해 온 사이트들인데 그 사이트들이 사라졌을 수도 있다고 생각하니 너무도 아찔합니다.

 

항상 건물 화재는 물론이고 지진, 전쟁 발발의 확률까지 준비해야 한다고 장난스럽게 저희 운영진끼리 얘기를 우스갯소리를 하며 유난스러울진 모르겠지만 매니아는 해외 백업본까지 준비를 하고 있습니다. 물론 전송속도와 비용의 문제로 인해 해외 백업은 실시간일 수가 없어서 전쟁이 났을 때를 위한 최후의 보루입니다. 우리가 이렇게 백업을 준비한다고 IT 업계 종사자들을 만나 이야기를 하면 주변에서 금융회사들도 그렇게 많은 백업을 안하는데 오버한다는 말을 많이 들었는데 그 덕분에 현재 모습이라도 보여드릴 수 있게 됐습니다. 

 

내부 백업만 가지고 있었더라면 현재의 모습이 아니라 완전히 소멸을 할 수 있었음을 생각하면 백업은 3중 4중으로 해도 모자라지 않다는 생각, 그리고 그 시간과 비용까지 앞으로의 운영계획에 포함시켜야 한다는 생각을 이제 확실히 갖고 임하도록 하겠습니다. KT로 부터 보상 이슈가 빠르게 해결 되면 좋겠지만 저희는 KT가 제시하는 보상 계획과 상관 없이 저희가 필요하다고 생각하는 플랜 대로 움직일 생각입니다. 시간도 많이 걸릴 것이고 저희가 원하는 보상안이 아니라면 더욱 더 시간이 걸릴 상황인 데다 보상을 해 준다 해도 과거에 저희가 쓴 '완전하지 않은' 상태를 보상을 해 줄 뿐 저희가 생각하는 '완전한' 상태의 모습을 보상해주진 않을테니까요. 앞으로는 이런 재난시 조금 더 부드럽고 자유롭게 대처할 수 있도록 대책을 강구해서 더 나은 서비스 안정성을 확보할 수 있도록 하겠습니다.  

 

 

감사의 인사

며칠간 정신이 너무 없어 많은 분들의 응원 메세지에 답을 드리지 못했습니다. 

모두 진심으로 감사드립니다. 매니아에 대한 애정이 누구 못지 않게 크신 분들이 계심에, 그리고 그 분들의 숫자가 참 많다는 소식에 허탈함 속에 진행됐던 복구 작업을 하면서 힘이 났고 무한한 감동을 받았습니다. 자체제작 데이터센터를 벗어나 기업이 관리를 대행해 주는 데이터센터로의 이전이 종착지일 줄 알고 준비가 다 되면 여러분께 비하인드 스토리를 알려드리며 함께 축하하고 싶었는데 그걸로는 아직 부족하다는 것을 알게 되었습니다. 더 많은 준비를 하면서 앞으로 진척 상황에 대해 지속적으로 알려드리겠습니다.

 

감사합니다.

72
Comments
66
2018-11-27 13:22:21

글을 읽어보는데 진짜 존경스럽습니다.
뜻밖의 사고에 차분히 대처하는 모습, 안전망을 3중 4중으로 철저하게 준비해두신 모습 등등..

이게 전부 매니아라는 사이트에 대한 엄청난 애정이 없이는 불가능하리라는 것을 알고 있습니다. 덕분에 좋은 플랫폼에서 항상 기분좋게 정보도 얻고 소통도 하며 즐거운 시간 보내고 있습니다. 문자로 얼마나 전해질지 모르겠지만 진심으로 감사드립니다

2018-11-27 13:22:38

ㅠㅠ힘내세요 응원합니다

2018-11-27 13:24:07

수고하셨습니다!!

2018-11-27 13:25:54

고생하셨습니다, 그저 감사할 따름입니다. 

2018-11-27 13:28:44

AWS를 써보시는게..

WR
14
2018-11-27 13:42:37

보통 AWS같은 가상화 서비스는 서버 관리 인력을 고용할 돈을 줄이는데 초점을 두면 메리트가 있습니다만 제가 거의 모든 것을 다 하고 할 수 있는 이런 특수한 상황에서는 비용감축에 대한 메리트가 없고 커뮤니티 같은 월 고정으로 항상 일정한 트래픽이 발생하는 경우 직접 구축하는 것보다 운영 비용이 훨씬 더 비싼 것으로 계산이 되더군요. 폭발적인 트래픽이 간헐적으로 있거나 단기간 테스트용으로 운용할 목적으로는 더 적합하지 않을까 싶습니다. AWS 자체에 대한 러닝커브도 무시못하구요.

 

비용을 떠나 가장 중요할 수도 있는 2가지 부분 - 가상화로는 제가 추구하는 세계최고 수준의 사이트 응답속도, 그리고 서버 인프라를 다루고 배우는 즐거움 - 을 얻을 수가 없어서 아직까지는 생각하고 있지 않습니다.

2018-11-27 13:29:43

언제나 감사드려요

2018-11-27 13:32:47

진짜 진심으로 존경이라는 단어는 이럴 때 쓰는 것 같습니다. 유비무환이라는 말을 그대로 보여주셨네요. 정말 더없이 감사드립니다. 정말정말 사...좋아합니다

2018-11-27 13:36:44

화이팅!!!!!!!!

2
Updated at 2018-11-27 13:38:20

아니 홈지기님 이렇게 완벽한 대비책을 펼치시다니요.. 이래서 매니아를 좋아할 수 밖에 없고 중독이 일어나는겁니닷!

2018-11-27 13:41:13

고생 많으셨습니다! 운영진 과실이 아님에도 대응이 너무 좋으셔서 감동이네요. 응원합니다!!

8
2018-11-27 13:52:14

저런 안전성을 갖추려면 비용이 수반되지 않을 수가 없을텐데

진지하게 모금하면 어떨까 싶네요. 제발 꼭!!! 했으면 좋겠습니다.

 

정말정말정말 고생많으셨습니다. 그리고 아무리 지금까지의 결과물이 중요하다고 해도

위험을 감수하고 재난 현장에 뛰어드는 일이 절대 참아주셨으면 하네요.

2018-11-27 13:55:41

제가 아무 생각없이 편하게 누리는 커뮤니티생활이 홈지기님이하 운영진분들의 노고 덕분이라는 걸 이런 상황에서야 느끼게 되네요. 늘 감사합니다.

3
2018-11-27 14:02:26

 그날 하루 접속이 안되서 트래픽 문제 같은 간단한 헤프닝이라고 생각했는데 사이트의 존폐까지

걸렸었던 엄청난 일이라는걸 지난 글을 통해 알게 되었습니다.

매니아 없는 일상은 정말 생각할수 없을 정도로 생활에 일부가 되어 있습니다.

사이트를 위해 좋은 말, 좋은 생각, 좋은 행동?을 실천하기 위해 노력해주시는 훔지기님 이하 운영진 여러분에게 항상 감사함을 느낍니다.

nba매니아의 진정한 힘은 이러한 훔지님의 운영 마인드 라고 생각합니다. 힘내세요 언제나 응원합니다!

2018-11-27 14:11:35

고생 많으십니다 감사합니다!!!

2018-11-27 14:14:22

감사합니다 힘내세요!!!!

2018-11-27 14:18:33

매니아의 운영방식과 대처방법을 보면서

이곳은 단순한 사이트가 아니라 소통하는 공간이라는 생각이 듭니다.

마치 운영자님이 저와 일대일로 대화하고 있다는 생각이 듭니다.

감사합니다

앞으로도 더욱 많은 응원과 생각으로 이곳을 지켜나가겠습니다!

 

2
2018-11-27 14:27:17

수고많으셨습니다.
항상 받고만 있어 감사하고 죄송하네요.
혹시나 유저분들의 도움이 필요하다면 언제든 말씀해주세요.

2018-11-27 14:29:25

너무나 수고하셨고 너무나 감사합니다

2018-11-27 14:43:55

정말 고생 많으셨고 앞으로도 힘내십시오. 아침에 일어나서 매니아가 안켜지는 절망감은 다시는 겪고싶지 않습니다. 이런 사태가 너무 안타깝고 바쁜 시간 공들여 운영해주시는 것에 항상 감사하고 있습니다. 액땜치곤 너무 큰 액땜이지만 앞으로도 계속 잘 부탁드립니다.

2018-11-27 14:48:32

멋지십니다

우리 모두 앞으로도 쭈욱 매니아와 함께 해요

2018-11-27 14:54:03

20대 초반부터 지금까지 제 삶의 일부인 매니아가 없어질뻔 했다고 생각하니 아찔합니다.

한 번도 상상해보지 않은 상황이거든요.

 

이번 일을 계기로 홈지기님에 대한 고마운 마음, 매니아의 존재에 대한 고마운 마음이 배가 됩니다.

앞으로도 함께 할 수 있게 해주세요.

진심으로 감사의 말씀 전합니다. 고맙습니다. 

2018-11-27 14:54:09

너무 고생 많으십니다.

감사합니다.

2018-11-27 15:00:51

수고하셨습니다. 감사합니다.
해외에 납품하는 풀들은 작아서
DR을 안하는데 데이터만이라도
DR을 해야겠네요.

2018-11-27 15:07:15

항상 감사합니다. 사랑합니다.

2018-11-27 15:12:27

외부 백업을 준비하셨다는 선견지명에 감탄을... 그리고 감사합니다 오늘도 매니아에서 즐겁게 놀다 가요

2018-11-27 15:24:09

정말 수고하셨습니다

 

그런데 정상적인 서비스가 가능하다고 말씀하셔서... 제가 주로 크롬을 이용하는데, 현재 크롭으로 매니아 접속하면 화면이 이상해서 익스플로어 따로 띄워서 매니아 이용하고 있는데요... 이 문제가 혹시 저만 그런건가요...?

WR
1
2018-11-27 15:28:49

저사양 서버가 10대 넘게 분산처리를 하고 있어서 특정 서버가 이상이 있거나 아니면 서버 이전을 하게 되면서 ip가 달라지면서 사용하시는 브라우저 캐시와 충돌이 나서 그럴 수 있습니다. 크롬 설정에서 방문기록 삭제를 한 번 해 보시고 어떻게 나오는지 한 번 봐 주세요. 여전히 이상하면 서버 이상으로 간주하고 문제가 있는 서버를 찾아내 보겠습니다.

2018-11-27 15:37:25

알려주신대로 방문기록 삭제후 다시 접속해 보니까 정상적으로 되는군요. 감사합니다.

다시 한번 수고많으셨습니다

2018-11-27 16:06:53

이런 일이 생기면 커뮤니티의 운영이나 관리가 얼마나 어려운지 새삼 깨닫게 되네요.
너무 마음 쓰지 않으셨음 좋겠네요. 수고 많으십니다.

2018-11-27 16:18:10

 정말 수고하셨습니다.. 운영진님 사랑합니다 ㅠㅠ 

2018-11-27 17:07:38

늘 그랬지만.. 홈지기님께 또다시 감동받았습니다. 열정, 실력, 성실, 겸손.. 진심으로 존경합니다!

2018-11-27 18:03:14

존경합니다.. 글에서 매니아에 대한 애정과 책임감이 묻어나네요. 멋져요

2018-11-27 18:05:09

정말 고생많으셨고, 진심으로 감사드립니다.

2018-11-27 18:05:22

수고하셨습니다 그리고 감사합니다

2018-11-27 18:24:23

정말 감사합니다. 화이팅입니다

2018-11-27 18:25:53

고생하셨습니다 ㅠ 앞으로 남은 문제들도 순조롭게 해결되길 바라겠습니다.

2018-11-27 18:30:53
2018-11-27 19:08:54

글로 읽어도 수고하신 모습이 눈에 선하네요
고생하셨습니다 그리고
늘 감사합니다!

2018-11-27 19:15:32

 고생하셨습니다. 감사합니다. 

2018-11-27 19:37:13

고생하셨고, 감사드립니다. 그리고 존경합니다!

2018-11-27 20:09:49

감사합니다!

1
2018-11-27 20:20:38

수고하셨습니다. 데이터센터 전용 건물이 아닌 이상 피해갈 수 없는 부분이었는데, 사전의 경험과 동물적인 판단, 사후의 빠른 대처가 그나마 피해를 최소화 하고 서비스 정상화를 가능하게 했다 생각됩니다. 너무 수고하셨습니다. 감사합니다.

2018-11-27 20:44:30

힘드셨을텐데.. 정말 고생하셨습니다. 그리고 정말 감사합니다.

2018-11-27 21:09:07

고생이 너무나 많으십니다 진심으로 감사의 말씀을 드립니다 꾸벅

Updated at 2018-11-27 21:14:35

정말정말 존경스럽습니다.모두 어느 정도의 슬픔과 고통을 느꼈겠지만, 홈지기님만 하겠습니까? 평소 유비무환이라는 말 참 좋아하는데, 단순히 영업사원을 말만 믿지 않고 그간의 경험과 지식을 토대로한 통찰력 덕분에 5일이라는 데이터를 잃게 됐지만 매니아는 존속할 수 있었네요.

 

이번 사건이 또한 값진 경험이 되어 매니아가 오래오래 행복했으면 좋겠습니다. 

정말 수고하셨고 감사드립니다.

1
2018-11-27 21:31:22

제가 여기서 처음 몇 년을 가입 없이 눈팅만 했었어요. 딱히 쓸 글도 없고 글 재주도 없고 지식도 없고. 그저 여러분이 올려주는 농구 글들 보는 재미로 다녔었습니다.
그렇게 계속 눈탕을 하던 어느날 홈지기님이 올려주신 글을 보게 되었어요. 내용이 정확하게 기억나진 않는데 이 사이트가 어떻게 운영되는지에 대한 글이었던 걸로 기억합니다. 내용을 보고 너무 감사하고 존경스러워서 감사의 말을 꼭 남겨야겠더라구요. 그래서 그 때 가입했습니다. 제 첫 댓글이 그 때 남긴 감사의 말이었는데 지금도 그 때와 마찮가지로 너무 감사합니다. 사실 늘 감사합니다.

이건 비밀인데요, 저는 종종 제 친구들에게 매니아에 대해 자랑을 합니다. 양질의 글을 올려주는 다수의 똑똑이들이 있고 이들은 논쟁마저도 고급스럽게 한다고. 그리고 그 무엇보다 운영진의 사고가 참 바르다고.

이 사이트에 크고 작은 위기가 여러번 있었지만 잘 이겨냈듯 이번 일 또한 잘 이겨내길 바랍니다. 화이팅.

2018-11-27 22:00:32

진심으로 고개숙여 감사 드립니다.
너무 고생하셨고, 또 감사합니다!!!

2018-11-28 00:03:03

 고생 많으셨습니다!!

2018-11-28 02:15:53

2018-11-28 02:24:57

와 일을 하려면 매냐 운영진분들처럼 해야겠다는 생각이 들 정도네오

2018-11-28 03:05:51

와 전쟁에도 대비가 되어 있는 농구 웹사이트라니요... 리스펙합니다

Updated at 2018-11-28 07:34:30

사이트와 회원분들을 아끼시고 혹시나
있을 가능성을 대비해서 철두철미 하게
대비하시는점 정말 대단하십니다

복구하느라 수고많으셨습니다

2018-11-28 08:41:00

수고하셨습니다 그리고 감사합니다

2018-11-28 09:52:58

즐거운 매니아 생활 이면에 홈지기님과 운영진분들의 노고가 있었다는 건 잘 알고 있었지만 해외 백업까지 하신다는 건 정말 놀랐습니다.

노력과 노고에 감사하다는 말씀 전하고 싶습니다.

2018-11-28 10:55:15

수고많으셨습니다.
감사합니다.

2018-11-28 11:02:20

정말 고생 많으셨어요.
존경하고 응원합니다.

2018-11-28 11:18:39

진심으로 감사합니다! 존경하고 배우고갑니다!

2018-11-28 15:35:14

고생 많으셨습니다!

2018-11-28 16:19:41

너무너무 감사하고 정말 존경합니다!! 매니아에 대한 것도 그렇고 제 개인적 삶에 대해서도 생각해볼수 있네요 항상 응원하겠습니다!!

2018-11-28 20:04:38

쉽지않은 작업이셨는데 고생하셨습니다.

2018-11-28 23:23:42

수고하셨고 언제나 감사드리고 있습니다. 

2018-11-29 00:47:50

정말 항상 감사드립니다

2018-11-29 04:17:47

대단하시다는 감탄과 함께 압도적인 감사 인사도 함께 올립니다.
너무 고생하셨습니다...

2018-11-29 09:04:33

늘 고맙고, 존경스럽습니다. 매니아의 회원인 것이 이렇게 자랑스러울 수가 없습니다.

2018-11-29 14:22:44

 수고많으셨고 감사합니다.

혹여나 금전적으로 막히는 부분이 있으면 공지로 모금을 했으면 합니다.

아주 예전부터 혼자서 힘들게 만들어온 이 공간을 너무 잘 알고

저도 10년 넘게 이 공간에서 같이 추억을 만들어가는 중이라 돕고 싶은 마음이 드네요..

 

아주 예전에 대구에서 있던 모임에 홈지기님도 나오셨던 기억도 스물스물 나네요..ㅎ

 

고생 많으셨습니다...

그리고 앞으로도 잘 부탁드립니다~ ^^

2018-11-29 17:33:08

와 이렇게까지 대비를 해주시다니..

정말 크나큰 감동입니다..

Updated at 2018-11-29 18:47:27

고생 많으셨어요. 항상 감사하고 고마운 마음 갖고 있어요. 잘 부탁드려요.

2018-11-29 20:36:02

"전쟁이 났을 때를 위한"
항상 감사합니다

2018-11-30 20:50:37

고생이 많으십니다. 항상 응원하겠습니다.

2018-12-02 08:36:17

 크 성공한 덕후 갓지기님 사랑합니다

 

2018-12-02 16:55:03

무슨 말이 길게 필요하겠습니까..
끝나진 않았지만 정말 고생많으셨고, 감사합니다!

  이전 페이지로
  공지사항 리스트
SERVER HEALTH CHECK: OK