음. 면접 보면서 까칠?하게 굴었던건지..
인터뷰에 대한 결과로 ....
"한 동안 같이 일해보고 결정해요.."
라는 대답이 왔다 -_-;

하하,
내가 좀 까칠하기는 하지만서도 ㅡ.ㅡ

함께 일해본 사람들에게 물어야할 일이지만,
나름 나 스스로의 생각으로는
'같이 일을 해보고도 나를 마다할 리가 있냐!'
라는
광오?한 생각에,
또, 집에서 뒹굴거리기보다 일하는게 나은 듯 하기도 하고,
또, 왠지 애매한 상태로 그만두기도 맘에 안들고 하여.

그러기로 함.

어찌되건,
남들 다 해보는 건 아닌
이상한 경험?
신기한 경험?
을 하게 되다 ㅡ.ㅡ/

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

생각보다 자주 맞이하게 되는 간단한 문제.
random shuffling.

많이 알려진바와 같이, 간단한 구현이지만 작지않은 함정이 존재한다.
-얼마전까진, 간과해왔던...-

1,2,...,n 의 sequence를 random shuffle 한다는 것은,
결과의 sequence a1,a2,...,an의 각 위치에 대한 확률이 모두 1/n으로 결정되는 것.

아무생각없이 아래와 같은 코드를 작성하곤 했는데...

for(int i=0;i<n;i++)
    swap(a[i],a[random(n)]);

...
이녀석은, 1/n의 확률을 유지해주지 못한다......쩝.

for(int i=0;i<n;i++)
     swap(a[i],a[random(n-i)]);

이녀석은, 1/n의 확률이 유지된다...
-간단한 문제니 pass..모른다면, 확률 공부를 하시길...

요는,
아무리 간단한 문제라도 문제의 요구사항을 명확히 하고 그것을 만족하는 결과를
만들어내고 있는가를 검증하는 것을 소홀히해서는 안된다는 것.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

대량의 자료를 다루게 되면서,

점점 봐줄수 없을 정도의 속도가 나오기 시작.

워낙에, 믿음을 주지 않던 hadoop이라, 일단 hadoop의 문제야! 라고 생각하고,

DFS가 아닌 local file로 output을 변경해보다.

여전히...못봐줄정도.

이제 다른 부분을 고민해보기 시작하다.

곰곰히 코드를 살피다보니...

아뿔싸...

말만 List이지...구현은 vector인 ArrayList에다 insert를 마구 하고 있었다....OTL

난 list라고 생각했어...라고 할 수만도 없는게...

random access를 이용해 binary search를 하고 있었다.....에고.

뭐, List interface에 왜 random access가 있으며, reference를 이용한 constant time의 insert가

없는거야! 말도안돼! 라면서..투덜대기는 했지만.

충분히 조심스럽게 살펴보지 못한 나의 불찰...

쩝. complie 되고, 잘 돌아간다고 다 제대로된 코드가 아니란걸, 다시 한번 배우다..

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

도대체, hadoop collect 에서는 무슨 일이?

hadoop을 사용하면서 다양한 문제에 부딛히게 되었지만, 그 중에서도 가장 빈번히 당혹스럽게 하는

것은, collect과정에서의 에러들.

같이 일하는 shurain군은, 그런 에러들을 보면서 한마디 하곤한다.

"대체, 이럴때 제가 할 수 있는 일이 뭐가 있죠?"

코드 상의 버그도 아니고, 설정상의 오류도 아니고, 그저, 파일에 써보렴! 이라고 했는데

다양한 에러들을 뱉어내며 죽어버리는 task들을 볼땐, 나도 저 말이 떠오르곤 한다....

map 과정에서의 collect와 reduce 과정에서의 collect는 약간 다른 동작을 가지고 있지만,

공통적으로 들어가는 것은,

1. memory byte buffer로 collect된 객체들을 쓴다.

2. 납득할 수 없는 아주 저렴한? 알고리즘으로 계산된 buffer overflow계산을 통해,

    buffer가 꽉 차면 flush 한다...

stream이라면, 누가 하더라도 당연히 갖고 있는 두 가지 과정인데..

희한하게도 hadoop은 저 과정들을 제대로 수행하지 못하는 경우가 태반이다.

좀 더 세세히 살펴보아야 하겠지만,-전혀 그러고 싶은 욕구는 생기지 않는다- 예상되는 바로는

1.저렴한, 아주 저렴한...누구도 납득할 수 없는 buffer overflow계산 알고리즘..의 문제.

   황당하게도, stream인 주제에, out of memory를 내며 뻗는 경우도 있으니..할말 다했지..

2.flush를 하는 과정에서 buffer를 나눠 쓰는 알고리즘의 문제.(이건 안열어봤다.)

3.collect과정에서 즉, mapreduce package쪽 buffer를 1차로 거치고, dfs쪽에서 다시 stream을

  사용하면서 buffer를 거치는데, 역시나 1과 연관된 이유로 인한 이중으로 사용되는 buffer를

  제대로 처리하지 못하는 문제...

등이 머리속에 떠오른다.

뭐, 코드야 어찌되었던, hadoop을 고쳐주고 싶은 마음은 이제 생기지 않기 때문에,

대충의 해결책을 찾았는데...

collect를 호출하지 않고, output format으로부터 직접 writer를 가져와 write를 통해 쓰거나,

이것도 미심쩍은 경우에는, 직접 output format을 작성하는 것이다.

아마도, hadoop내의 mapreduce 쪽 코드보다는 dfs쪽이 좀더 안정화되어 있는듯,

collect를 통하지 않은 write만으로도 대부분의 에러상황을 피해갈 수 있다.

덧붙이기 : 여기 써놔봐야..읽을 수 있겠냐마는, 아무리 오픈소스라지만, 제발 니 머리속에서만

              검증된 코드들을 작성해서 commit 하지 말란말이다...

--------------------------------------------------------------------------------------
여기저기 확인해본 결과, hadoop 의 buffer 사용 쪽의 code들이 전체적으로 불만족 스러운듯.
buffer size에 대한 soft limit을 적용한 결과..
필수적으로 필요한 memory를 확보하지 못한채 flush 를 시작한다던가, 아예 flush도 못하고
그냥 죽어버린다던가.....
이에 대해...답변은...쩝.
좋은 컴퓨터에 메모리 많이 잡고...돌려라..정도라니 =_=;
stream에서 out of memory 뜨는 걸 확인하는 순간...심각하게 고민을 해봤어야했다고.
이제와서 조금 후회중.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

이번에 회사에서 데모용으로 그 동안 필요하다고 느끼면서도 계속 미뤄왔던, chunk-단일 site내의 동류page의 묶음- viewer를 만들었다.

시간관계상, node를 random으로 배치해서 좀 보기 어렵긴 하지만, 대략적인 파악은 가능.

tistory내의 sample set에 대한 page view이다.

link의 바다…라고 말은 많이 들었지만, 이렇게 해놓으니 정말 link로 꽉 차있다는 것이 실감난다.

chunk view.

-보기 좋게 손으로 정리했다….쩝…

tistory의 구조가 깨끗해서 일까?

거의 개인 블로그 단위로 chunk가 분리됨을 보여주었다.

주목할만한 것은, tistory.com 과 www.tistory.com이 함께 chunk로 묶인다는 것.

처음 알고리즘을 고안할 때, hostname이나 url 구조를 이용해서 site내의 page를 분류하는 것과 다를 것이 있냐는 말이 있었는데, url과 관계없이 동류로 볼 수 있는 page들을 함께 묶어낼 수 있음을 보여준다.

앞으로 parameter 조정 및 세부개선이 끝없이 남아있지만, 첫 test view에서 기대하는 방향으로 결과가 나와주어 조금 힘이 난다.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

얼렁뚱땅 waityet.net 을 획득.

D군의 옆구리 찌르기에 정신이 몽롱한 상태에서 반응해 버리고 말았다.

내 것이 하나 늘면,

그만큼 신경써야 할 것이 늘어나는 것을...ㅠ.ㅠ

여튼,

waityet.net 획득.

-사실...뭐 아무도 관심없는 도메인이라 딱히 이벤트성이 있지도 않지만...-

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.