아 또 카지노 게임 추천졌네..
학회 네 번째 Reject
최근에 CVPR이라는 학회의 카지노 게임 추천 결과가 나왔다.
성적은?
Borderline(3), Borderline(3), Weak Reject(2), Weak Reject(2)
총 네 명의 카지노 게임 추천어가 코멘트를 달면서 점수를 매기는데, 안정권에 들려면 모두가 적어도 Weak Accept 이상을 주어야 한다. 물론 카지노 게임 추천어가 제대로 이해를 못 했거나, 최종 결정권자가 봤을 때 의미가 있는 논문이라고 하면 낮은 점수여도 Accept 되는 경우가 있기는 한데, 그런 경우는 많지 않다.
가장 투명하게 점수에 따른 Accept 비율 분포를 볼 수 있는 건 ICLR 학회를 보면 된다. 보통 학회들은 Accept이 되기 전까지 어떠한 카지노 게임 추천를 받고 어떠한 점수를 받았는지 공개가 되지 않는데, (Accept이 돼서도 공개가 되지 않는 학회가 대부분이긴 하다.) ICLR은 처음부터 모든 과정이 공개된다.
https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/학회별로 점수 범위가 달라서 좀 애매하긴 하지만 위에서 말했듯이 평균적으로 Borderline 이상이 되어야 합격될 확률이 높다.
ICLR의 경우 다음과 같은 점수 범위가 있다.
1 - strong reject
3 - reject not good
5 - borderline reject
6 - borderline accept
8 - accept good paper
10 - strong accept
이때 여러 명의 리뷰어의 점수를 합쳐서 해당 점수를 기준으로 봤을 때 평균 5.5가 나오면 중립이라고 볼 수 있고, 그 이상이 나와야 긍정적이라고 보는데. 위의 분포표를 보면 5.5 정도를 맞았을 경우 카지노 게임 추천질 확률이 더 높다.
물론 학회의 수준과 인기도에 따라서 낮은 점수여도 붙는 경우도 있기는 한데, 아무래도 컴퓨터과학 또는 인공지능 분야의 연구자들은 흔히들 말하는 4대 학회(ICLR, ICML, CVPR, NeurIPS)를 목표로 하고, 이 학회들은 거의 위의 분포에 맞게 당락이 결정되는 것 같다.(더 많은,분야에 따른 탑티어 학회 리스트는 이곳에서 보면 될 것 같다.)
그럼 지금까지 나의 성적은 어땠는가?
지금 한 논문이 계속 카지노 게임 추천지고 있는데, 최초의 제출은 2023년 ICCV일 때였다.
ICCV 2023: Weak Reject / Borderline / Weak Reject
이 당시 카지노 게임 추천들은 납득이 됐다. 실험 부족, 수학 부족, 글쓰기 부족등등
그리고 해당 카지노 게임 추천를 보강해서 2024년 ICML에 냈다.
ICML 2024: Weak Accept / Borderlie Accept / Borderline Reject /Borderline Reject
평균을 내면 중간 보다 조금 더 높아서 희망을 가졌지만. 최종 결정을 하는 과정에서 그냥 영혼 없는 코멘트와 함께 리젝을 당했다.
이때는 약간 우리가 Writing을 잘못해서 납득을 못 시켰나 싶어서 흔히들 말하는 Framing을 다르게 해서 다시 NeurIps 2024에 제출했다.
Neurips 2024: Reject / Reject / Reject / Borderline Accept
이때 너무 안 좋은 점수를 받고, 뭔가 이게 말장난으로는 극복할 수 없는 벽이 있다는 걸 깨달았다. 그래서 한동안 해당 논문을 접고, 다시 바닥부터 공부하자는 심정으로 내 분야 연구를 바닥부터 다시 하는 기간을 가졌다.
그리고 처음에 말했던 CVPR
CVPR 2025: Borderline / Borderline / Weak Reject / Weak Reject
이번 논문은 정말 지금까지 썼던 논문중에 가장 잘 썼고, 제안하는 방법론의 성능도 기존 것들을 압도했는데 좋지 않은 점수를 받았다.
카지노 게임 추천어들은 뭐라고 했는가?
크게 두 가지다.
Lack of novelty
사실 이 리뷰를 받으면 뭐 할 수 있는 게 없다. 말 그대로 뭔가 참신함이 부족하다는 건데, 그냥 맘에 안 들었다는 뜻이다. 뭔가 아무리 우리가 새로운 거라고 해도, "이거 그냥 A+B인데?"라고 까는 경우도 많다. 이 부분을 누구는 글을 어떻게 쓰고 프레이밍을 어떻게 하느냐에 따라 달라질 수 있다고도 하긴 하던데, 사실 리뷰어가 완전히 잘못 이해한 게 아닌 이상 말장난으로 극복을 하기는 어렵다. 리뷰어들 또한 날카로운 연구자들이고 본인들도 뭐가 말장난인지 알기 때문에 쉽게 넘어가지 않는다.
Lack of experiment
실험 부족이라는데, 이 부분은 조금 열받았었는데, 이번에는 실험을 정말 많이 했다.
2023년부터 계속 reject 당하면서 실험을 보강했다.
최초 논문은 CIFAR-10 데이터만 써서 뭐라고 해서, 그다음에는 CIFAR-100을 썼고, 그랬더니 CIFAR 시리즈만 썼다고 뭐라고 해서 MedMNIST라는 데이터도 썼는데, 이번에는 왜 TinyImageNet은 실험을 안 했냐고 뭐라고 하더라..
이때 드는 생각은, 그러면 TinyImageNet까지 했으면 붙여줬을 건가..? 그때는 그냥 ImageNet 왜 안 했냐고 하는 거 아니야라는 생각이 들었다. TinyImageNet 실험 안 한 애들도 잘 붙더구먼...
그리고 왜 A 연구는 실험에 비교 알고리즘으로 넣지 않았냐는 카지노 게임 추천도 있던데, 해당 연구의 저자가 아닌가 싶다.
이게 모든 알고리즘들을 다 실험을 해야 하는 게 맞나 고민인 게, 일단 공식적으로 오픈된 코드가 없는 경우도 많아서, 직접 논문을 보고 구현을 해야 하는데, 내 실력부족 + 불친절한 설명 때문에 가끔 구현을 하기가 어려운 경우도 많다.
그리고 무엇보다도 다들 본인들의 알고리즘들이 SOTA(state-of-the-art), 현재 최고 수준의 결과, 라고들 하는데, 막상 돌려보면 아닌 경우가 많고, 본인들이 구성한 실험 환경에서만 성능이 잘 나오거나, 잘 나온 결과만 체리피킹 하듯이 올려놓는 경우가 많다. 이건 나도 마찬가지다. 그래서 내가 생각했을 때 이 부분에 대한 지적은 이미 카지노 게임 추천어들의 마음속에서는 점수가 결정되었는데, 그 점수에 대한 합당한 명분을 위해서 지적을 했던 포인트라고 생각을 한다.
나보다 실험 덜한 애들도 잘 붙더구먼...
분노의 5단계
1. 부정
일단 카지노 게임 추천를 확인한 당일에는 상당히 덤덤하게 열받았다. 이제 익숙해져서 처음에는 별로 감정이 요동치지 않았나 생각했다. 그리고 다음날 일어났는데, 점점 열받았다.
2. 분노
"이 카지노 게임 추천대로라면 나도 지금까지 accept 된 논문들 그대로 깔 수 있다."
"마치 실험하나 더했으면 붙여줄 것처럼 말하네"
"언제는 이론적 분석이 부족하다고 하더니, 이번에는 불필요한 이론적 분석을 빼라고 하네, 누구 장단에 맞추라는 건지"
그리고 학교에서 내가 자주 불평을 하는 교수님한테 가서 또 불평을 했다.
- 연구란 무엇인가...
- 이 학회 카지노 게임 추천 시스템이 잘못됐다. 무슨 내가 석사생들 과제 채점하는 것 같은 카지노 게임 추천를 주냐
- 박사 과정은 학습의 기간이라고 하는데, 결국에 졸업할 때쯤에는 실적으로 평가받는 거 아니냐!?
등등 혼자 또 푸념을 늘어놓았다.
3. 협상
그리고 또 하루가 지났다. 이게 나는 학회랑 안 맞는 것 같아. 저널로 돌려야겠어. 저널은 그래도 좀 더 건설적인 피드백을 주면서 두 번째 기회를 주자나? 그렇게 다시 공저자들과 으쌰으쌰 자위를 하기 시작했다.
4. 우울
그리고 퇴근하는 길에 이 연구라는 게 의미가 있는 직업활동인지, 나는 전기 쓰면서 탄소배출하는 거 말고 뭐 세상에 기여하는 게 있는지와 같은 생각을 하기 시작했다. 벌써 박사를 시작한 지 2년이 지났는데, 이거 그냥 패션박사로 졸업하게 되는 건가?
5. 수용
그리고 마지막으로 현실을 인정하고 카지노 게임 추천어들의 피드백들을 반영하기 위한 실험을 시작했다.
"그래 학회의 당락은 둘째 치고, 어쨌든 논문의 완성도를 더욱 높이는 건 중요하니까 이 기회에 더 해보자!"
그냥 그 분노의 5단계를 지난 며칠간 빠르게 거쳐갔다.
그리고 이제 마음이 진정이 된 상태에서 나의 패착을 분석하기 시작했다.
뭐 다양한 디테일한 요소들이 있겠지만, 가장 큰 문제는 내가 생각하는 기준 보다 더 하지 않았던 게 문제였던 것 같다.
예를 들어 작년에 합격한 어떤 논문의 양적 질적 수준이 알파였다면, 나는 알파+1 정도만 하면 붙을 거라고 생각했다. 그런데, 알파+5 정도를 했었어야 했던 것 같다.
그리고 과학의 발전의 관점에서 봤을 때 이게 맞는 것 같다. 계속 기존에 있는 정도의 연구를 한다면 어떻게 발전을 할 수 있겠는가. 점점 기존의 바를 더 올려야지.
그리고 카지노 게임 추천어들 좀 그만 미워하자.. 돈 안 받고 시간 내서 읽어주고 피드백도 주는데.. 오히려 고마워해야지..
Cover Image: Photo bySteve JohnsononUnsplash
