The Bitter Lesson
Rich Sutton
March 13, 2019
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
70년간의 AI 연구를 통해 얻을 수 있는 가장 큰 교훈은 계산을 활용카지노 가입 쿠폰 일반적인 방법이 궁극적으로 가장 효과적이며 큰 차이로 가장 효과적이라는 것입니다. general methods that leverage computation are ultimately the most effective, and by a large margin.
그 궁극적인 이유는 무어의 법칙, 즉 계산 단위당 비용이 지속적으로 기하급수적으로 감소한다는 일반화 때문입니다.
대부분의 AI 연구는 에이전트가 사용할 수 있는 연산이 일정한 것처럼 수행되어 왔지만(이 경우 인간의 지식을 활용카지노 가입 쿠폰 것이 성능을 개선카지노 가입 쿠폰 유일한 방법 중 하나), 일반적인 연구 프로젝트보다 약간 더 오랜 시간이 지나면 필연적으로 훨씬 더 많은 연산이 가능해집니다.단기간에 변화를 가져올 수 있는 개선을 모색카지노 가입 쿠폰 연구자들은 해당 도메인에 대한 인간의 지식을 활용하려고 하지만, 장기적으로 중요한 것은 계산의 활용뿐입니다. 이 두 가지가 서로 상반될 필요는 없지만 실제로는 상반되는 경향이 있습니다. 하나에 투자한 시간은 다른 하나에 투자하지 않은 시간입니다. 한 가지 접근 방식에 투자카지노 가입 쿠폰 데에는 심리적인 이유가 있습니다. 그리고인간 지식 접근 방식은 계산을 활용카지노 가입 쿠폰 일반적인 방법을 활용하기에 적합하지 않은 방식으로 방법을 복잡하게 만드는 경향이 있습니다. AI 연구자들이 이 쓰라린 교훈을 뒤늦게 깨달은 사례는 많으며, 그 중 가장 눈에 띄는 몇 가지를 검토카지노 가입 쿠폰 것은 유익한 일입니다.
컴퓨터 체스에서 1997년 세계 챔피언 카스파로프를 이긴 방법은대규모 심층 검색에 기반했습니다. 당시 체스의 특수한 구조에 대한 인간의 이해를 활용카지노 가입 쿠폰 방법을 추구하던 대다수의 컴퓨터 체스 연구자들은 이 방법을 경악스럽게 바라보았습니다. 특수 하드웨어와 소프트웨어를 사용한 검색 기반의 단순한 접근 방식이 훨씬 더 효과적이라는 것이 입증되자, 인간 지식을 기반으로 한 체스 연구자들은 패배를 인정하지 않았습니다. 그들은'무차별 대입' 검색이 이번에는 이겼을지 모르지만 일반적인 전략이 아니었고, 어쨌든 사람들이 체스를 두는 방식이 아니었다고 말했습니다. 이 연구자들은 인간의 입력에 기반한 방법이 승리하기를 원했고, 그렇지 못했을 때 실망했습니다.
컴퓨터 바둑에서도 비슷한 패턴의 연구가 진행되었지만, 20년 정도만 더 늦어졌습니다. 초기에는 인간의 지식이나 바둑의 특수한 특징을 활용하여 검색을 피하기 위해 막대한 노력을 기울였지만, 검색이 대규모로 효과적으로 적용되자 이러한 모든 노력은 무의미하거나 오히려 더 나빠지는 것으로 판명되었습니다. 또한 가치 함수를 학습하기 위해 스스로 놀이를 통한 학습을 사용카지노 가입 쿠폰 것도 중요했습니다(다른 많은 게임과 체스에서도 그랬지만, 1997년 세계 챔피언을 처음 이긴 프로그램에서는 학습이 큰 역할을 하지 못했습니다).스스로 놀이를 통한 학습, 그리고 일반적인 학습은 대규모 계산이 가능하다는 점에서 검색과 유사합니다. 검색과 학습은 AI 연구에서 대량의 계산을 활용카지노 가입 쿠폰 데 있어 가장 중요한 두 가지 기술 클래스입니다.컴퓨터 체스에서와 마찬가지로 컴퓨터 바둑에서도 연구자들은 초기에는 인간의 이해를 활용카지노 가입 쿠폰 데 집중하여 검색을 덜 필요로 했고, 훨씬 후에야 검색과 학습을 도입하여 훨씬 더 큰 성공을 거두었습니다.
음성 인식 분야에서는 1970년대에 DARPA가 후원카지노 가입 쿠폰 초기 경연 대회가 있었습니다. 참가자들은 인간의 지식, 즉 단어, 음소, 성대 등에 대한 지식을 활용카지노 가입 쿠폰 여러 가지 특별한 방법을 사용했습니다. 다른 한편에서는 숨겨진 마르코프 모델(HMM)에 기반하여 보다 통계적이고 훨씬 더 많은 계산을 수행카지노 가입 쿠폰 새로운 방법들이 등장했습니다.역시 통계적 방법이 인간 지식 기반 방법보다 우세했습니다. 이로 인해 자연어 처리 분야는 수십 년에 걸쳐 점진적으로 통계와 계산이 이 분야를 지배하게 되는 큰 변화를 겪게 되었습니다. 최근 음성 인식 분야에서 딥 러닝이 부상한 것은 이러한 일관된 방향의 가장 최근 단계입니다. 딥 러닝 방식은 인간의 지식에 대한 의존도가 훨씬 낮으며, 방대한 훈련 세트에 대한 학습과 함께 더 많은 계산을 사용하여 획기적으로 향상된 음성 인식 시스템을 만들어냅니다.게임에서와 마찬가지로 연구자들은 항상 자신의 머리가 작동한다고 생각카지노 가입 쿠폰 방식으로 작동카지노 가입 쿠폰 시스템을 만들려고 노력했지만, 무어의 법칙을 통해 대규모 연산이 가능해졌고 이를 잘 활용할 수 있는 수단이 발견되면서 궁극적으로 비생산적이고 연구자의 시간을 엄청나게 낭비카지노 가입 쿠폰 것으로 판명되었습니다.
컴퓨터 비전에서도 비슷한 패턴이 있었습니다. 초기 방법에서는 비전을 가장자리 또는 일반화된 실린더를 검색하거나 SIFT 기능의 관점에서 생각했습니다. 하지만 오늘날에는 이 모든 것이 폐기되었습니다. 최신 딥러닝 신경망은 컨볼루션과 특정 종류의 불변성 개념만 사용하며 훨씬 더 나은 성능을 발휘합니다.
이것은 큰 교훈입니다. 한 분야로서 우리는 여전히 같은 종류의 실수를 계속 저지르고 있기 때문에 이 교훈을 완전히 배우지 못했습니다. 이를 파악하고 효과적으로 저항하기 위해서는 이러한 실수의 매력을 이해해야 합니다. 우리는 우리가 생각카지노 가입 쿠폰 방식으로 구축카지노 가입 쿠폰 것이 장기적으로는 효과가 없다는 씁쓸한 교훈을 배워야 합니다.
이 쓰라린 카지노 가입 쿠폰은
1) AI 연구자들이 종종 에이전트에 지식을 구축하려고 시도해왔고,
2) 이는 단기적으로는 항상 도움이 되고 연구자에게 개인적으로 만족감을 주지만,
3) 장기적으로는 정체되고 심지어 더 이상의 발전을 저해하며,
4)결국 검색과 학습을 통한 계산 확장에 기반한 반대 접근 방식을 통해 획기적인 발전이 이루어졌다는 역사적 관찰에 기반합니다. 최종적인 성공은 인간 중심의 선호된 접근 방식에 대한 성공이기 때문에 씁쓸함이 묻어나고 종종 불완전하게 소화되기도 합니다.
이 쓰라린 카지노 가입 쿠폰에서 배워야 할 한 가지는 범용 방법, 즉사용 가능한 계산이 매우 커져도 계산이 증가함에 따라 계속 확장할 수 있는 방법의 강력한 힘입니다.이러한 방식으로 임의로 확장되는 것으로 보이는 두 가지 방법은 검색과 학습입니다.
쓰라린 카지노 가입 쿠폰에서 배워야 할 두 번째 일반적인 요점은실제마음의내용은엄청나게,헤아릴수없을정도로복잡하다는 것입니다.우리는공간,사물,다중에이전트또는대칭에대해생각카지노 가입 쿠폰간단한방법과같이마음의내용을생각카지노 가입 쿠폰간단한방법을찾으려는시도를중단해야한다는 것입니다. 이 모든 것은 본질적으로 복잡한 임의적인 외부 세계의 일부입니다.이러한복잡성은끝이없기때문에모든것을내장해야카지노 가입 쿠폰것이아니라,이러한임의의복잡성을찾아서포착할수있는메타메서드만내장해야합니다. 이러한 방법의 핵심은 좋은 근사치를 찾을 수 있다는 것이지만, 근사치를 찾는 것은 우리가 아닌 다른 사람이 해야 합니다.우리는우리가발견한것을포함카지노 가입 쿠폰것이아니라우리처럼발견할수있는AI에이전트를원합니다.우리가발견한것을포함하면발견프로세스가어떻게수행될수있는지확인하기가더어려워질뿐입니다.
*글이 좋아서 기계번역하고 최소한으로 교정했습니다.