프롬프트 엔지니어링은 사기일까?
이전글에서 LLM에 대해서 다뤘습니다. 최근 LLM이 대두되면서 이야기되는 기술 중 하는 프롬프트 엔지니어링입니다. 이게 대체 뭘까요?
프롬프트 엔지니어링(prompt engineering)이란 대규모 언어 모델(LLM, Large Language Model)이 특정 질의에 대해 원하는 방식으로 응답할 수 있도록 입력 문장을 전략적으로 설계하는 과정입니다.
사실 이러한 기법은 언어 모델이 입력된 문장의 맥락(context)과 조건(prompt)을 어떻게 해석하며, 그에 따라 어떤 출력을 생성하는지에 대한 심층적인 이해를 바탕으로 한 일종의 활용론에 가깝습니다.
우선 대규모 언어 모델은 사전 훈련(pretraining)과 미세 조정(fine-tuning) 과정을 통해 방대한 양의 데이터를 학습하며, 다양한 형태의 텍스트를 생성할 수 있는 능력을 갖추고 있지만 이러한 모델의 성능을 100% 이끌어 내는 것은 또 다른 문제입니다.
결국 프롬프트 엔지니어링은 이러한 모델의 성능을 극대화하기 위한 핵심 기법이라 이해하시면 되겠네요
대규모 언어 모델의 부상 배경과 카지노 쿠폰 엔지 니어링
이전글에도 설명했듯 대규모 언어 모델은 딥러닝의 발전과 함께 자연어 처리(NLP) 분야에서 혁신을 이끌고 있습니다.2018년, 트랜스포머(Transformer) 구조를 기반으로 한 BERT(Bidirectional Encoder Representations from Transformers)가 등장하면서 언어 모델의 성능이 비약적으로 향상되었고,
이후 GPT(Generative Pre-trained Transformer) 시리즈와 같은 거대 모델들이 등장하며, 언어 모델의 규모는 수억에서 수천억 개의 파라미터로 확장되었습니다. 설명드렸었죠?
이러한 모델들은 단순한 텍스트 분류나 감정 분석을 넘어 창의적인 글쓰기, 언어 번역, 코딩 보조 등 다양한 작업을 수행할 수 있게 되었습니다. 다만 LLM의 활용이 확대됨에 따라, 모델의 출력을 제어하고 정확성을 높이는 방법에 대한 요구가 증가했습니다.
실제로 활용자들 사이에서 할루시네이션, 명령오류, 충돌등의 문제가 많이 나타나 기존의 규칙 기반 또는 데이터 중심 접근법은 한계가 있었고, 이를 극복하기 위해 카지노 쿠폰 설계라는 새로운 접근법이 주목받았다 이해하시면 됩니다.
전통적인 NLP 접근법과 카지노 쿠폰 설계의 차이
실제로 전통적인 NLP 접근법은 대개 모델의 훈련 데이터를 정제하고 레이블을 추가하며, 특정 작업에 맞는 모델을 설계하는 데 초점을 맞추었습니다.
반면, 프롬프트 엔지니어링은 모델의 사전 학습된 능력을 활용하여 추가적인 데이터나 복잡한 재훈련 과정 없이 다양한 작업을 수행하는 것이 목적이죠, 이 접근법은 특히 gpt 같은 대규모 언어 모델에서 강력한 성능을 발휘하고 실제로 꽤나 유의미한 차이가 발생합니다. 실사용자들이 해보면 꽤나 큰 체감을 할 정도로요
굳이 따져보자면 아래와 같은 종류의 엔지니어링을 하고 또 JSON데이터 포맷을 활용해 작성하시는 분들도 여럿 있습니다. 실제로는 이 정도로 구분하더군요
Zero-shot Learning: 사전 학습 데이터 외의 추가 정보 없이 새로운 작업을 수행하도록 설계된 카지노 쿠폰
Few-shot Learning:예시를 포함하여 모델이 맥락을 학습하고 더 나은 출력을 생성하도록 돕는 방식.
Chain-of-Thought: 문제를 단계적으로 풀어나갈 수 있도록 논리적인 사고 과정을 유도하는 카지노 쿠폰.
Instruction Tuning: 모델이 사용자 지침을 보다 잘 따를 수 있도록 카지노 쿠폰를 최적화하는 방법.
그렇다면 드는 의문은 이런 기법들은실제로 얼마나 차이가 날까요?
관련해서 유명한 논문이 2개 있습니다 하나는 실제 프롬프트 엔지니어링을 분석한 구글 논문으로 자료를 확인해 보면 품질 향상(Boosting)을 적용한 GPT-4를 포함한 대규모 언어 모델에서 프롬프트 설계 원칙을 적용한 결과, 출력 품질이 평균적으로 57.7% 향상되었습니다.
같은 내용을 찾아볼 수 있죠
출처-Principled Instructions Are All You Need forQuestioning LLaMA-1/2, GPT-3.5/4실제로 제가 지금 작성하고 있는 이글도 Logic-Chain-of-Thought라는 기법을 활용해서 작성하고 있으니 한번 두 개를 비교해 볼까요?
프롬프트 엔지니어링은 사기인가? 에 대한 글을 길고 자세하게 전문적으로 써줘라는 프롬프트로 글을 작성해 보죠
개인적으로 맘에 들진 않고 너무나 피상적인 대답을 나오는 걸 확인하실 수 있을 겁니다 그렇다면 한번 엔지 니어링을 적용해 볼까요? 저도 전문적인 기법 같은 건 잘 모릅니다 다만 과정을 한 단계 추가하는 것뿐이죠
먼저 제가 주로 사용하는 LogiCoT 알고리즘을 기반으로 카지노 쿠폰 작성을 명령합니다.
그리고 이런 답변을 받은 후체계적으로 를 짜서 카지노 쿠폰 제 취향대로 수정하는 것이죠
결국 나온 게 위에 글과 아랫글의 초록이니 프롬프트엔지니어링은 꽤나 유의미한 차이가 난다 적어도 저는 그렇게 생각합니다.다만 이렇게 해도 가끔의 오류나 피상적인 대답을 피할 수 없기에 계속해서 캔버스 기능을 가지고 수정해 나가는 것이지요
다만 프롬프트엔지니어가 유망한가 에는 여러 비판들도 존재합니다.
실제로 인터넷 보급 초기 검색 전문가는 일종의 유망직종으로 꼽혔지만 지금은 다 죽지 않았냐 라는 주장이죠 뭐 개인적으론 틀린 말은 아니라고 생각합니다. GPT를 1년 넘게 사용하면서 발전속도를 몸으로 체감하고 있는 입장에서는 충분히 대체될 가능성이 높은 직종으로 보고 있긴 하거든요, 다만 몇몇 가지 틀린 비판들도 존재하기에 일단 이거에 대해서 이야기해 보죠
우선 여러 이야기들 중 "프롬프트 엔지니어링은 필요 없다"라는 주장에 대한 이야기입니다.
솔직히 이건 아니다,라고 생각합니다.엑셀에 만 놓고 봐도 숙련자와 비숙련자는 유의미한 차이를 내는데 그보다 고등화된 도구인 AI라고 안 그럴까요 하지만 질문을 바꿔프롬프트 엔지니어가 유망직종이냐 물어보면 저는 아니라고 생각합니다. 사실 프롬프트 엔지니어의 탈을 쓴 개발자들은 살아남겠지만 단순히 프롬프트 전문가 만으로 살아남기는 힘들 겁니다.
다른 주장을 보실까요? "비용 효율성과 범용성이 없다" 즉 특정 모델만을 할 수 있다는 것인데 이는 반은 맞고 반은 틀립니다.
어떤 구조로 질문하냐는 확실히 특정모델마다 어느 정도 정해져 있습니다, 제가 퍼플랙시티를 자주 이용하지만 이건 어디까지나 동향이나 빠른 검색을 위한 거고 제대로 된 작업은,제미나이 2.0과 gpt4.0를 활용하지만 실제로 퍼플랙시티에서는 위작업이 불가능하죠.
실제로 두 모델의 경우도 제미나이는 직관적인 질문에 강하고 gpt는 로직을 짜줄 경우 더 전문적인 답변이 튀어나오는 차이가 있을 정도로 모델마다 특화된 분야가 다릅니다.
문제는 이걸 활용할 정도의 전문적인 분야가 없다면 그건 그 거대로 쓸모없는 사람이 돼버립니다.그건 애초에 개인의 능력부족에 가깝다는 생각이 들더군요
다만 그로 인해 "모델이 훨씬 중요하다."이 비판에는 어느 정도 인정 할 수밖에 없습니다.
솔직히 3.0 시절과 지금을 비교해 본다면 사용자 분들은 말 안 해도 아실 겁니다. 도저히 따라올 수가 없어요 결국 개발자처럼 끊임없이 공부해야 하는 직종이 되는 겁니다.
다만 "프롬프트는 임시방편일 뿐이다" 저는 이 주장에 100% 동의합니다 언어 모델이 블랙박스라는 점에서 출발한 이야기로 최근 대두되는 xai와 연관된 문제죠 실제로 ai가 대답하는 과정자체를 이해 못 하고 거기에 점점 자동화가 발전하는데 의미가 있냐 라는 질문으로 사실 지금 제가 이용하고 있는 방식이 적용된다면, ai회사에서 일하는 엔지니어 아니면 소수의 강연자를 제외하고는 살아남기 힘들 것 같긴 합니다.
결국은 프롬프트엔지니어 자체는 유망직종이 아니고 소수 강연자들만 살아남을 것이다. 이것까지는 어느 정도 기정사실인 것 같습니다. 다만 핵심은 프롬프트 엔지니어링은 단순히 모델의 출력을 조정하는 기술적 장치가 아니라, 대규모 언어 모델의 성능을 실질적으로 활용하기 위한 중요한 기술적 역량에 가깝습니다. 프롬프트 엔지니어를 굳이 비유하자면 엑셀 유튜브나 엑셀 교육자 담당하는 사람에 가까우니까요.
https://platform.openai.com/docs/guides/model-selection
심지어 OPEN AI에서도 이러한 포럼을 만들어줄 정도니 시간이 되신다면 한번 읽어보시는 걸 추천드립니다.
자 그래서 결론은 잘 짜인 카지노 쿠폰로 전기차 공부를 해보기 전 사전지식정도의 이야기다로 마무리하죠 그럼 이제 다음부터 제대로 된 부품 분석이야기를 시작해 보겠습니다.
참고문헌
[1] Principled Instructions Are All You Need forQuestioning LLaMA-1/2, GPT-3.5/4
[2] A Systematic Survey of Prompt Engineering in Large Language Models:Techniques and Applications
