돌부처

소프트웨어 개발자의 발전과 변화

돌부처 — Wed, 07 May 2025 23:00:15 GMT

발전과 변화에 대한 이야기.나름 오랫동안 소프트웨어 개발을 해오면서 관찰한 재밌는 사실이 하나 있습니다. 바로 사람들의 발전하는 속도와 방식이 매우 다르다는 것입니다. 어떤 사람들은 매우 빠르게 발전하고, 어떤 사람들은 점진적으로 성장합니다. 개인의 역량 차이도 있고, 성향 차이도 있고, 업무와 fit이 잘 맞는지도 한 몫합니다. 제가 관찰하면서 주목했던

Agile 개발 방법론 - 그것을 팀에 잘 정착하기 위한 두 가지

돌부처 — Tue, 06 May 2025 23:00:21 GMT

Agile 개발 방법론. 다들 잘 사용하고 있으신가요?전 최근 agile 개발 방법론이 팀에 잘 정착하기 위해서 중요한 것은 집중과 헌신이 가장 먼저 아닐까? 생각했습니다. Agile 방법론을 도입한 팀에서는 종종 스프린트 결과물을 두고 완성도가 낮다거나 기능이 부족하다는 오해가 생기곤 합니다. 이 때문에 상사들로부터, 또는 개발자 스스로 개발 속도를 무리

업무를 진행하는 방법에 대한 단상

돌부처 — Tue, 06 May 2025 05:15:50 GMT

업무를 진행하는 방법. 최근 몇년사이 "수평문화"라는 것에 대한 것들이 화두가 되면서 회사의 분위기도 많이 바뀌었습니다. 여전히 위에서 아래로의 수직적인 위계질서를 중요시하는 조직도 있겠습니다만, 제가 경험했던 소프트웨어 개발 조직들은 굉장히 많이 분위기가 바뀌었습니다.제가 저년차때 대부분의 업무는 태스크별로 쪼개진 다음, 아주 짧은 일정과 함께 기계적으로

Sarathi serve 논문 리뷰

돌부처 — Sun, 13 Apr 2025 05:52:43 GMT

https://arxiv.org/pdf/2403.02310 Summary 대규모 언어 모델(LLM)의 추론 서비스에서는 높은 처리량(throughput)과 낮은 지연 시간(latency)을 동시에 달성하는 데 어려움이 따르는 상충 관계가 존재합니다. 각 요청은 프리필(prefill) 단계와 디코드(decode) 단계를 거치게 됩니다. 프리필 단계에서는

PagedAttention. 정말 최적인가? 진짜?

돌부처 — Sun, 09 Mar 2025 21:32:09 GMT

추론 과정에서 GPU 메모리의 대부분을 차지하는 KV 캐시를 어떻게 관리하느냐가 서비스 성능에 큰 영향을 미치게 되는데, 이전 시스템들은 모델이 지원하는 최대 컨텍스트 길이를 기준으로 각 리퀘스트별로 메모리를 할당하는 "naive"한 방법을 사용했습니다. 하지만 이렇게 하면 모든 리퀘스트가 항상 모델의 최대 컨텍스트 길이만큼 디코드를 하는 것은 아니므로 메

NVIDIA의 현재와 미래 전략 - Jensen Huang의 비전과 철학으로 본.

돌부처 — Sun, 02 Mar 2025 23:57:35 GMT

NVIDIA의 여정과 GPU 산업에서의 역할 NVDIA는 1993년 창업한 이후 GPU 분야를 계속해서 개척하면서 성장해 왔습니다. 원래 GPU는 게임 그래픽을 위한 병렬처리 칩이었으나, GPU의 병렬 연산 능력을 게임 외 다양한 분야에서 쓰려고 시도 했던 사람들을 통해 젠슨 황은 GPU의 병렬 연산이 게임 외 다양한 분야에도 쓰일 수 있다고 깨닫게 됩니

발전과 변화의 차이

돌부처 — Sat, 01 Mar 2025 04:08:30 GMT

신사업은 왜 잘 되지 않을까?

돌부처 — Sat, 15 Feb 2025 22:11:04 GMT

https://unnamed-underdogs.tistory.com/35 오늘은 미뤄뒀던 "신사업이 왜 힘든가 - 왜 잘 되지 않는가"에 대한 이야기를 적어보려고 합니다. 다른 회사들이 실패했던 이야기들과, 제가 경험했던 부분을 생각해 보면 크게 3가지 측면이 있었습니다. 먼저 조직 구조 자체의 문제입니다. 기존에 A사업을 잘하고 있던 팀 내에, B사

DeepSeek은 어디에서 왔을까? - DeepSpeed-MoE 논문 리뷰 #1

돌부처 — Sat, 08 Feb 2025 22:43:24 GMT

여기에서 정리하는 중입니다. https://unnamed-underdogs.tistory.com/32 논문 링크입니다. https://arxiv.org/pdf/2201.05596 거대 dense 모델의 훈련 비용과 관련하여 하드웨어 리소스의 가용성과 용량 한계를 극복할 수 있는 기술로 MoE(Mixture of Experts) 기술이 소개되었습니다.

각자도생의 시대에 대한 증명 - 프로텍터십 북리뷰

돌부처 — Sat, 08 Feb 2025 04:26:17 GMT

Deepseek에 이런저런 개발 이슈들 때문에 너무 정신이 없어서 책이 쌓여만 가고 있었는데, 오랜만에 책을 한권 읽었습니다. 링크드인에서 "폭풍" 인기몰이를 했던 책이라 아마 많은 분들이 읽어 보셨을 거라고 생각합니다. 이주호 (Philip Lee) 대표님의 프로텍터십 입니다. 흥미로운 내용이 많았습니다. 먼저 톰소여를 읽고 모험을 꿈꿨다는 부분에서, 허

[AI 상식] LLM은 어떻게 동작할까? #3 - Attention

돌부처 — Fri, 07 Feb 2025 23:47:12 GMT

The transformer - model architecture 이전 글에서 Input embedding과 Positional Encoding에 대해서 개념을 간략하게 알아봤습니다. 이 그림은 transformer architecture (Attention is all you need)인데, 아직은 자세히 살펴보지 않습니다. 다만 LLM model 들의

[AI상식] LLM은 어떻게 동작할까? #2 - Positional Encoding 편

돌부처 — Sun, 02 Feb 2025 07:27:13 GMT

LLM 동작에 대해서 지난 글에서는 간략한 개요와, Embedding에 대해서 알아봤습니다. 실제 Embedding의 동작에 대해서 깊게 알아보려면 많은 이해가 필요합니다만, 개념적인 이해를 위해서 최대한 간단하고 쉽게 작성하려고 해 봤습니다. 아. 우리가 말하는 AI라는 것이 LLM이라는 것을 쓰는데, 이렇게 동작하는구나? 정도의 이해를 할 수 있을 정도

[AI상식] LLM은 어떻게 동작할까? #1 - Embedding 편

돌부처 — Sun, 02 Feb 2025 00:01:55 GMT

우리가 흔히 말하는 GPT나 Deepseek과 같은 "AI"들은 쉽게 말해서 LLM (Large Language Model)이라는 "모델"을 GPU에서 구동하는 것입니다. 이 LLM이라는 것은 "생성형 AI"의 한 종류로, 인간의 언어(자연어)를 배워서 다양한 입력으로부터 "응답"을 생성해 내는 것이죠. "안녕하세요, 오늘 어때요?"라는 문장을 입력받으면

GPT? 그거 하루에 10분 쓰는 거 아냐?

돌부처 — Tue, 28 Jan 2025 23:12:48 GMT

요즘 agent 관련해서 이것저것 보다 보니, SW, HW 회사 모두 빨리 많은 것들을 준비해야 살아남을 수 있겠다는 생각이 많이 들었습니다. 먼저, GPU를 비롯한 많은 infra들이 좀 더 탄탄하게 잘 구축이 되어야 한다고 느낍니다. 아마 시간이 흐를수록 지금보다 더 폭발적으로 workload는 늘어 가겠죠. computing resource 뿐 아니라

문제를 해결하는 방법

돌부처 — Sat, 18 Jan 2025 01:14:16 GMT

문제를 해결하는 방법에 대해 생각해 봤습니다. 먼저 문제가 무엇인지 정확한 진단이 필요할 것입니다. 그리고 그 문제에 대한 대증요법이 아닌 정확한 해결책이 필요할 것입니다. 여러 조직들을 경험해 보면, 문제에 대한 정확한 진단을 하지 못하는 조직은 대부분 역량이 부족한 상태였습니다. 문제 자체를 이해하지 못하기 때문에 그것이 어떤 문제인지 알 수가 없는 상

동생

돌부처 — Sat, 04 Jan 2025 05:12:16 GMT

봄이 시작된 어느 날이었다. 숙모가 아기를 낳았다. 항상 집에서 혼자 심심했던 나는 새로 생긴 동생이 너무 좋았다. 숙모는 고모들보다 엄청 젊고 예뻤다. 나를 보면 항상 생긋 웃어주고, 가끔 노래를 흥얼거리며 머리를 땋아 주기도 했다. 어떻게 그렇게 무섭고 괴팍한 삼촌이랑 결혼을 했는지 항상 궁금했다. 아기는 잘 울지 않았다. 어른들은 아기가 너무 작고

LP레코드

돌부처 — Sat, 28 Dec 2024 15:05:03 GMT

나른한 오후에 음악 감상실에 죽치고 앉아, 시간을 보내는 것이 전부인 때가 있었다. 그 당시 자주 찾던 음악 감상실 벽 한 켠에는 빼곡하게 LP레코드가 채워져 있었다. 커피 한잔과 편안한 음악을 들으며, 책을 한권 들고가 읽다가 심심해지면 사람들을 지켜보는 것이 나의 하루 일과였다. 아주 가끔은 10대 후반의 앳되어 보이는 무리들도 오곤 했으나, 딱히 그

조직 관찰 - 성향의 충돌

돌부처 — Sat, 28 Dec 2024 00:12:11 GMT

크리스마스도 지나고 올해가 며칠 남지 않았습니다. 아마 조직 문화에 관련해서 포스팅하는 올해의 마지막(?) 글이 되지 않을까 싶습니다. 오늘은 그 동안 제가 지내왔던 조직들을 관찰했던 내용 중에서 성향과 성향이 충돌하는 상황, 그리고 그 상황이 어떻게 조직의 발전을 저해하는지에 대한 이야기를 해보려고 합니다. 많은 사람들이 함께 지내는 곳이기 때문에 회사

가로수길

돌부처 — Wed, 25 Dec 2024 05:20:16 GMT

빠알갛고 노오랗게 산들이 물들어 갈 때쯤이었다. 지나가는 사람들이 드문드문한 우리 가게 앞 가로수길에서, 선선한 바람을 타고 빠알갛고 노오란 그것들이 하나, 또 하나 떨어지는 것을 하릴없이 보고 있었을 때였다. 수척해 보이는 얼굴로 하얀 원피스를 입은 한 여자가 손에 붕대를 감고 있는 꼬마를 데리고 가게로 들어왔다. 딱 봐도 동네 사람은 아니고, 이런 시

포장마차

돌부처 — Wed, 25 Dec 2024 05:19:00 GMT

차가운 겨울, 어디선가 뭔가를 굽는 냄새가 난다. '곰장어 굽는 냄새 같네, 요즘은 포장마차가 없어' 한잔 술이 생각날 때 아주 오래전의 한 포장마차가 생각난다. 언제인지 기억도 잘 나지 않을 만큼 오래전, 늦은 밤 가로등도 노오랗고 밝지 않던 길을 걸을 때의 일이었다. 얼큰한 국물에 소주 한잔이 생각나던 쌀쌀한 날씨에 골목길 입구에 우두커니 앉아 있던