15시간/일 * 6일 AI로 제품 만들며 느낀 점

약 100시간가량 프로덕트를 빌드했다.

모니터에 세션 총 8개를 동시에 띄워놓고, 1개는 PM, 나머지 6개는 팀원, 1개는 별도 Job으로 두고 일을 했다.

1. LLM은 조용히 넘어간다

LLM은 과업을 마치려고 꼼수를 쓰면서 끝까지 간 척한다. 그 안에서 수많은 오류와, 나중에 사람이 캐물으며 잡아야 하는 것들이 쌓인다.

내가 했던 커밋만 100개는 족히 넘을 거다. 모종의 이유로 이 커밋들을 하나하나 다시 훑으며 재반영해야 했는데, 자꾸 맥락을 누락한다.

모든 것을 다 읽으면 input 토큰이 녹아내리기에, 클로드코드 하네스에도 중요한 컨텍스트 내지는 최신 컨텍스트만 넣으라고 돼 있는 것 같다. 그래서 JSONL로 떠놓고 읽으라고 해도 자꾸 누락한다.

이미 한 커밋을 확인하지 않고 누락하니 새로운 코드들이 쌓이고, 새로운 의사결정을 유도해서 이전의 작업과 충돌하게 한다.

자꾸 다 됐다고 한다. 자꾸 문제없을 거라고 한다.

이제 그 말을 믿을 수가 없다.

중간에서 잡아주지 않으면 아무리 좋은 모델 + effort + thinking을 써도 산으로 가기 일쑤다.

밥 먹고 온다고 1~2시간 지침을 세세하게 줘서 알아서 작업하고 있으라고 했더니, 작업 티켓만 계속 생성하고 get done과는 멀어지게 엄한 데서 땅굴을 파고 있었다.

결국 잘 쓰려면, 정확한 problem 정의와 get done 상태의 정의, 거기까지 가는 지침, 예상되는 pitfall의 사전적(in advance) 정의가 필요하다.

결국 일잘러의 핵심 요건들과 겹치는 것을 알 수 있다.

브랜치들을 머지할 때 사람의 뇌가 필요했다. 주요 맥락과 의사결정의 이유들을 기억하고 LLM과 대화할 수 있는 두뇌가 일을 빠르게 진행시키는 핵심 단추가 되었다.

LLM은 상상하는 만큼 × 상상을 현실로 옮길 용기와 실행만큼 그 결과물을 준다.

뭐가 되는지 의심하지 말고, 최대한 작업의 설계를 잘해주는 게 중요하다. 이건 단순히 "프롬프트 엔지니어링 잘하자"의 범위를 한참 벗어난다.

일잘러에 일 잘시키고 관리 잘하는 사람이 LLM도 더 잘 쓸 수 있다.