Why Agents Are Ignoring Your Skills (Literally)

AI 에이전트의 스킬(Skills) 무시 현상 및 대처 방안

1. 요약 (Summary)

이 영상은 Vercel의 최근 평가를 바탕으로 AI 에이전트가 '스킬(Skills)' 기능을 56% 이상의 시간 동안 무시하며, 이는 현재 모델에서 점진적 공개(progressive disclosure) 방식의 효과에 의문을 제기한다는 내용을 다룹니다. 왜 간단한 `agent.md` 파일에 정보를 채워 넣는 방식이 고급 도구 정의보다 더 나은 성능을 보이는지, 그리고 최대의 신뢰성을 위해 에이전트를 어떻게 설계해야 하는지에 대한 인사이트를 제공합니다.

2. 핵심 요점 (Key Takeaways)

* **스킬의 낮은 활용률**: AI 에이전트가 제공된 스킬을 56% 이상 무시한다는 Vercel의 연구 결과가 있습니다.

* **점진적 공개의 한계**: 스킬은 원래 점진적 공개를 통해 컨텍스트를 효율적으로 관리하려 했으나, 현재 모델에서는 그 효과가 미미합니다.

* **`agent.md`의 강세**: 단순하게 정보를 `agent.md` 파일에 직접 입력하는 것이 스킬 정의보다 더 효과적인 경우가 많습니다.

* **모델 훈련의 중요성**: 스킬을 효과적으로 사용하기 위해서는 에이전트 모델 자체의 충분한 훈련(특히 강화 학습)이 필요합니다.

* **신뢰성 확보 방안**: 스킬을 사용할 때는 `agent.md` 또는 `claude.md`에 정보를 요약하여 포함하고, 필요에 따라 특정 도구를 참조하도록 유도하는 것이 좋습니다.

* **프롬프트 엔지니어링의 역할**: 스킬을 활용하려면 프롬프트 엔지니어링에 대한 상당한 실험이 필요합니다.

3. 상세 내용 (Detailed Notes)

#### A. 스킬(Skills)과 점진적 공개(Progressive Disclosure)

* **스킬의 도입 배경**: Anthropic에서 MCP(Message Creation Protocol)의 컨텍스트 창 오염 문제를 해결하기 위해 도입했습니다.

* MCP 방식: 모든 도구 정의를 컨텍스트 창에 로드하여 불필요한 정보가 많아지는 문제 발생.

* 스킬 방식: 초기에는 스킬 설명만 제공하고, 에이전트가 특정 스킬 사용을 결정했을 때만 추가 정보를 제공하여 컨텍스트를 효율적으로 관리.

* **스킬의 문제점**:

* 에이전트가 스킬을 사용하기 전에 해당 스킬을 호출(invoke)해야 함.

* Vercel 연구 결과: 에이전트가 사용 가능한 스킬조차 56% 이상 호출하지 않는 것으로 나타남. 이는 스킬 도입 취지를 무색하게 만듦.

* **Vercel의 평가**: `agent.md` 방식을 사용한 에이전트가 스킬을 사용한 에이전트보다 평가에서 더 나은 성능을 보임.

#### B. Vercel의 Vercel CLI v16 평가 사례

* **평가 시나리오**: Vercel CLI v16의 업데이트 내용을 에이전트에게 안내하는 상황.

* **스킬의 이상적인 활용**:

* 여러 라이브러리의 업데이트 내용이나 충돌하는 문서가 있을 때 스킬로 분리하여 관리.

* "Separation of concern"을 제공하며 컨텍스트 창을 덜 채움.

* **실제 결과**: 에이전트가 스킬을 호출하지 않아 문제 해결에 실패.

#### C. 스킬을 에이전트가 무시하는 이유

* **모델 훈련 부족**:

* 많은 최신 모델(Gemini 3, GPT-5 등)이 스킬 사용을 위한 별도의 강화 학습(RL) 훈련을 거치지 않았음.

* 스킬 사용은 일반적인 도구/함수 호출과는 다른 개념이며, 이를 위해 별도의 훈련이 필요.

* Anthropic은 RL 훈련을 일부 진행했으나, 다른 모델에서는 부족함.

* **Kimi 2.5의 Agent Swarm 사례**:

* Kimi는 "parallel agent reinforcement learning"을 통해 100개 이상의 서브 에이전트를 조율하는 등 복잡한 훈련을 수행.

* 많은 회사들이 스킬 표준을 채택하더라도, 이를 위한 충분한 투자 및 훈련이 이루어지지 않고 있음.

* **성능 저하 가능성**: 스킬을 추가하는 것이 성능 향상에 기여하지 못하고, 오히려 특정 상황에서는 베이스라인(스킬 없음)보다 성능이 저하되는 경우도 발견됨.

#### D. 효과적인 컨텍스트 관리 및 에이전트 아키텍처

* **`agent.md`의 효과**:

* 모든 관련 정보를 `agent.md` 파일에 직접 채워 넣는 방식이 스킬을 사용하는 것보다 더 나은 결과를 보임.

* `agent.md`는 에이전트의 "grounding document" 역할을 함.

* **Vercel의 권장 아키텍처**:

* **정보 인덱싱 및 참조**: `agent.md` 또는 `claude.md`에 스킬 정보를 요약하여 포함시키고, 실제 상세 내용은 별도의 도구나 문서로 참조하게 하는 방식.

* **컨텍스트 로테이션(Context Rot) 방지**: 많은 수의 스킬을 `agent.md`에 모두 넣으면 컨텍스트 창이 너무 커지는 문제가 발생.

* **정보 압축**: Vercel은 40KB의 스킬 컨텍스트를 8KB로 요약하여 성능을 유지하는 데 성공.

* **프롬프트 엔지니어링의 중요성**:

* 스킬을 효과적으로 사용하려면 프롬프트 엔지니어링에 대한 충분한 실험이 필요.

* 에이전트에게 스킬 사용을 명시적으로 지시하는 것이 호출 빈도를 높이는 데 도움이 될 수 있으나, 이는 프롬프트에 따라 크게 달라짐.

#### E. 결론 및 향후 제언

* **모델 선택**: Opus 45와 같이 RL 훈련이 잘 된 모델은 스킬을 더 잘 활용할 가능성이 높음.

* **최선의 방법**: 스킬 정보를 `agent.md` 또는 `claude.md`에 요약하여 넣고, 필요 시 상세 정보로 연결하는 방식을 권장.

* **커뮤니티 참여**: 사용자들은 스킬 사용 경험 및 문제 해결 방법을 공유하도록 격려됨.