LLM 평가 트렌드 정리: Benchmark, MMLU, AA Index, GDPval, RubricLLM의 성능은 어떻게 평가할까? 전통적인 지식 평가부터 실제 업무 수행 능력을 측정하는 벤치마크까지, LLM 평가에 사용되는 주요 개념을 정리한다.1. LLM 평가의 변화: 정답률에서 실사용성으로LLM(Large Language Model)의 성능을 평가할 때 가장 먼저 떠올릴 수 있는 것은 질문에 얼마나 정확하게 답변하는지 측정하는 것이다.초기 LLM 평가에서는 지식, 추론, 수학, 코딩 등 모델 자체의 능력을 측정하는 벤치마크가 중요했다.하지만 LLM이 단순한 질의응답을 넘어 RAG(Retrieval-Augmented Generation), AI Agent, 업무 자동화 시스템 등에 활용되면서 평가 ..

Ontology 란?개발자에게 Ontology(온톨로지)는 데이터를 단순히 저장하고 조회하는 것을 넘어, 데이터가 무엇을 의미하고 서로 어떤 관계를 맺는지 정의하는 모델이다.일반적인 데이터베이스는 테이블, 컬럼, 행을 중심으로 데이터를 관리한다. 반면 온톨로지는 현실 세계의 개념을 객체로 표현하고, 객체 간 관계와 규칙을 정의한다.예를 들어 군사 시스템에 군인, 부대, 장비라는 데이터가 있다고 하자. 데이터베이스에서는 각각의 테이블로 관리할 수 있지만, 온톨로지에서는 군인이 부대에 소속되고 장비를 운용한다는 업무적 관계까지 표현할 수 있다.이렇게 데이터에 업무적 의미를 부여하면 사용자는 개별 테이블 구조를 몰라도 실제 업무 개념을 중심으로 데이터를 탐색할 수 있다. Ontology 가 왜 중요할까?LLM..

LLM-Wiki 란AI가 자료를 요약·분류하고 개념 간의 관계를 마크다운 형태의 영구적인 '지식 베이스'로 스스로 구축하고 관리하게 하는 시스템LLM이 직접 위키를 작성·관리하는 방식으로, 쿼리 시마다 원문에서 정보를 재추출하는 RAG 방식과 달리 지식이 점진적으로 축적되는 영속적 위키(persistent wiki) 를 구축위키는 Obsidian 등의 도구로 열어두고 LLM이 마크다운 파일을 실시간으로 편집·업데이트하며, 사용자는 소싱과 질문에 집중하는 역할 분담 구조 기본 구조 및 사용 원천 자료 (Raw Sources): PDF, 워드, 마크다운 등 내가 수집한 원래 문서들이 저장되는 곳입니다. (원본 파일) 위키 (The Wiki): 원천 자료를 바탕으로 LLM이 작성한 요약, 핵심 개념, 문서 간..

Superpowers란?Superpowers는 Claude Code에 소프트웨어 개발 방법론을 주입하는 플러그인이다.Claude Superpowers는 스킬 기반(agentic skills) 프레임워크다. 핵심 아이디어는 간단하다. Markdown 형식으로 작성된 "스킬" 문서를 Claude가 읽고, 그 절차를 따라 개발을 수행하도록 하는 것이다.왜 사용할까?Superpowers는 이 문제를 해결한다:일관성: 프로젝트 전체에 동일한 코딩 스타일과 프로세스를 적용학습: 한 번 스킬을 작성하면, 모든 세션에서 재사용확장성: 새로운 스킬을 추가하거나 기존 스킬을 수정 가능공유: 팀원들과 스킬을 공유하여 일관된 개발 문화 구축 설치 방법Superpowers는 Claude Code 2.0.13 이상에서 동작한다...

SDD란Spec-Driven Development(SDD)는 코드보다 명세(Spec)를 먼저 작성하고, AI가 이를 기반으로 코드를 생성하는 방법론입니다.AI가 명세를 이해하고 코드를 생성할 수 있도록 구조화된 정보를 제공하는 것이 핵심입니다.접근 단계는 3단계입니다. Spec-First: 명세를 먼저 작성 Spec-Anchored: 명세를 지속적으로 유지·관리 Spec-as-Source: 명세만 편집하고 코드는 건드리지 않음SDD 도구kirospec-kitTesslSDD vs 기존 개발 방식기존 방식 (Code First)─────────────────────────────────────────────────────요구사항(모호) → 바로 구현 → 테스트 → 문서화(사후)구현 도중 요구사항 해석이 개발..

전체 구조 한눈에 보기CLAUDE.mdClaude Code가 매 세션 시작 시 자동으로 읽는 핵심 파일위치별 용도핵심 작성 원칙각 줄마다 "이걸 없애면 Claude가 실수할까?" 자문하기. 아니라면 삭제. 파일이 너무 길면 Claude가 정작 중요한 지시를 무시한다. ClaudeClaude Code 창시자 Boris Cherny의 CLAUDE.md는 약 100줄. 500~1000줄짜리보다 효과가 좋다. 모든 줄이 실제 문제를 해결한 경험에서 나온 것이기 때문. AI Agent News200줄 이내 유지 권장. 추가 문서는 @docs/파일명.md 방식으로 import. SKILL.md — 재사용 워크플로우반복적인 작업을 슬래시 커맨드로 자동화Skills는 .claude/skills/기능명/SKILL.md에..