1. 캐싱의 필요성?

AI와 대화할 때, 우리는 종종 엄청나게 긴 문서(법전, 소설 전권, 수천 줄의 코드)를 입력으로 줍니다.

기존 방식: 질문을 할 때마다 AI는 그 긴 문서를 처음부터 다시 읽어야 합니다. 10페이지짜리 서류에서 1번 질문을 하고, 이어서 2번 질문을 해도 AI는 다시 1페이지부터 읽습니다.
단점: 시간이 오래 걸리고(지연 시간), 읽을 때마다 비용(토큰 비용)이 발생합니다.

2. Context Caching의 작동 원리

'단골 손님이 있는 식당'에 비유

손님이 식당에 올 때마다 "저는 견과류 알러지가 있고, 오이는 싫어하며, 스테이크는 미디엄 레어로 구워주세요"라고 5분 동안 설명한다고 가정해 봅시다.

AI 내부적으로는 텍스트를 숫자로 변환하고 복잡한 수학 계산을 거칩니다. 캐싱은 이 계산 결과값(KV Cache)을 서버의 빠른 메모리에 딱 고정해 둡니다.

이제 손님이 들어오기만 하면 주인은 메모를 보고 즉시 요리를 시작합니다.

우리가 정의한 [Shade Guide Code Dictionary]는 AI가 매번 읽기에는 양이 많고 복잡한 규칙

일반적인 방식: 사진 한 장을 보낼 때마다 "이게 Vita Classic인지, Ivoclar인지 이 리스트를 보고 판단해!"라고 매번 사전 데이터를 같이 보냅니다. (매번 읽느라 느리고 돈이 많이 듦)
Context Caching 방식: AI에게 미리 이 딕셔너리와 매핑 로직(Prefix 규칙 등)을 입력하고 '캐시(Cache)' 처리합니다. AI는 이제 이 규칙을 완벽히 숙지한 상태로 대기합니다.

사용자가 치과 지시서 사진을 업로드합니다. 캐싱된 상태의 AI는 이미 규칙을 알고 있으므로, 사진에서 필요한 정보만 즉시 찾습니다.

작업: '절단(Incisal)', '중간(Middle)', '치경부(Cervical)' 옆에 적힌 글자(예: A2, 3M2)를 추출합니다.
상태: 아직은 브랜드가 무엇인지 확정되지 않은 순수 데이터 상태입니다.

여기서 Context Caching의 진가가 발휘됩니다. AI는 메모리에 저장된 딕셔너리를 빛의 속도로 훑습니다.

모든 연산이 끝나면 다음과 같은 구조화된 데이터를 내놓습니다.

필드명 추출된 값 로직 적용 결과 (캐시 활용)

논리적 일관성: 로직이 캐싱되어 있으므로, AI가 매번 규칙을 다르게 해석할 여지(Hallucination)가 줄어듭니다.
지연 시간(Latency) 단축: 수천 명의 치과 의사가 동시에 사진을 올려도, AI는 이미 규칙을 '외우고' 있기 때문에 연산량이 대폭 줄어들어 즉각적인 응답이 가능합니다.
확장성: 만약 새로운 브랜드(예: Shofu)가 추가된다면, 전체 시스템을 고치는 게 아니라 캐시된 딕셔너리만 업데이트하면 즉시 현업 솔루션에 적용됩니다.