AI의 작동 원리: '똑똑한 단어 예측기' 이해하기

안녕하세요! 어제는 프롬프트 엔지니어링이 무엇인지 알아보았습니다. 오늘은 우리가 대화하는 AI(챗GPT, 제미나이 등)가 실제로 내부에서 어떻게 답변을 만들어내는지 그 속사정을 들여다보겠습니다. 이 원리를 이해하면 AI에게 왜 구체적으로 말해야 하는지 자연스럽게 깨닫게 될 것입니다.

1. AI는 사람처럼 '생각'하지 않습니다
많은 사람이 AI가 사람처럼 스스로 고민하고 답을 낸다고 오해하곤 합니다. 하지만 사실 챗GPT 같은 생성형 AI는 '거대 언어 모델(LLM)'이라 불리는 고도로 복잡한 계산 기계입니다. 이 모델들은 수많은 책, 블로그, 논문 등 방대한 텍스트 데이터를 학습하여, 특정 단어 뒤에 어떤 단어가 오는 것이 가장 자연스러운지 패턴을 익힌 존재입니다.

2. 핵심 개념: "다음에 올 단어 맞히기"
AI의 작동 방식은 아주 똑똑한 '단어 예측기'와 같습니다.

💡 AI의 뇌 구조 살짝 엿보기 (임베딩과 토큰)
토큰(Token): AI가 글자를 처리하는 최소 단위입니다. 한글은 보통 한 글자가 2~3개의 토큰을 차지합니다.
임베딩(Embedding): AI는 단어를 그대로 이해하지 못합니다. 대신 단어의 '의미'를 숫자로 변환하여 좌표 평면에 배치하는데, 비슷한 의미를 가진 단어들은 서로 가까운 위치에 있게 됩니다. 덕분에 AI는 문맥을 파악하고 적절한 답변을 예측할 수 있습니다.

💡 상황별 예측 원리 예시 (왜 맥락이 중요할까요?)
AI가 어떻게 단어를 예측하는지, 우리가 주는 '힌트(프롬프트)'에 따라 답변의 방향이 어떻게 바뀌는지 예시로 확인해 봅시다.
상황 1: 짧은 질문 vs 긴 질문 (예측의 정확도)
질문 1: "사과는..."
AI의 예측 경로: ...맛있습니다, ...빨갛습니다, ...비타민이 많습니다. (너무 많은 가능성 중 하나를 무작위로 선택함).
질문 2: "뉴턴의 머리 위로 떨어진 사과는..."
AI의 예측 경로: ...만유인력의 법칙을 발견하는 계기가 되었습니다. (구체적인 힌트 덕분에 예측 범위가 좁아지고 정확해짐).

상황 2: 역할 부여에 따른 어휘 예측 변화
질문 1: "감기에 대해 설명해줘."
AI의 일반적 예측: "감기는 바이러스에 의한 호흡기 질환입니다...".
질문 2: "너는 5살 아이를 돌보는 유치원 선생님이야. 감기에 대해 설명해줘."
AI의 전문가적 예측: "우리 친구들, 몸속에 나쁜 꼬마 악당 바이러스가 들어오면 콧물이 훌쩍 나고 기침이 나올 수 있어요..." (선생님이라는 역할 패턴에 맞는 쉬운 단어들을 선택하여 문장을 구성함).

상황 3: 형식 지정에 따른 구조 예측
질문 1: "스마트폰 장점을 알려줘."
AI의 일반적 예측: 긴 줄글 형태로 장점들을 나열함.
질문 2: "스마트폰 장점을 표 형식으로 장점, 설명, 사례 세 가지 열로 나누어 알려줘."
AI의 구조적 예측: AI는 이제 '표'라는 형식을 만들기 위해 필요한 칸과 선, 항목화된 텍스트를 예측하여 출력합니다.

📌 오늘의 핵심 요약
AI와 대화하는 것은 '내가 원하는 답변이 나올 수밖에 없도록 길을 닦아주는 과정'입니다.
AI는 다음에 올 가장 자연스러운 단어를 예측합니다.우리가 주는 프롬프트(힌트)가 구체적일수록 AI는 엉뚱한 길로 빠지지 않고 정확한 답변을 찾아옵니다.AI는 생각하는 것이 아니라 패턴을 학습한 똑똑한 기계라는 점을 잊지 마세요.
내일은 AI가 답변의 '창의성'을 조절하는 비밀인 '온도(Temperature)'와 같은 필수 AI 용어들을 정복해 보겠습니다.

오늘의 연습: 챗GPT에게 "인생이란..."이라고만 쳐보시고, 그다음에 "너는 80세 지혜로운 노인이야. 인생이란..."이라고 쳐보세요. 답변이 어떻게 달라지는지 확인해 보셨나요?