크롤링과 인덱싱 | AI 봇은 내 페이지를 어떻게 읽는가

skimar 2026. 04. 25 3 min read

이 글은 "AEO 입문: AI에게 읽히는 기술" 시리즈의 첫 번째 글입니다.

ChatGPT, Perplexity, Gemini 같은 AI 검색 엔진이 빠르게 확산되고 있습니다. "운동화 추천해줘"라고 물으면, AI가 직접 답을 만들어주는 시대입니다. 그런데 그 답에 내 쇼핑몰 상품이 포함되려면, AI가 내 사이트를 먼저 읽을 수 있어야 합니다. 이 시리즈에서는 AI에게 제대로 읽히는 사이트를 만들기 위해 알아야 할 것들을 하나씩 짚어갑니다.

검색엔진은 내 사이트를 어떻게 찾아올까

검색엔진이 내 페이지를 검색 결과에 보여주기까지는 크게 두 단계를 거칩니다.

첫 번째, 크롤링. 검색엔진의 봇(로봇)이 내 사이트에 방문해서 페이지를 다운로드하는 단계입니다. 사람이 브라우저로 페이지를 여는 것과 비슷한데, 봇은 화면을 보는 게 아니라 HTML 코드 자체를 읽습니다.

두 번째, 인덱싱. 다운로드한 페이지의 내용을 분석해서, 검색엔진의 데이터베이스에 등록하는 단계입니다. "이 페이지는 운동화에 대한 내용이고, 가격은 12만 9천 원이구나" 하고 정리해 놓는 겁니다.

중요한 건 크롤링됐다고 인덱싱되는 게 아니라는 점입니다. 봇이 방문은 했지만, 내용이 부실하거나 중복이면 데이터베이스에 등록하지 않고 그냥 지나칩니다.

내 페이지가 인덱싱 안 되는 4가지 이유

Google Search Console에서 내 페이지 상태를 확인하면, 아래 4가지 중 하나로 분류됩니다.

"인덱싱됨" 정상입니다. 검색 결과에 노출될 수 있는 상태입니다.

"크롤링됨. 현재 인덱싱 안 됨" 봇이 방문은 했지만, 콘텐츠 품질이 부족하다고 판단해서 등록하지 않은 상태입니다. 내용이 너무 짧거나, 다른 페이지와 비슷한 내용이 대부분인 경우 이렇게 됩니다.

"크롤링되지 않음" 봇이 아예 방문하지 못한 상태입니다. robots.txt에서 차단했거나, 서버 오류로 접근이 안 된 경우입니다.

"중복. 정규 URL이 다름" 같은 내용의 페이지가 여러 주소로 존재하는데, 검색엔진이 다른 주소를 대표로 선택한 경우입니다. (이 부분은 시리즈 3편 canonical 태그에서 자세히 다룹니다.)

AI 크롤러는 Google 봇과 다르다

여기서 AI 검색 시대에 특히 중요한 차이가 하나 있습니다.

일반적인 웹사이트는 서버가 HTML을 완성해서 보내주기 때문에, 봇이 받는 즉시 내용을 읽을 수 있습니다. 카페24, 고도몰, 아임웹, 워드프레스가 모두 이 방식입니다.

하지만 React나 Vue 같은 기술로 만든 사이트(SPA)는 다릅니다. 서버가 보내는 HTML은 사실상 빈 껍데기이고, 사용자의 브라우저에서 자바스크립트가 실행된 후에야 비로소 내용이 채워집니다.

Google 봇은 이런 사이트도 나름대로 처리합니다. 자바스크립트를 실행하는 별도의 과정을 거치는데, 다만 며칠이 걸릴 수 있습니다.

AI 크롤러(ChatGPT, Perplexity 등)는 이 과정 자체를 대부분 생략합니다. 자바스크립트를 실행하지 않으니, 빈 페이지로 판단하고 넘어갑니다. 아무리 좋은 상품 정보가 있어도, AI 입장에서는 "이 페이지에 아무 내용도 없다"가 되는 겁니다.

카페24/고도몰/아임웹 쇼핑몰은 안전한가?

결론부터 말하면, 위에서 말한 자바스크립트 렌더링 문제는 해당 없습니다. 이 플랫폼들은 서버에서 HTML을 완성해서 보내주는 방식이기 때문에, AI 크롤러가 방문하면 상품명, 가격, 설명을 바로 읽을 수 있습니다.

그렇다고 문제가 없는 건 아닙니다. 이 플랫폼들에는 다른 종류의 문제가 있습니다.

구조화 데이터가 빠져 있다. AI는 HTML을 읽을 수는 있지만, "이게 상품이고, 가격이 얼마인지"를 추론해야 합니다. 구조화 데이터(Schema.org)가 있으면 명시적으로 알려줄 수 있는데, 대부분의 기본 템플릿에는 이게 빠져 있거나 불완전합니다.

같은 상품이 여러 주소로 접근 가능하다. 하나의 상품이 카테고리별로 다른 URL을 가지는 경우가 많습니다. 정리가 안 되면 검색엔진과 AI 모두 혼란을 겪습니다.

상세페이지가 이미지 한 장이다. 한국 커머스의 고질적인 문제입니다. 예쁘게 디자인된 긴 이미지 하나로 상세페이지를 구성하면, 사람 눈에는 좋지만 AI가 읽을 텍스트가 없습니다. AI는 이미지 안에 박힌 글자를 읽지 못합니다.

타이틀과 메타 설명이 상품명 그대로다. "브랜드 A 에어맥스 270 블랙"처럼 상품명만 타이틀로 사용하면, AI가 이 페이지의 맥락 — 누구에게 왜 좋은 제품인지 — 을 파악하기 어렵습니다.

지금 바로 확인해보세요

내 사이트가 검색엔진에 어떻게 등록되어 있는지 확인하는 가장 간단한 방법입니다.

Google에서 site:내도메인.com으로 검색해보세요. 나오는 결과 수가 곧 인덱싱된 페이지 수입니다. 상품이 100개인데 인덱싱된 페이지가 10개라면, 90개는 검색에서 보이지 않는 상태입니다.

Google Search Console에서 "페이지" 메뉴를 확인해보세요. 위에서 설명한 4가지 상태별로 내 페이지가 몇 개씩 분류되어 있는지 볼 수 있습니다.

다음 글에서는 봇이 내 사이트에 방문할 때 가장 먼저 확인하는 파일, robots.txt와 sitemap.xml에 대해 다루겠습니다.