AI 에이전트에는 추론 이상의 것이 필요합니다. 실제로 웹을 사용해야 합니다.

작업은 세 가지 작업으로 나누어지며 세 가지 작업 모두 에이전트가 프로덕션에 유용하게 작동해야 합니다.

찾다. 상담원은 올바른 정보를 찾아야 합니다. 링크 목록에 대한 URL이 아니라 읽고 추론할 수 있는 실제 콘텐츠입니다. 고객이 보험 챗봇에게 보험 상품이 특정 사건에 적용되는지 묻는 경우 상담원은 검색 결과 페이지가 아닌 보험 상품의 관련 섹션을 표시해야 합니다.

긁다. 에이전트가 페이지를 찾으면 페이지를 깨끗하게 읽어야 합니다. 대부분의 최신 웹사이트에서는 이를 쉽게 수행할 수 없습니다. 페이지는 먼저 실행되어야 하는 JavaScript를 통해 로드됩니다. 콘텐츠는 확장 가능한 아코디언, 탭 및 지연 로드 섹션 내에 있습니다. 상담원이 수신하는 HTML은 사람이 브라우저에서 보는 것과 전혀 유사하지 않은 경우가 많습니다.

상호작용. 대부분의 에이전트 데모가 프로덕션에서 실패하는 부분이 바로 여기입니다. 인간이 관심을 갖는 많은 정보는 단순한 URL에 있지 않습니다. 이는 “더 보기” 버튼, 검색 상자, 다단계 양식, 탐색 메뉴 또는 로그인 뒤에 있습니다. 정적 페이지만 읽을 수 있는 스크레이퍼는 그 어떤 페이지에도 접근할 수 없습니다. 상호 작용(클릭, 탐색, 채우기, 제출)할 수 있는 에이전트는 가능합니다. 둘 사이의 차이가 AI가 실제로 업무를 수행할 수 있는지 여부를 결정합니다.

세 가지 중에서 상호작용이 가장 새롭고 가장 어렵습니다. 사이트 전체의 가격을 비교하는 쇼핑 도우미, 대화형 대시보드에서 데이터를 가져오는 조사 도구, 실제 사용자가 하는 방식으로 문서 포털을 탐색하는 고객 지원 봇 등 가장 유용한 에이전트 애플리케이션이 있는 곳이기도 합니다.

Firecrawl은 세 가지 기능을 모두 지원하도록 설계된 인프라를 구축하는 회사 중 하나입니다. 플랫폼은 AI 에이전트와 라이브 웹 사이에 위치하며 단일 API 기반의 관리 기능으로 검색, 스크래핑 및 상호 작용을 처리합니다. 오픈 소스 프로젝트는 GitHub에서 120,000개 이상의 별을 보유하고 있습니다. Lovable, Replit, Zapier 등의 고객이 제작에 사용하고 있습니다. Nexus Venture Partners는 2025년에 회사의 1,450만 달러 규모의 시리즈 A를 이끌었고, Shopify CEO인 Tobi Lütke가 처음 Firecrawl을 고객으로 사용한 후 투자자로 합류했습니다.

요점은 간단합니다. Firecrawl을 기반으로 구축된 AI 에이전트는 개발 팀이 접촉하는 모든 사이트에 대해 사용자 정의 코드를 작성할 필요가 없습니다. API를 호출하면 플랫폼은 JavaScript 렌더링, 동적 페이지 탐색, 요소와 상호 작용, AI 시스템이 사용할 수 있는 구조화된 출력 반환 등 많은 기본 기술 작업을 처리합니다.

Firecrawl의 공동 창업자 중 한 명인 Eric Ciarla는 “모든 AI 회사에는 깨끗한 웹 데이터가 필요했지만 누구도 이를 잘 해결하지 못했습니다.”라고 말합니다. “그래서 우리는 Firecrawl을 만들었습니다.”

Ciarla와 그의 공동 창업자들은 다양한 조직에서 사용했던 AI 검색 플랫폼인 Mendable이라는 이전 회사를 구축하는 동안 이 문제에 직접 직면했습니다. 검색 제품이 작동했습니다. 각 고객의 웹사이트에서 데이터를 가져와서 공급하는 인프라는 그렇지 않았습니다. 모든 새로운 통합은 다음에 고객 사이트가 변경될 때 깨지기 쉬운 추출 코드를 다시 빌드하는 것을 의미했습니다. Mendable은 그 벽에 부딪히는 것이 드문 일이 아니 었습니다. 웹 데이터를 통합하는 많은 AI 회사는 내부 추출 도구를 반복적으로 재구축하면서 비슷한 문제에 직면했습니다.

기술적인 변화와 함께 변화가 일어나고 있으며, 이는 아직 AI 에이전트가 웹사이트를 읽는 것에 대해 생각하지 않은 기업의 이해관계를 변화시킵니다.

20년 동안 ‘고객이 무언가를 찾고 있다’에서 ‘고객이 귀하의 비즈니스를 찾습니다’로 가는 길은 종종 전통적인 검색 엔진을 통해 이루어졌습니다. 사람들이 추천, 비교 또는 답변을 원할 때 AI 비서가 시작되는 경우가 점점 더 많아지고 있습니다. AI 비서가 출발해 개인을 대신해 관련 웹사이트에서 정보를 가져온 뒤 종합적인 답변을 가지고 돌아온다. AI가 사이트를 구문 분석할 수 없으면 귀하의 비즈니스가 답변에 표시되지 않습니다.

Ciarla는 이것이 기업이 AI 크롤러에 대해 완전히 생각하는 방식을 변화시킨다고 주장합니다. “모든 AI 에이전트 뒤에는 무언가를 찾으려는 인간이 있습니다.”라고 그는 말합니다. 지배적인 업계 프레임은 AI 크롤러를 반갑지 않은 자동화로 취급했습니다. 즉, 방어할 봇, 인간 방문자를 대가로 보내지 않고 서버 리소스를 소모하는 트래픽입니다. 웹사이트를 대규모로 읽는 유일한 것이 나중에 인간 방문자를 위해 색인을 생성하는 검색 엔진뿐이었을 때 이러한 프레이밍은 의미가 있었습니다. AI 에이전트가 인간이 찾는 데 사용하는 경로인 경우에는 의미가 없습니다.

Ciarla의 견해에 따르면 오늘날 AI 크롤러를 차단하는 것은 새로운 검색 채널에 대한 가시성을 제한하는 것과 비슷할 수 있습니다. 그는 그렇게 하면 진화하는 고객 검색 행동을 통해 기업을 찾을 기회가 줄어들 수 있다고 주장합니다.

이러한 변화에서 Firecrawl의 입장이 특이한 이유는 기업이 아무것도 할 것을 요구하지 않는다는 것입니다. AI 가시성에 대한 대부분의 접근 방식은 사이트 소유자에게 작업을 부과합니다. 즉, 새 마크업 추가, 새 끝점 노출, 페이지 구조 조정, 기존 SEO 항목 위에 새로운 최적화 원칙 학습 등이 있습니다. Firecrawl은 반대 방향에서 작동합니다. 플랫폼은 사람이 읽을 수 있는 사이트와 기계가 읽을 수 있는 데이터 간의 변환을 실시간으로 자동 처리합니다. 기업은 AI 에이전트가 페이지를 읽고 있다는 사실을 알 필요가 없습니다. 어쨌든 상담원은 필요한 것을 얻습니다.

에이전트가 더 많은 사이트에서 더 많은 정보를 가져오면서 AI 시스템과 AI 시스템이 의존하는 소스 간의 관계가 실질적인 질문이 됩니다. AI가 웹 콘텐츠를 만든 사람에게 다시 돌아가지 않고 웹 콘텐츠에서 가치를 추출하는 모델은 내구성이 없습니다. 게시자들은 소송과 액세스 차단을 통해 반발하고 있으며 주요 사이트는 점점 더 AI 크롤러로부터 콘텐츠를 완전히 차단하고 있습니다. 기본 생태계는 건강하지 않으며 장기적 비용은 결국 어딘가에 도달합니다.

2026년 3월, Firecrawl은 Wikimedia Enterprise와 제휴하여 Wikipedia 페이지를 직접 스크래핑하는 대신 Wikimedia의 상용 API를 통해 모든 Wikipedia 트래픽(월별 200만~300만 건의 요청)을 라우팅했습니다. 이 방식은 리소스 집약적인 스크래핑을 유료의 구조화된 액세스로 대체하고 오픈 웹에서 가장 많이 인용되는 정보 소스 중 하나를 유지 관리하는 자원 봉사 커뮤니티를 지원하는 데 도움이 됩니다.

Ciarla는 파트너십이 발표되었을 때 “이 기사를 작성하고 편집하는 커뮤니티 구성원은 AI 시대에 엄청난 힘을 가지고 있습니다.”라고 말했습니다. “그들은 무엇이 진실인지 정의하는 필수적인 서비스를 제공하고 있습니다. 우리는 인프라가 단순히 작업을 소비하는 것이 아니라 지원하도록 하고 싶습니다.”

Wikimedia 거래는 하나의 모델입니다. 업계의 다른 곳에서도 유사한 접근 방식이 나타날 수 있습니다. AI 제품이 대규모 데모에서 프로덕션으로 이동함에 따라 기본 인프라를 구축하는 회사는 AI 시스템이 웹과 상호 작용하는 방식을 형성하는 데 도움을 주고 있습니다.

AI로 구축하는 경우 실질적인 시사점은 간단합니다. 모델은 더 이상 차별화 요소가 아닙니다. 거의 모든 사람이 동일한 개척 모델에 접근할 수 있으며, 이들 사이의 격차는 계속해서 줄어들고 있습니다. 프로덕션에서 작동하는 AI 제품과 그렇지 않은 AI 제품을 구분하는 것은 점점 더 밑에 있는 계층과 시스템이 실제로 유용해야 하는 정보에 도달할 수 있는지 여부입니다. 해당 계층에 투자하면 의미 있는 엔지니어링 이점을 얻을 수 있습니다.

사업을 운영하고 있고 AI 에이전트가 웹 사이트를 읽는 것에 대해 생각해 본 적이 없다면 지금이 바로 시작해야 할 순간입니다. 검색 채널이 이동하고 있습니다. 이전에 기존 검색 엔진을 통해 비즈니스를 찾았던 고객은 이제 검색 프로세스의 일부로 AI 도우미를 사용할 수 있습니다. 해당 도우미가 귀하의 사이트를 읽을 수 없다면 귀하를 전혀 찾지 못할 수도 있습니다. 많은 기업은 AI 기반 검색이 디지털 존재에 어떤 영향을 미칠 수 있는지 평가하면서 주로 인간 독자와 검색 엔진을 위해 최적화를 계속하고 있습니다.

디지털 트렌드는 외부 기여자와 협력합니다. 모든 기고자 콘텐츠는 Digital Trends 편집진이 검토합니다.