gudaeng's blog

웹 검색 AI 에이전트 개발하면서 검색 데이터 수집할 때 자주 마주치는 문제가 있다. 사이트들이 점점 더 스크래핑을 막는 기술을 도입하면서 requests, aiohttp 같은 기본 HTTP 클라이언트로는 자꾸 403, 429 에러가 뜨는 상황.문제 상황기존에 써오던 HTTP 클라이언트들로는 이런 문제가 생겼다:403 Forbidden, 429 Too Many Requests 같은 오류 계속 발생Cloudflare 같은 보안 솔루션이 적용된 사이트에서 CAPTCHA가 뜸User-Agent 설정해도 스크래핑 방지 우회 안 됨자바스크립트로 동적 생성되는 콘텐츠는 아예 접근 불가이런 문제는 AI 에이전트가 정확한 정보를 제공하는 능력에 직접적인 영향을 줬다.브라우저 지문(Browser Fingerprintin..

Python Asyncio의 이벤트 루프 이해하기Python에서 비동기 프로그래밍을 구현할 때 핵심이 되는 이벤트 루프(Event Loop)에 대하여 설명한다. 이벤트 루프는 모든 asyncio 응용 프로그램의 중심 메커니즘으로, 비동기 태스크들을 효율적으로 관리하고 실행하는 역할을 한다.개요: 이벤트 루프가 필요한 이유파이썬으로 개발 시 웹 페이지 여러 개를 다운로드하거나, API 요청을 동시에 보내야 하는 경우가 발생한다. 이러한 I/O 작업은 대기 시간이 길어서 순차적으로 처리하면 시간이 과도하게 소요된다. 이벤트 루프는 이런 작업들을 효율적으로, 마치 동시에 처리하는 것처럼 관리해준다.1. 이벤트 루프의 개념과 동작 원리개념이벤트 루프는 간단히 말해 실행할 작업들을 관리하는 관리자라고 볼 수 있다..