웹 크롤러는 무슨 일을 하는 컴포넌트인지 설명해보세요.
웹 크롤러를 설계할 때는 대상 호스트에 너무 많은 요청이 가도록 하면 안됩니다. 어떻게 요청을 제어할 수 있습니까?
URL에 우선순위를 두어 다운로드하려면 어떤 작업을 해야합니까?
검색 엔진이 어떻게 동작하는지 아는대로 설명해보세요.