クローラとは？

コンピュータがWebサイトにアクセスしてそのコンテンツを取得するためのプログラム。

例えばGoogleがあらゆるWebサイトをインデックスしているのも、クローラでその内容を取得していることによる。