robots.txtを取得しクロール拒否されていないかチェック① - Qiita

概要robots.txtを取得しクロール拒否されていないかをチェックするプログラムをPHPで作成したいと思います。今回は、robots.txtを取得する処理を作成します。次回は、クロール拒否さ…