robots.txt チェック

サイト URL を入力すると /robots.txt を取得し、User-agent 別に整理して表示します。