何をしたいかっていうとブラウザからのアクセスしているかのようにクロールしたいんですよね。
ブラウザっぽい挙動といってもHTTPのUserAgentを変えているだけです。
あと、ヘッダからクロール対象かどうか判断しているので、PHPのgetheadersやfileget〜〜関数を利用するとどうしても2リクエストしてしまうので、それは避けたい。
ただ、何気に大変そうなのでモードによってUA変えてLocationがあればもう一回リクエストを投げる程度ですがｗ
それに伴ってHTTP周りのクラスも作成。
ある程度できた時点で載せるかもです。
