クローリングしたい＠動画サイトへの道

こんばんは。
前回までで、登録したURLから自動的にダウンロードするロジックが完成しました。
あとは、URLをどうやってもってくるかです。

ここでまた、仕様をざっと定義しておきます。

• 利用者はサイトのドメインを登録する
• 登録されたサイト内に存在する巨大ファイル(zip.mpg.mp3など）のURLをシステムへ登録する

…以上。簡単じゃないか　ヽ（゜∀゜）ノ
いやいや、難しいですよ
多分、クローリングになるとおもうのですが、クローリングのロジックが全然思い浮かばない…
・
・
・
自宅の書物を物色。
（どっかにクローリングのロジックが書いてあった気がする…）
・
・
・
ううむ、今思ったんだけど、パラメーターを試行して欲しいな。
page=1とかあったら2,3,4,5を試行してとってくるとか。でも難しいな。

…ううむ、でもwgetには頼りたくないｗ

・
・
・

調べていくとPHPでクロール用のライブラリ？がある模様。
考えることは一緒なんだなー

スパイダーとクローラーって違う役目なんですね。初めて知った