先に書いたクローラーを稼働中です。 一応、実装できたのは幅優先のクローリング。 リンクを階層に分けてクロールしていくタイプです。 今多分40万ぐらいのリンク踏んでるハズ…もちろん重複リンクはリンクから落としてあります。 で、クロールロジックって初…