何をしたいかっていうとブラウザからのアクセスしているかのようにクロールしたいんですよね。ブラウザっぽい挙動といってもHTTPのUserAgentを変えているだけです。 あと、ヘッダからクロール対象かどうか判断しているので、PHPのgetheadersやfileget〜〜関…

もうそろそろ自動化している部分が多くなってきたので、ログを吐き出したい。 とのことで、ログ用クラス作ります

クローラーを作っていきたいと思います。 先のエントリで言ったPHPのクロールライブラリはインターバルが有効では無いみたいで、下手するとひとつのサイトに大量のリクエストが投げられそうな気がしたので断念。 ここからは他人に迷惑をかけそうなところなの…

こんばんは。 前回までで、登録したURLから自動的にダウンロードするロジックが完成しました。 あとは、URLをどうやってもってくるかです。ここでまた、仕様をざっと定義しておきます。 利用者はサイトのドメインを登録する 登録されたサイト内に存在する巨…

前記のCurlでcgiモードでfopen後fcloseしないままだとfopen状態が維持される？のエントリを書きましたが、その続報です。 Curlを利用してファイルポインタから直接ローカルで書き込みを行うと2回fcloseをしなければならないかもしれないです。 fopen後、Curl…

NAS作りました。その時の備忘録。 opensorarisでzfsファイルシステムを使ってRAIDを。 ファイルシステムの構成はUNIXっぽいし、基本的なコマンドは共通しているけど、サービス系コマンドが全然違うのね（；ｗ； とりあえず、GUIでインストール。やることは以…

自動ダウンロードしたファイルをrenameしたするところでハマッタ？のでちと、メモ。 ダウンロードがfopenでCurlからストリームを随時書き込みしているのですが、fcloseを忘れたコードを実行したあと、fcloseを含むコードを実行したらrenameできなくなりまし…

こんばんは。ダウンロード自動化エントリであったダウンロード処理をマルチスレッドで行うことにしました。 順番に処理していったらなかなか終わらないと思うので… というわけで、サイトを参考に作ってみましょう。 ﾊｧﾊｧ、マルチスレッドとか初めて///参考サ…

冒頭から調子に乗りました。ごめんなさいｗ NASについて調べてます。 半自動動画サイトなんで、なんかストレージを大きくした方がいいのかな〜 と思いつつ、論理レベルで容量を拡張できる方法を探していたらNASにたどり着いた感じ。opensolarisのzfsが適して…

前回のエントリでディレクトリにファイルさえおけば自動的に配信状態へ処理されるようになりました。 次はダウンロードの自動化をしたいと思います。 とはいっても漠然としてて大きいので仕様を書いてから仕組みを考えます。 ダウンロード元URLを登録する あ…

PHPでディレクトリ操作を行う為のクラスを作成。 ディレクトリ関係のメソッドはPHPに定義してあるけど、再帰的な処理をしてくれるものが見当たらなかったので作った。 ↓はその一部のソースっす。 public static function getFileList($dirpath, $mode = self…

zipでUPされたときに自動的に展開して動画とか音楽ファイルを抜き出したいので、unzip関数を作って実装… できるだけUnixとwindowsで差異を無くしたいので、unzipコマンドを利用することに ・ ・ ・ windows版のunzipコマンドに展開先ディレクトリを指定でき…

バッチ(動画エンコードプロセス？)ができました。 ダウンロード済みファイルを格納しているディレクトリから登録していないファイルを抽出して自動的にエンコードして公開状態にするバッチ！やったーーー！ 動画以外のファイルを全て弾いて動画だけ公開され…

ffmpeg(windows版) でエンコードテストをしようとがんばっていますが、最近のffmpegでは-vpreを指定しなければならず、初期設定ではエラーが出る。 が、-vpreのプリセットファイル指定の仕方がサイトによってまちまちだし、リファレンスにも例が書いてない。…

なんだかんだでunzipコマンドにファイルリスト表示オプションがあるそうで、展開しなくてもzip判定ができそう。 zipじゃなかったら「zipちゃうやんけ！」って出力されるので、それを受け取って判定するってことで。 unzip -l xxx.zip動画エンコード判定はmed…

土曜日にとあるDDNSの勉強会に行って懇親会で盛り上がってきました。若干リア充(？)ぽくなってきた感じ。 と、それは置いといて。 アップロードしたファイルのファイルチェックをしたい zipの場合、展開して配信ファイルとして有効なファイルを抽出する 動画…

アップロードされたファイルの正体を知らなければエンコードができません。 というわけで、動画ファイルのエンコード形式を見破る（？）ツールを調べてみたらMediaInfoというツールがあるそうなので、もらってきました。 windows版・Linux各ディストリビュー…

昨日、セッション維持ロジックを書きました。 とはいってもユーザー固定でやっちゃってるので、 今日はログインを書きたいと思います。 え、順番が逆じゃないかって？ はい。その通りです。・ ・ （てってってー） ・ ・簡単にid(primary),userid,pass,delet…

先のxmoovStreamを使ったサイト（とは言っても）にログイン＋セッション維持機能を付けてみようと思う。 ログイン成功→memcache＆cookieを使ったセッション維持です。やってみるべ。 ・ ・ ・ Memcacheのモデル書いた。 Cookieのモデル書いた。 セッションの…

xmoovStreamというPHP とFlashの動画配信フレームワークがあります。 それを使って自宅の動画を閲覧できるようにしたいのです。と、いうわけで、とりあえずxmoovStreamが対応しているフォーマットの動画を使ってテスト。 ましろ色シンフォニーのプロモーショ…

お久しぶりです。 前エントリから間があいてしまいました。 心療内科に通わなければならなくて、休んでいましたが、今日から復活です。とりあえず、最近購入した書籍の紹介。 WebDB vol.56 コーディングの基礎知識。"単一責任の原則"など プログラミング作法…