こんにちは。 先の動画サイトにやりこみすぎて飽きてしまった（？）主です。 結局、動画サイトのバックエンドはできて、適当なUI作ってできました。 機能的に足りないところがありますので、もう少し追加したら公開するかもしれません。 さて、１ヶ月ぶりの…

ネットワークドライブ(NASによるSAMBAサーバー)を使って動画をダウンロードしたいと思います。NASにはSAMBA認証をかけてあって、一度認証しないと内部ファイルにアクセスできないようになっています。とりあえず、調べるとPHPにはネットワークドライブのラッ…

こんにちはー。再構築といいつつ、しばらく手を休めてましたが再開しました。 さて、Webページのスクレイピングですが、SimpleXMLとTidy関数を使います流れとしては、 - Tidy関数でHTMLを整形 - SimpleXML化 - Xpathで抽出 HTML整形のこーどは以下の通り。 $…

こんにちは。 今まで、勢いでやってきた動画への道ですが、ここらへんでいろいろな問題が出てきました。…というか、再構築していて気づいた…どんなことかというと、 自動化（ダウンロードなど）バッチのアルゴリズムの変更に手間がかかる。 DBアクセス周りが…

せっかく回線持ってるので、テザリングしたいなーと思っています。 欲をいえば冗長化したい。 ガタイはnetwalker。USBポート→netwalker→無線LANへ流したい… 冗長化と言うには弱いですが、そういうところの経験も積みたい。 というわけで、Netwalkerでテザリ…

こんにちは。ちょっと間を空けていました。 さて、前回エントリのクローラーですが、試行錯誤の結果、大体（？）完成。 ３回ぐらい書きなおしましたですよ 他の実装予定部分は今のところ置いといてます。 ↓実装予定 ・アクセスのインターバル ・逆順クロール…

先に書いたクローラーを稼働中です。 一応、実装できたのは幅優先のクローリング。 リンクを階層に分けてクロールしていくタイプです。 今多分40万ぐらいのリンク踏んでるハズ…もちろん重複リンクはリンクから落としてあります。 で、クロールロジックって初…

何をしたいかっていうとブラウザからのアクセスしているかのようにクロールしたいんですよね。ブラウザっぽい挙動といってもHTTPのUserAgentを変えているだけです。 あと、ヘッダからクロール対象かどうか判断しているので、PHPのgetheadersやfileget〜〜関…

もうそろそろ自動化している部分が多くなってきたので、ログを吐き出したい。 とのことで、ログ用クラス作ります

クローラーを作っていきたいと思います。 先のエントリで言ったPHPのクロールライブラリはインターバルが有効では無いみたいで、下手するとひとつのサイトに大量のリクエストが投げられそうな気がしたので断念。 ここからは他人に迷惑をかけそうなところなの…

こんばんは。 前回までで、登録したURLから自動的にダウンロードするロジックが完成しました。 あとは、URLをどうやってもってくるかです。ここでまた、仕様をざっと定義しておきます。 利用者はサイトのドメインを登録する 登録されたサイト内に存在する巨…

前記のCurlでcgiモードでfopen後fcloseしないままだとfopen状態が維持される？のエントリを書きましたが、その続報です。 Curlを利用してファイルポインタから直接ローカルで書き込みを行うと2回fcloseをしなければならないかもしれないです。 fopen後、Curl…

NAS作りました。その時の備忘録。 opensorarisでzfsファイルシステムを使ってRAIDを。 ファイルシステムの構成はUNIXっぽいし、基本的なコマンドは共通しているけど、サービス系コマンドが全然違うのね（；ｗ； とりあえず、GUIでインストール。やることは以…

自動ダウンロードしたファイルをrenameしたするところでハマッタ？のでちと、メモ。 ダウンロードがfopenでCurlからストリームを随時書き込みしているのですが、fcloseを忘れたコードを実行したあと、fcloseを含むコードを実行したらrenameできなくなりまし…

こんばんは。ダウンロード自動化エントリであったダウンロード処理をマルチスレッドで行うことにしました。 順番に処理していったらなかなか終わらないと思うので… というわけで、サイトを参考に作ってみましょう。 ﾊｧﾊｧ、マルチスレッドとか初めて///参考サ…

冒頭から調子に乗りました。ごめんなさいｗ NASについて調べてます。 半自動動画サイトなんで、なんかストレージを大きくした方がいいのかな〜 と思いつつ、論理レベルで容量を拡張できる方法を探していたらNASにたどり着いた感じ。opensolarisのzfsが適して…

前回のエントリでディレクトリにファイルさえおけば自動的に配信状態へ処理されるようになりました。 次はダウンロードの自動化をしたいと思います。 とはいっても漠然としてて大きいので仕様を書いてから仕組みを考えます。 ダウンロード元URLを登録する あ…

PHPでディレクトリ操作を行う為のクラスを作成。 ディレクトリ関係のメソッドはPHPに定義してあるけど、再帰的な処理をしてくれるものが見当たらなかったので作った。 ↓はその一部のソースっす。 public static function getFileList($dirpath, $mode = self…

zipでUPされたときに自動的に展開して動画とか音楽ファイルを抜き出したいので、unzip関数を作って実装… できるだけUnixとwindowsで差異を無くしたいので、unzipコマンドを利用することに ・ ・ ・ windows版のunzipコマンドに展開先ディレクトリを指定でき…

バッチ(動画エンコードプロセス？)ができました。 ダウンロード済みファイルを格納しているディレクトリから登録していないファイルを抽出して自動的にエンコードして公開状態にするバッチ！やったーーー！ 動画以外のファイルを全て弾いて動画だけ公開され…

ffmpeg(windows版) でエンコードテストをしようとがんばっていますが、最近のffmpegでは-vpreを指定しなければならず、初期設定ではエラーが出る。 が、-vpreのプリセットファイル指定の仕方がサイトによってまちまちだし、リファレンスにも例が書いてない。…

なんだかんだでunzipコマンドにファイルリスト表示オプションがあるそうで、展開しなくてもzip判定ができそう。 zipじゃなかったら「zipちゃうやんけ！」って出力されるので、それを受け取って判定するってことで。 unzip -l xxx.zip動画エンコード判定はmed…

土曜日にとあるDDNSの勉強会に行って懇親会で盛り上がってきました。若干リア充(？)ぽくなってきた感じ。 と、それは置いといて。 アップロードしたファイルのファイルチェックをしたい zipの場合、展開して配信ファイルとして有効なファイルを抽出する 動画…

アップロードされたファイルの正体を知らなければエンコードができません。 というわけで、動画ファイルのエンコード形式を見破る（？）ツールを調べてみたらMediaInfoというツールがあるそうなので、もらってきました。 windows版・Linux各ディストリビュー…

昨日、セッション維持ロジックを書きました。 とはいってもユーザー固定でやっちゃってるので、 今日はログインを書きたいと思います。 え、順番が逆じゃないかって？ はい。その通りです。・ ・ （てってってー） ・ ・簡単にid(primary),userid,pass,delet…

先のxmoovStreamを使ったサイト（とは言っても）にログイン＋セッション維持機能を付けてみようと思う。 ログイン成功→memcache＆cookieを使ったセッション維持です。やってみるべ。 ・ ・ ・ Memcacheのモデル書いた。 Cookieのモデル書いた。 セッションの…

xmoovStreamというPHP とFlashの動画配信フレームワークがあります。 それを使って自宅の動画を閲覧できるようにしたいのです。と、いうわけで、とりあえずxmoovStreamが対応しているフォーマットの動画を使ってテスト。 ましろ色シンフォニーのプロモーショ…

お久しぶりです。 前エントリから間があいてしまいました。 心療内科に通わなければならなくて、休んでいましたが、今日から復活です。とりあえず、最近購入した書籍の紹介。 WebDB vol.56 コーディングの基礎知識。"単一責任の原則"など プログラミング作法…

2〜3日に1回ほどのペースで記事にしていく（１エントリー完結で） PHPサイバーテロの技法→購入。 WEBDBなどの技術系雑誌も購入。 ＜OpenSocialアプリ＞ 友達IDを回帰取得したい。 ソフトウェア開発技術者の勉強もはじめた

サニタイズ ブラウザに出力する文字列に悪意のあるコードが仕込まれても良いように対策すること。 HTML出力用サニタイズとSQL用サニタイズがある。 HTTP リファラー あるサイトへのリンク元アドレス。どこのサイトから来たのがわかる。CSRF対策に使われるが…