今までLinux(Fedora11)はYumに頼っていたのですが、PHP5.3を導入するとモジュールの関係でApache、Subversionなど連鎖的にソースインストール切り替え(＆し直さ)なければなりません。 今までバイナリでインストしていた人も、Yumの人もソースインストールと…
ApacheとPHPをアップデートしたので、備忘録 Apache:2.2.17 ./configure --enable-rewrite --enable-vhost-alias --enable-ssl --enable-so --with-apxs2 PHP:5.3.5 ./configure --cache-file=/tmp --with-apxs2=/usr/local/apache2/bin/apxs --with-config-…
ちょっと前にNASが復活したので、去年作った動画サイトの動画収集スクリプトを動かしてまったりしてました。 最近、上のサイトのフレームワークを改修してます。 会社のとあるフレームワークを元にして作らせていただきましたが、既に原型を留めていません。…
先のopensolarisの開発が終了し、不具合(Sambaの設定が変わらない)が治らなさそうなので、思い切って後続プロジェクトのsolaris 11 expressへ切り替えることにした。 そこでネットワークがつながる(＝名前解決できてブラウザが普通に使える) ようになるまで…
明けましておめでとうございます！＆お久しぶりです。 ブログ再開しようかと思いました。 去年までは、いろいろコケていて後悔ばかりの年でした。 今年は気にせず前進していこうかと思っています。 今年のコンセプトは "身の回りの整備・最適化" ええ、プロ…
こんにちは。 先の動画サイトにやりこみすぎて飽きてしまった（？）主です。 結局、動画サイトのバックエンドはできて、適当なUI作ってできました。 機能的に足りないところがありますので、もう少し追加したら公開するかもしれません。 さて、１ヶ月ぶりの…
ネットワークドライブ(NASによるSAMBAサーバー)を使って動画をダウンロードしたいと思います。NASにはSAMBA認証をかけてあって、一度認証しないと内部ファイルにアクセスできないようになっています。とりあえず、調べるとPHPにはネットワークドライブのラッ…
こんにちはー。再構築といいつつ、しばらく手を休めてましたが再開しました。 さて、Webページのスクレイピングですが、SimpleXMLとTidy関数を使います流れとしては、 - Tidy関数でHTMLを整形 - SimpleXML化 - Xpathで抽出 HTML整形のこーどは以下の通り。 $…
こんにちは。 今まで、勢いでやってきた動画への道ですが、ここらへんでいろいろな問題が出てきました。…というか、再構築していて気づいた…どんなことかというと、 自動化（ダウンロードなど）バッチのアルゴリズムの変更に手間がかかる。 DBアクセス周りが…
せっかく回線持ってるので、テザリングしたいなーと思っています。 欲をいえば冗長化したい。 ガタイはnetwalker。USBポート→netwalker→無線LANへ流したい… 冗長化と言うには弱いですが、そういうところの経験も積みたい。 というわけで、Netwalkerでテザリ…
こんにちは。ちょっと間を空けていました。 さて、前回エントリのクローラーですが、試行錯誤の結果、大体（？）完成。 ３回ぐらい書きなおしましたですよ 他の実装予定部分は今のところ置いといてます。 ↓実装予定 ・アクセスのインターバル ・逆順クロール…
先に書いたクローラーを稼働中です。 一応、実装できたのは幅優先のクローリング。 リンクを階層に分けてクロールしていくタイプです。 今多分40万ぐらいのリンク踏んでるハズ…もちろん重複リンクはリンクから落としてあります。 で、クロールロジックって初…
何をしたいかっていうとブラウザからのアクセスしているかのようにクロールしたいんですよね。ブラウザっぽい挙動といってもHTTPのUserAgentを変えているだけです。 あと、ヘッダからクロール対象かどうか判断しているので、PHPのgetheadersやfileget〜〜関…
もうそろそろ自動化している部分が多くなってきたので、ログを吐き出したい。 とのことで、ログ用クラス作ります
クローラーを作っていきたいと思います。 先のエントリで言ったPHPのクロールライブラリはインターバルが有効では無いみたいで、下手するとひとつのサイトに大量のリクエストが投げられそうな気がしたので断念。 ここからは他人に迷惑をかけそうなところなの…
こんばんは。 前回までで、登録したURLから自動的にダウンロードするロジックが完成しました。 あとは、URLをどうやってもってくるかです。ここでまた、仕様をざっと定義しておきます。 利用者はサイトのドメインを登録する 登録されたサイト内に存在する巨…
前記のCurlでcgiモードでfopen後fcloseしないままだとfopen状態が維持される？のエントリを書きましたが、その続報です。 Curlを利用してファイルポインタから直接ローカルで書き込みを行うと2回fcloseをしなければならないかもしれないです。 fopen後、Curl…
NAS作りました。その時の備忘録。 opensorarisでzfsファイルシステムを使ってRAIDを。 ファイルシステムの構成はUNIXっぽいし、基本的なコマンドは共通しているけど、サービス系コマンドが全然違うのね（；ｗ； とりあえず、GUIでインストール。やることは以…
自動ダウンロードしたファイルをrenameしたするところでハマッタ？のでちと、メモ。 ダウンロードがfopenでCurlからストリームを随時書き込みしているのですが、fcloseを忘れたコードを実行したあと、fcloseを含むコードを実行したらrenameできなくなりまし…
こんばんは。ダウンロード自動化エントリであったダウンロード処理をマルチスレッドで行うことにしました。 順番に処理していったらなかなか終わらないと思うので… というわけで、サイトを参考に作ってみましょう。 ﾊｧﾊｧ、マルチスレッドとか初めて///参考サ…
冒頭から調子に乗りました。ごめんなさいｗ NASについて調べてます。 半自動動画サイトなんで、なんかストレージを大きくした方がいいのかな〜 と思いつつ、論理レベルで容量を拡張できる方法を探していたらNASにたどり着いた感じ。opensolarisのzfsが適して…
前回のエントリでディレクトリにファイルさえおけば自動的に配信状態へ処理されるようになりました。 次はダウンロードの自動化をしたいと思います。 とはいっても漠然としてて大きいので仕様を書いてから仕組みを考えます。 ダウンロード元URLを登録する あ…
PHPでディレクトリ操作を行う為のクラスを作成。 ディレクトリ関係のメソッドはPHPに定義してあるけど、再帰的な処理をしてくれるものが見当たらなかったので作った。 ↓はその一部のソースっす。 public static function getFileList($dirpath, $mode = self…
zipでUPされたときに自動的に展開して動画とか音楽ファイルを抜き出したいので、unzip関数を作って実装… できるだけUnixとwindowsで差異を無くしたいので、unzipコマンドを利用することに ・ ・ ・ windows版のunzipコマンドに展開先ディレクトリを指定でき…
バッチ(動画エンコードプロセス？)ができました。 ダウンロード済みファイルを格納しているディレクトリから登録していないファイルを抽出して自動的にエンコードして公開状態にするバッチ！やったーーー！ 動画以外のファイルを全て弾いて動画だけ公開され…
ffmpeg(windows版) でエンコードテストをしようとがんばっていますが、最近のffmpegでは-vpreを指定しなければならず、初期設定ではエラーが出る。 が、-vpreのプリセットファイル指定の仕方がサイトによってまちまちだし、リファレンスにも例が書いてない。…
なんだかんだでunzipコマンドにファイルリスト表示オプションがあるそうで、展開しなくてもzip判定ができそう。 zipじゃなかったら「zipちゃうやんけ！」って出力されるので、それを受け取って判定するってことで。 unzip -l xxx.zip動画エンコード判定はmed…
土曜日にとあるDDNSの勉強会に行って懇親会で盛り上がってきました。若干リア充(？)ぽくなってきた感じ。 と、それは置いといて。 アップロードしたファイルのファイルチェックをしたい zipの場合、展開して配信ファイルとして有効なファイルを抽出する 動画…
アップロードされたファイルの正体を知らなければエンコードができません。 というわけで、動画ファイルのエンコード形式を見破る（？）ツールを調べてみたらMediaInfoというツールがあるそうなので、もらってきました。 windows版・Linux各ディストリビュー…
昨日、セッション維持ロジックを書きました。 とはいってもユーザー固定でやっちゃってるので、 今日はログインを書きたいと思います。 え、順番が逆じゃないかって？ はい。その通りです。・ ・ （てってってー） ・ ・簡単にid(primary),userid,pass,delet…
