Webox概要

Webox(ウェボックス)は、ウェブページをPCに取り込んでオフラインで管理するソフトです。ウェブサイト全体をダウンロードすることもできます。同様のウェブ巡回ソフトに、巡集、GetHTMLWなどいくつかあります。私がWeboxを使う理由は単に、他のソフトをよく知らないからです。

この手のソフトは、旅行者にもってこいです、あらかじめ必要な旅行情報をラップトップにダウンロードしておけば、現地でインターネットを探す手間が省けます。ネットカフェのない街もあれば、ラップトップをつながせてもらえない場合もあるからです。お気に入りの旅行サイトを前もってダウンロードしておき、好きな時間に好きな場所で読むのです。この記事では、サイトの種類別に、Weboxの設定方法とコツを紹介していきます。

何が取り込めるか

ほとんどのページはそのままダウンロードされますが、例外的に取り込めないページやファイルがあります。

• HTML以外の単体ファイル
  • Word、Excel、PDF、JPG他、リンクさえ張られていれば問題なくダウンロードできます。
• ウェブページの構成要素
• ウェブページに埋め込まれたファイル - CSSファイル、スクリプトファイル、画像、動画、フラッシュなどの外部ファイルは基本的に取り込まれます。
• ただ、IFRAMEが無効になる仕様なようで、Gmapや一部広告画像はダウンロードされません。
• JavaScriptを使って、ページデザインや画像をクライアント側で変更してしまうページはうまく対応できません。基本的に、WeboxはJavascriptを処理しません。
• オフラインだと機能しないもの
  • Youtubeの埋め込みオブジェクトは、ネットワークにつながっていないと再生できません。サンプル画像は取り込まれていますが、動画はまだ外部サーバーにあるからです。
  • Google広告など、クライアント側で動的に挿入されるものは、オフライン時に表示されません。必要なJavascriptは取り込み済みなのですが、サーバーにアクセスできないと機能しないのです。最初からページに埋め込まれた広告は問題ありません。
• リンクが辿れないもの
  • 人の介入が前提のものは、Weboxなどの巡回ソフトでは処理しない傾向があります。例えばフォームのように、リストから何かを選んでOKボタンを押すようなもの。このようなサイトデザインの場合、これ以上先に巡回されません。
  • JavaScriptが動的に作るリンクは辿れません。逆にA REFタグでリンク先が明示されていれば、それがパラメターを含んだ動的なページであっても、たどっていきます。

使い方

この記事では、サイトを丸ごと取り込むことを前提に話を進めます。

基本設定

サイト全体をダウンロードする場合、設定は基本的に次の３点。

1. アドレス (例: http://siteA.com/user1/index.htm)
   このページを基点としてウェブの巡回を始めます。まず、アドレス欄にURLを入れて、そのページをWeboxに表示させます。
2. リンクを巡る際の部分ＵＲＬ (例: http://siteA.com/user1/)
   (メニュー: 操作 -> 取り込み -> 表示中のサイト取り込み)
   またはアドレス欄の３つ横のアイコンをクリックすると、巡回を始める前にダウンロード設定の画面が出てきます(左下の画像)。ここで部分ＵＲＬを指定し、そのディレクトリ傘下にあるページだけを取り込むようにします。ページの構成要素である画像ファイルやCSSファイルなどは、どこにあってもかまいません。
3. リンクを巡る回数 (例: Level 5)
   (メニュー: #2に同じ)
   X回リンクを辿ったところで巡回を終了するように設定します。ほとんどのサイトの場合、余裕を持って大きな数字を指定しておいても問題ありません。 一度訪れたページは取り込まれません。最後に[OK]を押してサイトの取り込みを開始します。

その他の設定

その他、次のような設定も必要に応じて使います。

• サイトダウンロードにおけるディレイ
  (メニュー: 設定 -> 取り込み設定 -> ネットワーク -> 負荷軽減用の設定)
  相手サーバーに負荷をかけないように、次のページをダウンロードするまでの待ち時間を設定できます。他の巡回ツールが半強制的に待ち時間を設定しているのに対し、Weboxでは待ち時間なしにも設定できます。
• スレッド同時チェック数 (メニュー: 設定 -> 取り込み設定 -> ネットワーク)
  この数を増やせば、多少処理時間が短縮されますが、Weboxが不安定になります。
  
• 取り込み拒否 (メニュー: 設定 -> 取り込み設定 ->　取り込み拒否)
  パターンにマッチしたページやファイルを取り込まないようにします。パターン表記には正規表現が使われます。(右上の画像)

閲覧

ダウンロードしたページはネットに接続しなくても閲覧できます。取り込まれたサイトはディスクにファイルとして保存され、IEやFirefoxなど一般のブラウザーで読むことができます。ただ、一部の拡張子のないファイルは、Webox内臓のブラウザーでしか表示できません。

個人サイト

個人や会社が作ったウェブサイトをまるごと取り込むのが目的です。主に、無料ホスティング・サービスを使ったサイトを想定しています。個人サイトの場合、動的コンテンツが少なく、構造もシンプルなので、Webox的には組しやすいところです。

サイトの構造

サイトのトップページは、 sekakoh.web.fc2.com など、ディレクトリー名よりもサブドメイン名でユーザーを区別したものが主流です。独自ドメインを持っているサイトもあります。基本的に、これらのサーバー名やディレクトリー名の下にすべてのコンテンツが置かれています。リンクの深さはサイトによりますが、2-5くらいでしょうか。この世界攻略ジャーナルの場合、トップページ -> メニューページ -> 各記事の三層構造になっているので、リンクの深さは2になります。個人サイトは基本的には静的ファイルで構成されているので、リンクを多めに設定しても悪影響はありません。

サイトにブログへのリンクを張っている人もいますが、ブログは別サーバーになるので同時にダウンロードすることはできません。

Webox の設定

実験

いくつかサイトをピックアップして実験してみました。すべて大きな問題はなし。

• 世界攻略ジャーナル
  アドレス欄: http://sekakoh.web.fc2.com/
  部分URL: http://sekakoh.web.fc2.com/
  リンクを辿る回数: 2
  結果: 51ページと800個の画像ファイル、計14.6MBを13分でダウンロード。
• とある旅行会社のサイト
  アドレス欄: http://www.?????.co.jp/
  部分URL: http://www.?????.co.jp/
  リンクを辿る回数: 3
  結果: 1107ページと1230個の画像ファイルページ、計53.7MBを19分でダウンロード。
• 地球の歩き方　国別基本情報
  アドレス欄: http://www.arukikata.co.jp/country/
  部分URL: http://www.arukikata.co.jp/country/
  リンクを辿る回数: 3 (多分2で十分)
  結果: 920ページと1000個の画像ファイルページ、計64.8MBを17分でダウンロード。
  
• @NIFTY デイリーポータル　（暇つぶし用の読み物）
  アドレス欄: http://portal.nifty.com/backnumber/index.htm
  部分URL: http://portal.nifty.com/2008/03/　(2008年3月分のバックナンバーのみ取り込み)
  リンクを辿る回数: 10
  結果: 232ページと2397個の画像ファイルページ、計269MBを26分でダウンロード。部分URLを/2009/にすれば2009年のバックナンバーすべて、さらに2009を取れば過去数年分のバックナンバーすべてが取り込めます。動画ファイルが不要ならば、WMAファイルを取り込み拒否してください。
  

ローカルコピー

• ローカルにコピーされるファイルの日付は、サーバー上のものと基本的に同じです。
• ファイル名が省略されているページはindex.htmlに置き換えられます。 よって、普通のサイトならすべてのページに明示的なファイル名と拡張子がつくので、一般のブラウザーでも閲覧できます。

フォートラベル

４TRAVELに投稿されている旅行記をまとめてダウンロードするのが目的です。 旅行記の投稿サイトはいくつかありますが、フォートラベルが一番メジャーだと思われます。まぐまぐやMSN Travelにも、全く同じものがフィードされています。

サイトの構造

URLはこのようになっています。

Webox の設定

特定のお気に入り旅行者の旅行記すべてをダウンロードします。

実験

自分のサイトで試してみます。アクセス数がおかしくなるので実験しないでください。

• 世界攻略者さんの旅行ブログ
  アドレス欄: http://4travel.jp/traveler/sekai_koryaku/album/
  部分URL: http://4travel.jp/traveler/sekai_koryaku/album/
  リンクを辿る回数: 2
  結果: 47個の旅行記と726個の画像ファイルを10分でダウンロード。同時に、アクセスカウンターが50ほど増えました。
• 4TRAVELとWeboxの組み合わせには、一つ大きな問題があります。フォートラベルのウェブページは少し凝ったデザインになっていて、旅行記内の画像ファイルは次のように処理されます。
  1. トップの画像以外は解像度を低くした画像ファイルがダウンロードされます。
  2. ページを一通り読み込んだ後、、JavaScriptを使って各画像をオリジナルの高解像度のファイルに置き換えていきます。

  Weboxはステップ#１しか処理しないので、ダウンロードされたページの写真は低解像度のままです。4TRAVELの旅行記の多くは、文章より写真中心なので、これは大きな問題です。Weboxではなく、ブラウザーの「ページを保存」機能を使えば、この問題を回避できますが、１ページずつ自分で保存しなくてはいけません。巡集はJavaScript対応との話ですので、試してみる価値はあります。
  

ローカルコピー

ローカルディスクには、次のように保存されます。サーバーはすべて - http://4travel.jp/

• 旅行記一覧の２ページ以降は、拡張子のないファイルとして保存されるため、一般のブラウザーからは読めません。それを回避する方法はなくはないですが、少々面倒です。よって、ダウンロードされたファイルは、Webox組み込みのブラウザーで閲覧することになります。

さらに分析

• 口コミ情報も、次のＵＲＬをアドレス欄・部分ＵＲＬに指定すれば一括ダウンロードできるはずです。
  • http://4travel.jp/traveler/ユーザーID/tips/
• 特定の観光地の旅行記一覧は、次のＵＲLからアクセスできます。
  • http://4travel.jp/overseas/area/地域/国/都市名/travelogue/
    例えばネパール・ヒマラヤの場合、http://4travel.jp/overseas/area/asia/nepal/himalaya/travelogue/
  これらも一括でダウンロードできたらいいのですが、サイトの構造上、Weboxには無理そうです。

したらば掲示板

私設BBSの開設が容易なライブドアしたらば掲示板。 スレッドの集合体である板を丸ごとダウンロードします。

サイトの構造

URLはこのようになっています。URLのサーバー部分はすべてhttp://jbbs.livedoor.jp/。

Webox の設定

ダウンロードしたいのは「スレッド一覧」と「スレッドのレスを全部表示」のページのみ。その他は、内容がダブっているので取り込み拒否設定で無視することにします。ただ、サイトのデザイン上、「スレッド一覧」と「スレッドのレスを全部表示」の間に、必ず「スレッドの最新の５０レスを表示」が入ります。ですので、これも取り込むようにします。

実験

2つの掲示板を試しました。

• 旅行人 遊星旅社 海外現地情報板
  アドレス欄: http://jbbs.livedoor.jp/bbs/subject.cgi/travel/7695/
  部分URL: http://jbbs.livedoor.jp/bbs/read.cgi/travel/7695/
  リンクを辿る回数: 2
  取り込み拒否: /\/[n\-\d]+$/
  結果: 206個のスレッドを5分でダウンロード。
• タイちゃんねる BBS
  アドレス欄: http://jbbs.livedoor.jp/bbs/subject.cgi/travel/3341/
  部分URL: http://jbbs.livedoor.jp/bbs/read.cgi/travel/3341/
  リンクを辿る回数: 2
  取り込み拒否: /\/[n\-\d]+$/
  結果: 294個のスレッドを11分でダウンロード。

ローカルコピー

ローカルディスクには、次のように保存されます。

これは２つのことを意味しています。

• スレッド毎に２つのページが取り込まれるので、少なくとも(スレッドの数 x 2)個のページがダウンロードされる。
• l50は拡張子のないページなので、一般のブラウザーではなく、Webox組み込みのブラウザーでしか閲覧できません。これを回避するには、スレッド一覧のindex.htmlを開けて、中のl50をすべてindex.htmlに置き換えるという方法があります。そうすれば、IEやFirefoxなどのブラウザーでも読めます。

さらに分析

• ページの最後にアマゾンの広告画像が出ます。これはそれほど邪魔ではありませんが、もしダウンロードしたくない場合は、取り込み拒否に /amazon/ や /\.(jpg|JPG|gif|GIF)$/などを加えることで対処できます。
• 過去ログ倉庫にあるスレッドは、次のように設定すれば取り込めます。
  • 起点ＵＲＬ: /bbs/storage.cgi/カテゴリー名/掲示板番号/
  • 部分ＵＲＬ: /カテゴリー名/掲示板番号/storage/

2ch 掲示板

ご存知２ちゃんねる掲示板。スレッドの集合体である板を丸ごとダウンロードします。２ちゃんねるは、したらばと同じスタイルの掲示板ですが、２つのアクセス規制がかかっているので対処が必要です。

• 一定時間にたくさんアクセスすると、そのIPからのアクセスを受け付けなくなる。
• DAT落ちした過去スレは、専用ブラウザを使わないと見られない。

サイトの構造

URLはこのようになっています。ディレクトリー名が少し違う以外は、したらば掲示板と同じです。

URLのサーバー部分はhttp://サーバー名.2ch.net/。 板によってサーバー名が異なります。

Webox の設定

したらば同様、ダウンロードしたいのは「スレッド一覧」と「スレッドのレスを全部表示」のページのみ。

• 上記の設定では、アクティ ブなスレッドしかダウンロードされません。過去のものに関しては、後ほど説明します。
• アクセス規制にひっかからないように、負荷軽減用の設定が必要です。[サイトダウンロードにおけるディレイ]が10秒(10000ms)の場合、ページをダウンロードしてから、次のページを取り込むまで10秒待つという設定です。何秒が最適かは正直わかりません。10秒なら確実ですが、全体をダウンロードするのに時間がかかります。短すぎると規制にひっかかり、しばらく同じＩＰアドレスからのアクセスが拒否されます。

実験

2つの掲示板を試しました。

• 外国語（英語除く）＠2ch掲示板
  アドレス欄: http://academy6.2ch.net/gogaku/subback.html
  部分URL: http://academy6.2ch.net/test/read.cgi/gogaku/
  リンクを辿る回数: 2
  取り込み拒否: /\/[n\-\d]+$/
  サイトダウンロードにおけるディレイ:　5000ms (5秒)
  結果: 413個のスレッドを1時間50分でダウンロード。
• 海外旅行＠2ch掲示板
  アドレス欄: http://love6.2ch.net/oversea/subback.html
  部分URL: http://love6.2ch.net/test/read.cgi/oversea/
  リンクを辿る回数: 2
  取り込み拒否: /\/[n\-\d]+$/
  サイトダウンロードにおけるディレイ:　3000ms (3秒)
  結果: 631個のスレッドを2時間でダウンロード。

ローカルコピー

ローカルディスクには、次のように保存されます。

したらば同様、スレッド毎に２つのページが取り込まれます。また、subback.htmlを開けて、l50をindex.htmlに置換すれば一般のブラウザーからも読むことができます。

さらに分析 - 過去のスレッド

• 2ちゃんねるの過去スレを取得する方法はいくつかあります。
1. 専用ブラウザーを使い、購読料を払って見る方法。これが標準的な方法です。
2. 有志が特定トピックのスレッドをコピーして、他のサーバーに保管、公開しているのを見る。これらのサイトは法的にはグレイですが、利益目的ではないので見逃されています。
3. ２ちゃんねるの過去スレッドを勝手に公開してアクセスを稼いでいるサイト。これは一番便利ですが、いつなくなるかわかりません。それぞれの方法について、Weboxを絡めながら見ていきます。
• 専用ブラウザー
  ２ちゃんねるでDAT落ちしたスレッド、つまり1000レス越えたものやアクセスがなくてスレッド一覧から消えてしまったものは、専用ブラウザー(2ちゃんねるブラウザ)を使って閲覧、ダウンロードできます。その場合、購読料が年間33ドルかかります。専用ブラウザーの中には、「禁断の壷」などプロキシー型のものもあるので、Weboxと組み合わせて使うこともできます。

• メニュー: 設定 -> 取り込み設定 -> プロキシ設定

ここからは、海外旅行板のインド統一スレッドを例にお話します。このスレッドはすでにパート46を越えています。専用ブラウザを使えば、パート1から45までの過去の分も読むことができます。通常、最新スレッドには、過去スレへのリンク一覧が載っています。それを起点にして全スレッドすべてを取り込みたいところですが、１つ問題があります。過去スレッドが保存されているサーバーは、いつも同じではないのです。インド統一スレッドの場合、

• パート４ - パート１０:travel.2ch.net
• パート11 - パート29: travel2.2ch.net
• パート30以降: love6.2ch.net

のようにバラバラです。Weboxでは部分URLをひとつしか設定できないので、何回かに分けてダウンロードする必要があります。それなら、ブラウザーで１ページづつ保存するか、他の巡回ソフトを当たってみたほうがよさそうです。

• 有志の保存サイト
  これはボランティアの世界なので、ダウンロードしたいスレッドが保存されているとは限りません。例えばインド統一スレッドの場合、パート24までは次のサイトに保管されています。
  • http://www.geocities.jp/india_chai/top.html
  このようなサイトの場合、サーバー名不一致の問題はないので、Weboxが有効に使えます。
  

• 過去スレ検索サイト
  

これは本家のサービスと違い、無料です。代表的なのはunkarでしょうか。

• http://www.unkar.org/2ch/search.php

ここから「インド・印度」で検索すると14件ひっかかります。あくまでスレッド・タイトルでの検索なので、同じシリーズのスレッドでも、タイトル名に一貫性がないと一覧に出てきません。これは大きな欠点ですが、利点もあります。例えば「タイ語」で検索すると、タイ語総合スレッド以外の関連スレも出てきます。 これらを一気にダウンロードするには、

• 起点URL: 検索結果のページ
• 部分URL: http://www.unkar.org/
• リンクの深さ: 1

と設定すればＯＫです。

 

ブログ

現在、旅日記の主流はブログです。お気に入りの旅行ブログなどを取り込むのが目的です。

過去の記事をすべて取り込むことは可能ですが、ブログサービスによってその難易度は様々です。具体的には、日記一覧のメニューがよくまとまっているブログは、ダウンロードしやすく、閲覧もしやすい。また、１ページにたくさんの日記エントリーが載っていると、リンクを辿る回数が減るので、これも助かります。そういう観点から言えば、はてなダイアリーやYahoo!ブログは扱いやすく、アメーバは最悪です(設定による)。

サイトの構造

サイトの構造は、ブログサービス毎に違います。アメブロの場合こうなっています。

Webox の設定

特定ユーザーのすべてのブログエントリーをダウンロードします。

実験

はてなダイアリーのとある個人グログをダウンロードしてみました。

• はてなダイアリー
  アドレス欄: http://d.hatena.ne.jp/User ID/archive/ (日記一覧ページ)
  部分URL:http://d.hatena.ne.jp/User ID/
  リンクを辿る回数: 2
  取り込み拒否: /amazon/
  結果: 746件の日記と2028個の画像ファイル、計130MBを90分でダウンロード。
  

ローカルコピー

• 基本的に、同じファイル名で保存されます。もし、ファイル名が省略されていればindex.htmlという名が与えられます。拡張子のないファイルに自動的に拡張子がつくことはありません。
• 今回実験したはてなダイアリーの場合、URLがディレクトリー名で終わっていても最後にスラッシュ(/)が付いていません。ですので最初のアクセスでは、ファイルとしてもディレクトリーとしても解釈できます。これは少々問題で、Weboxがそれをディレクトリーと認識する前にファイルとして処理してしまった場合、そのディレクトリー以下のファイルが取り込めなくなります。これを回避するために、起点URLは/archive　ではなく、/archive/としなければなりません。
• はてなの場合、大半の日記が拡張子のないファイルとして扱われるため、ダウンロードしたものはWebox組み込みのブラウザーでしか読むことができません。一方、アメーバ・ブログはすべてのファイルに.htmlがついているので一般的なブラウザーからも直接ブラウズできます。このあたりは各ブログサービスのデザインによって異なります。

メルマガ (まぐまぐ)

ブログが普及する以前は、メールマガジンから情報発信する人が大勢いました。当時書かれたものの中には、今でも役立つものが少なくありません。 大手メールマガジンのまぐまぐでは、 大半の作者がバックナンバーを公開しています。これを利用して一括ダウンロードを試みます。

サイトの構造

Webox の設定

特定メルマガの過去の配信すべてをダウンロードします。

実験

とあるメルマガをダウンロードしてみました。

• メルマガ A
  アドレス欄: http://archive.mag2.com/メルマガID/index.html
  部分URL: http://archive.mag2.com/メルマガID/
  リンクを辿る回数: 12
  結果: 433個の記事、計14.5MBを11分でダウンロード。
  

ローカルコピー

• 記事履歴のメニューには拡張子がつかないので、一般のブラウザーからは読めません。Webox内臓のブラウザーを使うか、記事履歴のメニューを経由せずに、１つずつ次の記事にアクセスする必要があります。

その他

ここまでで紹介した以外のトピックについて見ていきます。

CURL

CURLは、URLを指定してファイルをダウンロードするコマンドライン・ツールです。ファイル名に正規表現が使えるため、一風変わった使い方ができます。以前、インドの鉄道を研究していた時、オンラインの時刻表をダウンロードする必要がありました。その時刻表は、一つのファイルではなく、ページ毎にPDF化されているため、100を超えるファイルすべてを取り込まなければなりません。サイトのデザイン上、Weboxを使ってダウンロードすることはできません。幸い、ファイル名は予測可能なので、CURLを使いまとめて落とすことができます。

ファイル名は、路線番号(1-97)にオプションでAが付くシンプルなものです(例、5.pdf, 92A.pdf)。よって次のコマンドを使って一括ダウンロードできます。

• curl.exe -O "http://www.indianrailways.gov.in/TAG/Pdf/[1-97]｛,A}.pdf 
  

このコマンドは、1.pdf, 1A.pdf, 2.pdf, 2A.pdfと順番にダウンロードしていきます。存在しないファイルをダウンロードしようとした場合、2KB程度のエラーファイルが作成されます。これらはコマンド終了後、小さいファイルを削除することでお掃除できます。

その他の掲示板

2chやしたらばなどのスレッドフロー型以外の掲示板を見てみます。

• 地球の歩き方 旅のQ&A掲示板
  特定の国に関するQ&Aのダウンロードを試みたのですが、ちょっと敷居が高いです。例えばインドでQ&Aを絞ってみると1036件ひっかかります。これらを全部見るには[次へ]をクリックして30件づつアクセスする必要があります。だいたい11-35リンク進めばすべて回れる計算ですが、他にも問題があります。URL上、他の国のQ&Aと区別できないので、リンクを辿っているうちにインド以外のQ&Aもアクセスしてしまい、収拾がつかなくなります。また、各Q&Aのページでも、個別の返答のページと、すべての返答表示のページが区別できないので、重複したページをたくさんダウンロードすることになります。

• Lonely Planet Thorn Tree Forum
  ロンリープラネットの掲示板です。ここでも、特定の国に関するのスレッドをダウンロードしてみます。例えばミャンマーで絞ると、三万近いスレッドと20万件以上の返事が見つかります。歩き方の掲示板同様、数が多すぎて手に負えません。そこで、検索してトピックを絞ることにします。「akihabara」と検索すると164件ひっかかりました。結果の表示件数を25 -> 100に増やすと2ページで収まります。これらを全部取り込みたいところですが、ひとつ問題があります。検索結果のページはsearch.lonelyplanet.com、各スレッドのページはwww.lonelyplenet.comのサーバーにあります。部分URLで指定できるのはひとつのサーバーのみ。当然スレッドの内容を優先させるので、結果、最初の100件しか取り込めないことになります。

Mixi

Weboxはミクシーと連携したダウンロードも行えるようです。試していないので、詳しいことはわかりません。