1. Webページ収集の目的

研究開発センターでは、自然言語処理技術の研究のために、Webページを収集しています。収集したWebページから、新語や未知語を抽出したり、単語の出現頻度などの統計的な情報を分析し、高精度の機械翻訳や音声合成システムなどの開発に役立てています。

2. 収集方針

1. 接続先ホストに過度な負荷をかけません。
   接続先ホストにかける負担を軽減するため、1つのIPアドレス/ホストに対して一定時間の間隔を空けてアクセスします。ただし、複数のホスト名を持つ場合、同一のホストであることを認識できず、連続してアクセスすることがあります。
2. robots.txt の記述内容を解析し、ホスト側で設定したアクセス制限を遵守します。書き方は robots.txtに書くをご参照ください。
3. アクセス停止の申し出があったホストに対してはアクセスしません。
   までご連絡ください。
4. 収集したWebページは厳重に管理します。収集したWebページおよび辞書などのデータは、研究開発センター内のデータベースに登録し、外部からアクセス出来ないよう厳重に管理・保管します。

3. 収集拒否方法

robots.txt あるいは robots metaタグ を使って、アクセス制限をかけてください。

robots.txt に書く

robots metaタグ を利用する

4. 連絡先

ご質問、ご要望は までE-mailでご連絡ください。
ご連絡の際は、貴サイトのホスト名 (別名も含め) とIPアドレスを明記して下さるようお願いします。