早稲田大学、Basis Technologyの言語判別システムを国家プロジェクト用に採用

— 文部科学省のWebデータ収集・解析プロジェクトに利用・共同研究を開始 —

多言語対応のテキストマイニングおよび情報検索アプリケーション用ソフトウェアの主要ベンダーである Basis Technology（ベイシス・テクノロジー本社：米国マサチューセッツ州、CEO：Carl Hoffman www.basistech.com）は本日、早稲田大学理工学部(東京都新宿区、以下早稲田大学)が文部科学省のリーディングプロジェクト「e-Society　基盤ソフトウェアの総合開発」における「インターネット上の知識集約を可能にするプラットフォーム構築技術」サブプロジェクト用にBasis Technology の Rosette® 言語判別システム(RLI)を採用すると共に、Basis Technologyとの間で共同研究を進めることを発表しました。早稲田大学は、文部科学省からの委託を受け、本サブプロジェクトの中心的な役割を担っています。

｢e-Society　基盤ソフトウェアの総合開発」における「インターネット上の知識集約を可能にするプラットフォーム構築技術」サブプロジェクトは世界中のWeb情報アーカイブ構築をめざすプロジェクトで２００３年度より開始されています。早稲田大学は、情報の高信頼蓄積・検索技術等の開発を手がけており、２００３年度には１０億ＵＲＬのデータ収集と、得られたデータのリンク情報の解析を行ないました。２００５年度までには約１２０億規模のWeb上のデータを収集し、その中から必要情報の抽出のための知識フィルタリング技術開発に取り組みます。

Basis TechnologyのRosette 言語判別システムは、入力データの言語や文字コードを正確に判別し、文字化けせずにデータを適切に処理するためのツールです。世界の主要言語36言語および20種類の文字コードに対応しており、このような多言語･文字コード判別機能は、情報検索、CRM、データウェアハウスといった入力データの処理を行うアプリケーションが世界的なビジネス展開をするにつれて必要性が増してきています。

｢e-Society　基盤ソフトウェアの総合開発｣における「インターネット上の知識集約を可能にするプラットフォーム構築技術」サブプロジェクト（リーダー：早稲田大学理工学部教授　村岡洋一）を担当する早稲田大学理工学部山名早人助教授は下記のように述べています。｢本プロジェクトで扱うデータ量は膨大となりますし、またいろいろな国からの情報を収集し解析するものですから、データの言語ならびに文字コードの判別をして文字化けをなくすことが大前提となります。Web上のデータは言語・文字コード情報が不明なものや、文字コードが指定されていても間違っているものが多数あります。Webページの記述言語を判別してくれるBasis Technology のこのRosette 言語判別システムは多数のサーチエンジンで使用されているデファクト的なものであり、本プロジェクトで採用することにいたしました。また、一方で、Basis Technologyに対して、言語判定の精度向上に関するフィードバックを行っていく予定です。｣

Basis Technology、CEO Carl Hoffmanは次の通り述べています。｢このRosette 言語判別システムは、多言語を扱う製品・サービスには必須の製品の一つです。この製品を利用していただくことにより、多言語の情報をより確実かつ正確に収集・解析できるようになります。グローバルなビジネス展開がますます増えている昨今、この製品は多くのビジネスユーザーの期待にこたえることでしょう。」

Basis Technology について

Basis Technology (www.basistech.co.jp)は、多言語対応のテキストマイニングおよび情報検索アプリケーション用のソフトウェアツールを提供しています。Rosetteプラットフォームは、世界の言語データの解析および処理用アプリケーション向けに設計された、高性能かつ信頼性の高いソフトウェアコンポーネントです。

主要なソフトウェア開発企業、ウェブサービス企業、多国籍企業、政府系機関などで、その国際化展開戦略の基盤として弊社のUnicode化対応、言語判別、多言語検索、正規化等の技術が採用されています。顧客には、Amazon.com、America Online、Google、Hewlett-Packard、IBM、Inktomi、L.L.Bean、PeopleSoft、Siebel Systems、Terra Lycos等が含まれます。

本社を米国マサチューセッツ州ケンブリッジに構え、サンフランシスコ、ワシントン D.C. にもオフィスがあるほか、日本には現地法人を設立しています。詳細は www.basistech.co.jp をご覧下さい。