[リストへもどる]
一括表示
タイトルインデックス化後の全文検索の速度
記事No2344
投稿日: 2015/07/03(Fri) 00:15:09
投稿者Kemumaki
Pronceton WordNet 3.1 と Princeton WordNet 3.0 日本語WordNet
1.1の統合版(http://wordnetepwing.osdn.jp/) をインデックス化
したのですが、する前と比べて全文検索の速度が明らかに遅いです
。"domesticated"や"addend"といった検索語
で検索しました。EBWIN 4.1.3.1、PCのスペックは、Windows7 Home
Premium 64bit sp1 Corei3 2.4GHz *2 メモリ4GB です。
HONMO
N, fts.dat, fts.db が入るフォルダを Program Files (x86)フォル
ダとは別フォルダにしているのですが関係ありますか?

タイトルRe: インデックス化後の全文検索の速度
記事No2345
投稿日: 2015/07/03(Fri) 09:55:00
投稿者hishida
> Pronceton WordNet 3.1 と Princeton WordNet 3.0 日本語WordNet
> 1.1の統合版(http://wordnetepwing.osdn.jp/) をインデックス化
> したのですが、する前と比べて全文検索の速度が明らかに遅いです
> 。"domesticated"や"addend"といった検索語
> で検索しました。EBWIN 4.1.3.1、PCのスペックは、Windows7 Home
> Premium 64bit sp1 Corei3 2.4GHz *2 メモリ4GB です。
> HONMO
> N, fts.dat, fts.db が入るフォルダを Program Files (x86)フォル
> ダとは別フォルダにしているのですが関係ありますか?

確認しましたが、確かに通常の全文検索よりもかえって遅くなります。
フォルダの場所の問題ではなくて、現在のEBWin4の全文検索の方法が、英語に向いていないのだと思います。
全文検索には形態素解析とN-gramという二種類の方法があってEBWin4はN-gram方式を使っています。日本語の検索ではN-gramのほうが向いていますが、英語のように単語が分けられるものでは逆に遅くなる可能性があります。
全角部分はN-gram、半角部分は単語単位にするなどハイブリッド型にするなどの工夫が必要そうです。

今年後半には全文検索のver2を考えたいと思いますが、当面は英語タイトルでは全文検索インデックスはつけないで運用していただければと思います。

タイトルRe^2: インデックス化後の全文検索の速度
記事No2354
投稿日: 2015/07/05(Sun) 10:00:24
投稿者hishida
英語系タイトルで全文検索インデックスが遅い件ですが、現行のインデックスの形式のままでも改善できそうな目処が立ちました。一瞬というわけにはいきませんが、少なくともインデックスなしよりは高速化できそうです。
しばらくお待ち下さい。

タイトルRe^3: インデックス化後の全文検索の速度
記事No2357
投稿日: 2015/07/10(Fri) 00:38:32
投稿者Kemumaki
EBWin4.2.3 を試しました。Pronceton WordNet 3.1 と Princeton WordNet 3.0 日本語WordNet 1.1の統合版の全文検索が格段に速くなりました。素早い対応ありがとうございました。
ところが、逐次検索した後に辞書を変えると”オブジェクト参照がオブジェクトインスタンスに設定されていません”というエラーが毎回出るのですが、確認をよろしくお願いします。

タイトルRe^4: インデックス化後の全文検索の速度
記事No2358
投稿日: 2015/07/10(Fri) 10:23:38
投稿者hishida
> EBWin4.2.3 を試しました。Pronceton WordNet 3.1 と Princeton WordNet 3.0 日本語WordNet 1.1の統合版の全文検索が格段に速くなりました。素早い対応ありがとうございました。
> ところが、逐次検索した後に辞書を変えると”オブジェクト参照がオブジェクトインスタンスに設定されていません”というエラーが毎回出るのですが、確認をよろしくお願いします。

すみません、履歴機能を修正したときにbugが入りました。
修正した 4.2.4 をアップしました。
http://ebstudio.info/manual/EBWin4/EBWin4.html

タイトルRe^5: インデックス化後の全文検索の速度
記事No2361
投稿日: 2015/07/10(Fri) 16:41:32
投稿者Kemumaki
> すみません、履歴機能を修正したときにbugが入りました。
> 修正した 4.2.4 をアップしました。
> http://ebstudio.info/manual/EBWin4/EBWin4.html

試しました。エラーが出なくなりました。ありがとうございました。