FESSは非常に優れたオープンソースの検索システムですが、日本語の形態素辞書についてはデリケートな扱いが必要です。
端的に言えば、辞書を間違えると、インデックスが半落ちします。
僕も時々インデックスを飛ばしているのですが、Kuromoji辞書はかなりデリケートです。
何回か飛ばして、不整合を起こす例を調べたのですが、
1.トークンが重複してはならない
2.分割と読みの文節数が一致していないとならない
3.「ぁ」と「あ」は同一視され、かつトークンが重複してはならない
を守らないとなりません。
今はAccessでトークンがユニークになるようにしています。
Kuromojiが失敗すると、FESSは以下の症状を起こします。
1.プライマリシャードは一見、正常に見える
2.レプリカシャードが徐々に落ちる
3.レプリカシャードを手動でアサインできなくなる
4.レプリカシャードをアサインしても、Translogが0.0%から進まない
こうなったら、まずクローラーを停止して、レプリカの数をゼロに戻します。
辞書を正常に動作していた時に戻して、レプリカを1に戻します。
これで、一応アサインされたら復旧できるのですが、成功率が100%でないので、僕も研究をしているところです。
2019年1月28日月曜日
私の節約(スマートフォン)
こんばんは。 倹約&節約に励むにしても、ガイドラインがないとやりづらいかもしれません。 僕が使っている組み合わせを紹介しましょう。 本体を安くしたり、回線を太くしたり、使い方に合わせると良いと思います。 ■基本的な考え方 SIMフリーしか買わない。 子供もSIMフリ...
-
あまりに情報が無いので、自分で調べた物を勝手に書くことにしました。 FESSの設定は、ローカルに保存されるものと、elasticsearch(以下es)に保存されるものがあります。 ■esに保存されるもの ユーザー情報とパスワード Web、ファイルなどのクロール設...
-
「イノベーション横断組織」なるものが作られ、各事業部からエース級とお目付け役が集められます。月1ぐらいで集まって、当社のイノベーションについて会議が開かれますが、結局時間が過ぎてゆくだけです。 よく見る光景です。では、なぜ優秀な人が集まっているのに、イノベーションが起きないの...
-
こんばんは。 倹約&節約に励むにしても、ガイドラインがないとやりづらいかもしれません。 僕が使っている組み合わせを紹介しましょう。 本体を安くしたり、回線を太くしたり、使い方に合わせると良いと思います。 ■基本的な考え方 SIMフリーしか買わない。 子供もSIMフリ...