2017年12月19日火曜日

FESSインデックスと圧縮

FESSのメインインデックスは、油断すると数百GBになってきます。
SSDを増やすにも限度があるので、圧縮することにしました。

fess.yyyymmddインデックスを新しく作るときに、"index"以下に下記の設定を加えました。

    "codec": "best_compression"

低速ですが高圧縮なアルゴリズムに切り替わります。

古いelasticsearchのドキュメントだと、「elasticsearch.ymlに記述する」と書いてありますが、今のelasticsearchではインデックスの設定で記述します。

staticな要素のため、インデックスの作成時か、クローズしたインデックスで指定しなさい、と公式ドキュメントにありますね。

僕は1か月ごとぐらいに_reindexで内容を詰めなおすので、新しく作ったfess.yyyymmddに指定しました。

FESSのKuromoji辞書をミスった時の対処法

ミスを含むKuomoji辞書をFESSにアップロードすると、レプリカシャードが落ちてゆきます。 完全にダウンしないところが、かえって手間がかかる感じです。 いろいろ実験してみましたが、「不正な辞書でインデックスに登録した部分を除去する」のが対処療法として使えそうです。 ...