ojizo(旧Nyafoo!)を公開して1か月が経ちました。一度、インデックスを設計し直したためゼロから再開しましたが、また200万ドキュメントを超えるようになりました。
今の目標は、1,000万ドキュメントをインデックスすることです。
これも根拠があって、昔のgooなどの検索エンジンでも1,000万件を超えるドキュメントをインデックスしていました。まずは、ここを目指そうと思っています。
現在、1週間で200万ドキュメントぐらいをクロールしています。今のペースなら、8月末に1,000万ドキュメントを達成できるでしょう。
elasticsearch自体は数千万ドキュメントを扱えます。ストレージは、5台のクラスタで500GBを確保しました。設計上は、検索インデックスを収めているクラスタを10台に増やせば、160TBまで拡張可能です。
オープンソースとクラウドで、どこまで行けるのか。試せるだけ試してみたいと思います。
2017年8月1日火曜日
私の節約(スマートフォン)
こんばんは。 倹約&節約に励むにしても、ガイドラインがないとやりづらいかもしれません。 僕が使っている組み合わせを紹介しましょう。 本体を安くしたり、回線を太くしたり、使い方に合わせると良いと思います。 ■基本的な考え方 SIMフリーしか買わない。 子供もSIMフリ...
-
あまりに情報が無いので、自分で調べた物を勝手に書くことにしました。 FESSの設定は、ローカルに保存されるものと、elasticsearch(以下es)に保存されるものがあります。 ■esに保存されるもの ユーザー情報とパスワード Web、ファイルなどのクロール設...
-
「イノベーション横断組織」なるものが作られ、各事業部からエース級とお目付け役が集められます。月1ぐらいで集まって、当社のイノベーションについて会議が開かれますが、結局時間が過ぎてゆくだけです。 よく見る光景です。では、なぜ優秀な人が集まっているのに、イノベーションが起きないの...
-
こんばんは。 倹約&節約に励むにしても、ガイドラインがないとやりづらいかもしれません。 僕が使っている組み合わせを紹介しましょう。 本体を安くしたり、回線を太くしたり、使い方に合わせると良いと思います。 ■基本的な考え方 SIMフリーしか買わない。 子供もSIMフリ...