2017年8月1日火曜日

ojizoの目標、まず1,000万ドキュメント

ojizo(旧Nyafoo!)を公開して1か月が経ちました。一度、インデックスを設計し直したためゼロから再開しましたが、また200万ドキュメントを超えるようになりました。

今の目標は、1,000万ドキュメントをインデックスすることです。

これも根拠があって、昔のgooなどの検索エンジンでも1,000万件を超えるドキュメントをインデックスしていました。まずは、ここを目指そうと思っています。

現在、1週間で200万ドキュメントぐらいをクロールしています。今のペースなら、8月末に1,000万ドキュメントを達成できるでしょう。

elasticsearch自体は数千万ドキュメントを扱えます。ストレージは、5台のクラスタで500GBを確保しました。設計上は、検索インデックスを収めているクラスタを10台に増やせば、160TBまで拡張可能です。

オープンソースとクラウドで、どこまで行けるのか。試せるだけ試してみたいと思います。

知禅(旧Nyafoo!)が1周年を迎えました

こんばんは。 知禅(旧Nyafoo!)を公開して、1年が経ちました。 当初、30万件程度だったインデックスは、現在2000万件前後に増えています。 サーバーも増えまして、当初2台構成だったクラスタは、現在19台が稼働しています。 構成を多重化しているため、無停止メンテナ...