Weaviate on @johtaniの日記 3rd

Weaviateを使って個人的備忘録を作ってる

Thu, 18 Dec 2025 12:41:50 +0000

本記事は、情報検索・検索技術Advent Calendar 2025の19日目の記事です（今年はなんか参加者が少なくてさみしいけど、きっと検索の人たちは検索流行ってて忙しいんだなということにしておこう）。

こちらの秋の検索勉強会で話をした内容になります。録画に失敗したので記事を書いておくかなと。。。

発表の資料と作ってるGitHubのリポジトリです。

なんで作ってるの？

仕事柄（検索システムに関するコンサルなどをやっていたりします）、検索に関する記事をよく読んでいます。 Xだったり、どこかのSlackだったり、Googleニュースだったりといろんなところから出てくる記事になんとなく目を通したり、仕事で調べた検索に関する各社の公式ブログや論文などにも目を通しています。

それなりの量を日々読んでいて、お客さんの話や質問で上がってくる内容に関連しそうな記事があったなぁと思うことが多々あります。ただ、最近読んだことは覚えていても、どの記事だったかが見つけられないことがあるんです（年齢的な問題？）。

なので、なんとなく読んで面白かった記事について、ブックマーク＋メモを残す仕組みをWeaviateを使って作ってみているという話です。

ちなみに、コードやドキュメントはAmazon QのVS Code拡張を使いながら書いてもらっています。個人ツールはそれっぽい名前を付けてもらうために、作りたいものの概要を説明してから「中二病っぽい名前の候補を10個作って」とLLMにお願いして名前を付けています。

なんでWeaviate？

ベクトル検索を主体にしたいなぁというのがあります。

うろ覚えなのでなんとなくで検索できるようにしたい
絞り込み検索もしたい（どのサイトとかは覚えてたりする）
Weaviateを宣伝したい（Community作ろうとしてます）

スライドではUIや前段のスクレイピングなどの話も記載していますが、今回のブログではWeaviateの部分を簡単に紹介する形にします。 Weaviateに登録する前段で記事の要約をして、関連するキーワードをLLMをつかって抽出する処理を入れてあります。

スキーマの定義

Weaviateでは、コレクションに対してデータを登録すれば自動的にデータに合わせてスキーマを定義してくれる機能があります。この場合、コレクションに作られるベクトル空間は1つとなります。

ただ、今回はベクトル空間をいくつか用意したい（タイトル、要約、自分のメモなど）と思っているので、あらかじめコレクション作成時にこちらでスキーマを指定します。


# コレクション作成
client.collections.create(
    name="GrimoireChunk",
    description="Grimoire Keeperで管理するWebページのチャンク",
    properties=[
        Property(name="pageId", data_type=DataType.INT),
        Property(name="chunkId", data_type=DataType.INT),
        Property(name="url", data_type=DataType.TEXT),
        Property(name="title", data_type=DataType.TEXT),
        Property(name="memo", data_type=DataType.TEXT),
        Property(name="content", data_type=DataType.TEXT),
        Property(name="summary", data_type=DataType.TEXT),
        Property(name="keywords", data_type=DataType.TEXT_ARRAY),
        Property(name="createdAt", data_type=DataType.DATE),
        Property(name="isSummary", data_type=DataType.BOOL),
    ],
    vector_config=[
        Configure.Vectors.text2vec_openai(
            name="content_vector", source_properties=["content"]
        ),
        Configure.Vectors.text2vec_openai(
            name="title_vector",
            source_properties=["title", "summary"],
        ),
        Configure.Vectors.text2vec_openai(
            name="memo_vector", source_properties=["memo"]
        ),
    ],
)

GitHubのコードはこちら

コレクションの定義をしている部分のコードです。コレクションの名前（name）、説明文（description）、プロパティ（properties：フィールド、カラムのようなもの）をまず定義しています。プロパティにも説明を書いた方がいいのですが、今回は記述していないです（ Query Agent | Weaviate Documentationという機能も提供されており、エージェントがコレクションを検索するときのヒントになるので、コレクションやプロパティに説明を付けてあげたほうが今後の役に立つことになります）。

ここまでは、よくあるスキーマの定義になりますが、最後のvector_configがこのコレクションのベクトルに関する設定になります。

今回は名前を付けたベクトル（named vectors）を3つ設定しています。

title_vector：タイトルと要約から生成するベクトル空間
content_vector：記事本文をチャンキングしたものから生成するベクトル空間
memo_vector：メモから生成するベクトル空間

すべて、入力としてはpropertiesで定義したデータの型（今回はすべてテキスト）のデータになります。 Weaviateの内部で、ベクトル化モジュールがOpenAIのembeddingモデルをAPI経由で呼び出して、テキストからベクトルに変換して保存してくれます。アプリとしては、タイトルや要約などはテキストとしてWeaviateにデータを登録するだけになります。

modelパラメータを設定することで、自分でモデルの選択もできますが、今回はデフォルトのモデルを使用するようにしています。

データの登録

collection = client.collections.get("GrimoireChunk")
for i, chunk in enumerate(chunks):
    weaviate_object = {
        "pageId": page_data.id,
        "chunkId": i,
        "url": page_data.url,
        "title": page_data.title,
        "memo": page_data.memo or "",
        "content": chunk,
        "summary": page_data.summary or "",
        "keywords": json.loads(page_data.keywords or "[]"),
        "createdAt": (
            page_data.created_at.replace(tzinfo=None).isoformat() + "Z"
            if page_data.created_at.tzinfo is None
            else page_data.created_at.isoformat()
        ),
        "isSummary": i == 0,
    }

    result = collection.data.insert(properties=weaviate_object)

GitHubのコードはこちら

登録の処理の抜粋です。前処理として本文の部分（content）をチャンクに分割しているので、それらを登録しています。それとは別に、title_vectorやmemo_vectorのベクトル空間を検索した時に、不要なデータが表示されないようにisSummaryということで、最初のチャンクにフラグを立てて、それで絞り込めるようにしてあります。

検索処理

                collection = client.collections.get("GrimoireChunk")

                # フィルター条件構築
                where_filter = self._build_weaviate_filter(filters) if filters else None
                exclude_filter = self._build_exclude_filter(exclude_keywords) if exclude_keywords else None

                # ベクトル別フィルター追加
                summary_filter = None
                if vector_name != "content_vector":
                    from weaviate.classes.query import Filter

                    summary_filter = Filter.by_property("isSummary").equal(True)

                # フィルター結合
                filters_list = []
                if where_filter:
                    filters_list.append(where_filter)
                if summary_filter:
                    filters_list.append(summary_filter)
                if exclude_filter:
                    filters_list.append(exclude_filter)

                final_filter = None
                if len(filters_list) == 1:
                    final_filter = filters_list[0]
                elif len(filters_list) > 1:
                    final_filter = Filter.all_of(filters_list)

                # クエリ実行
                response = collection.query.near_text(
                    query=query,
                    target_vector=vector_name,
                    limit=limit,
                    filters=final_filter,
                    return_metadata=MetadataQuery(certainty=True),
                )

                # 結果変換
                return self._convert_search_results_v4(response)

GitHubのコードはこちら

検索処理です。入力されたキーワードや文章をベクトル検索するのにはnear_textメソッドを利用します。 target_vectorが検索対象となるベクトル空間の名前（例：title_vector）の指定です。クエリ実行前にいくつかのフィルタ条件を組み立てて、条件として追加してあります（期間だったり除外するキーワードなどの条件）。

検索するときもこちらでベクトルに変換するなどの処理は行っておらず、テキストをqueryに渡せば、よしなにWeaviate側でベクトル空間の設定をもとにエンベディングして検索をしてくれます。

まとめ

とりあえず、トラディショナルな感じのRAGのベースを自分でも試してみるかな？と思いながら作ってます。が、いろいろと使ってみて気づくことが多いなとなってるところです。

データはWeaviateに入れる前の時点でファイルとして保存するような作りにしているので、いろいろと改善できそうなことに手を出しながら触っていこうかなと思います（late interactionっぽいことやってみたり、チャットのUIを用意したり、チャンキングの仕組みを変えてみたり）。

なんとなく、Weaviateの使い方がこんな感じかな？というイメージを持ってもらえたら幸いです。

Weaviate入門（Quickstart - Go言語編）

Mon, 14 Jul 2025 09:41:28 +0000

いくつか用語も説明したので（ベクトルデータベース、オブジェクト、コレクション、モジュール）、そろそろちょっと触ってみる、クイックスタートを紹介します。

英語で書かれたQuickstart (with cloud resources) | Weaviate Documentationもあるのですが、実は日本語のページが用意されてます。

Weaviate ベクトルデータベース | Weaviate

こちらに沿って、簡単ですがクイックスタートを紹介します。

日本語のクイックスタートでは、Weaviateのクラスターに対して、「Jeopardy!」のデータを登録し、VectorizerモジュールとGeneratorモジュールにOpenAIのAPIを利用して、簡単なベクトル検索とRAG（検索拡張生成）を体験できます。

0 OpenAIのAPIキーの取得

このクイックスタートではOpenAIのAPIを利用します。クイックスタートの「3.簡単なデータの取り込み」の「登録はこちら」リンクからOpenAIにサインアップするか、すでにOpenAIのAPIを利用されている方は、今回のためにAPIキーを生成して用意してください。

1 Weaviateデータベースの作成

マネージドサービスとして、Weaviate Cloudが用意されています。

ちょっと触ってみるのにはアカウントを作成してから、Sandboxクラスターを利用するのが簡単です。アカウント作成やSandboxクラスターの作成方法は以下のドキュメントを参考にしてください。

なお、Sandboxクラスターは14日間で自動で削除されるのでそこだけ注意が必要です。容量の制限もあるので、大量データで利用する場合は別途、Serverlessなどを選択する必要があります。

2 Weaviate Clientライブラリのインストール

クイックスタートで選択できる言語は以下の通りです。

Python
JavaScript / TypeScript
Go
Java（最近クライアントが新しくなった）

各言語向けのクライアントのインストール方法が表示されています。 Dockerなどで環境を用意してインストールをしてもいいですし、ローカルにインストールすることもできます。

私は、Pythonを利用する場合はDevContainerの環境を用意したりします。 GoやJavaだとローカルで済ますかな？

たとえば、Goのプロジェクトを作っておいて以下を実行します。

go get github.com/weaviate/weaviate-go-client/v5
go install

3. 簡単なデータの取り込み

クライアントの接続

まずは、Weaviate Cloudのクラスターへの接続情報が必要にです。

1.で作成したクラスターをクリックし、Cluster detailsの画面で以下の情報をコピーし、環境変数に設定します。

Informationのセクションの「REST Endpoint」の文字列を環境変数WEAVIATE_URLに設定
API Keysのセクションで、「+ Create API Key」ボタンをクリックし、出てきたダイアログで
1. Name：なんでもOK（例：go-sample-client）
2. Role：adminを選択
生成されたAPIキーをコピーして、環境変数WEAVIATE_API_KEYに設定（APIキーは生成するタイミングでダウンロードもできます）。

Weaviateにあるモジュールを経由して、OpenAIのAPIを実行するために、OpenAIのAPIキーをリクエストヘッダ経由で設定します。実際の値はOPENAI_API_KEYという環境変数から取得しますので、APIキーを環境変数OPENAI_API_KEYに設定します。

	cfg := weaviate.Config{
		Host:       os.Getenv("WEAVIATE_URL"),
		Scheme:     "https",
		AuthConfig: auth.ApiKey{Value: os.Getenv("WEAVIATE_API_KEY")},
		Headers: map[string]string{
			"X-OpenAI-Api-Key": os.Getenv("OPENAI_API_KEY"),
		},
	}

クイックスタートで使用する環境変数は以上の3つ（WEAVIATE_URL、WEAVIATE_API_KEY"、OPENAI_API_KEY）です。

ここまでのプログラムも実行できるので、実行してみましょう。 Weaviateへの接続情報に問題がなければ、「true」とだけ表示されます（現時点ではOpenAIのAPIへの接続は未確認です）。（このあとには、// Check the connectionの処理の部分は変更します）

データコレクションの作成

Weaviateでは、データを登録する前にコレクションを作成しておく必要があります。今回の処理では、models.Classという構造体を使ってスキーマを定義します。

コレクションの名前（Class）
使用するベクトライザー（text2vec-openai）
使用するモジュール（text2vec-openai、generative-openai）

使用するベクトライザーは、このコレクションでエンベディングのベクトル生成に利用するデフォルトのベクトライザーになります。

このクイックスタートでは、プロパティについては、データ登録時に自動で設定するようにしています。プロパティ個別にベクトライザーやその他の設定を行うこともできます（Basic collection operations | Weaviate Documentation）。

なお、今回の処理では、エラーが出力されなければ問題なくコレクションが作成されたということになります。エラー出ない場合のメッセージの処理がないためです。

Weaviate Cloudのコンソールで「Collections」をクリックし、先ほど作成したクラスターを選択した後に、「Question」というコレクションが表示されているかを確認することで処理の成功を確認できます。

データ登録

コレクションの作成もおわったので、Jeopardyのデータを登録します。処理の流れとしては次のようになっています。

Weaviateのクライアント接続
JSONファイルのダウンロードしてmapの配列に
1データずつ、models.Objectの構造体に変換
ObjectsBatcher()を利用して、バッチ登録
1. Weaviateがデータを受け取って、text2vec-openaiモジュールを使ってベクトルに変換してからベクトルインデックスに登録
2. JSONのプロパティからWeaviateのスキーマを自動で生成してくれる

3の構造体を作るときに、JSONの文字列のデータを入れているだけで、このタイミングではベクトルは生成していません。 4.1に書いたように、Weaviate内部でOpenAIのAPIを利用してエンベディングの生成を行います。ですので、この処理を実行するときにはOpenAIのAPIキーを設定しておく必要があります。

コレクションの作成と同様に、エラーがなければ成功です。

ちなみに、OpenAIのAPIキーを設定せずに実行すると、次のようなエラーが出ます。

panic: ([]*models.ErrorResponseErrorItems0) 0xc000008870

goroutine 1 [running]:
main.main()
	....weaviate-quickstart-go/main.go:68 +0x745

上記のサンプルのままでは、res.Result.Errosrs.Errorは配列のためエラーが発生してしまいました。

次のように修正することで、登録時のレスポンスにエラーが含まれている場合に、エラーの内容がきちんと表示できます。

	for _, res := range batchRes {
		if res.Result.Errors != nil {
			for _, items0 := range res.Result.Errors.Error {
				println(fmt.Sprintf("Error is %v", items0))
			}
		}
	}

APIキーの設定を忘れているとこんな感じのエラーメッセージになります。

Error is &{API Key: no api key found neither in request header: X-Openai-Api-Key nor in environment variable under OPENAI_APIKEY}

データ登録できたかどうかは、この後のクエリで確認もできますし、先ほどのコンソールでのコレクションを見ると「10 objects」となってデータが登録されているのも分かります。

4. クエリ方法

最後は検索です。クイックスタートでは、ベクトル検索とRAG（検索拡張生成）を試すことができます。

ベクトル検索

入力テキストからベクトライザーでベクトルを生成して、そのベクトルをもとにベクトルインデックスを検索する処理です。

今回のクイックスタートでは、検索には次の情報が指定されています。

検索結果に含めるプロパティ（フィールド）
- []graphql.Fieldに指定しているもの
クエリ文字列
- nearTextに調べたい文章（今回はbiologyという単語）を設定
検索対象のクラス名（コレクション名）
- 「Question」
取得する件数（最もベクトルが近いものn件）
- WithLimitに2を指定

返却されるresultに検索結果が入っています。中身はWebに掲載されています（ローカルだとインデントされてないですが）。

RAG

ベクトル検索では、入力のテキストに近いオブジェクトを取得するだけでした。 RAGのサンプルコードでは、ベクトル検索をして結果を取得するところまでは同じ流れですが、取得した後に、それぞれのオブジェクトのデータを使って文章の生成をモジュールを使用して行う処理が追加されています（WithGenerativeSearch()メソッド）。

generativeSearch := graphql.NewGenerativeSearch().SingleResult("Explain {answer} as you might to a five-year-old.")

{answer}に、ベクトル検索の結果のオブジェクトのanswerプロパティの文字列が入ります。そして、生成モジュールを通して、テキストが生成され、その結果が_additionalのgenerateの中に帰ってきています。

クライアントアプリ側では、特にOpenAIのAPIの呼び出しを行っていませんが、文字列の生成までできています。

まとめ

ということで、日本語に翻訳されたクイックスタートについてGo言語のサンプルコードをもとに紹介をしました。数件しかデータを入れていないですが、簡単に動作を確認できるかと思います。

クイックスタートはまだほんの入り口にすぎません。Weaviateでできることはほかにもあるので、ちょっとずつこれからも紹介していこうかと思います。

最後に

日本のコミュニティとしてConnpassにグループを作りました。

Weaviate JP Community - connpass

どうやってイベントをやるかはまだ考え中ですが、興味がある方は登録しておいていただければと。

どんな情報、どんなイベントがあれば興味をもっていただけるか？Weaviateを使ってみようと思うけど何から始めよう？など疑問に思うことがあればXやブログのコメントなどをいただければと思います。

Weaviate入門（モジュール）

Tue, 08 Jul 2025 08:25:32 +0000

今回も用語の話です。今回は仕組みの用語「モジュール」です。

モジュール

Weaviateを利用する際にいくつかの機能についてモジュール化されています。根幹となるベクトルデータベース周りに便利な処理を提供するのがモジュールです。

ベクトライザーモジュール

たとえば、Weaviateはベクトルデータベースですが、登録するデータのベクトルを生成する「ベクトライザー」と呼ばれるモジュールを備えています。これにより、データ登録や検索時にアプリケーション側で独自にベクトルを生成してからWeaviateに問い合わせる必要がなくなり、より簡単に検索やデータ登録をできるようになっています。ベクトライザーと呼ばれるモジュールには、様々なモデルやモデルプロバイダー（OpenAIやCohere、Weaviate、Jina AI、Hugging Faceなど）のモジュールが用意されています。必要に応じてモジュールを有効にすることができます。

また、カスタムモジュールということで、独自のモジュールを作成できるようにもなっています。利用可能なモデルプロバイダーがなかったり、機能の追加をしたい場合はドキュメントをご覧ください。

もちろん、ベクトライザーを使用せずに、独自のベクトルのデータを登録したり、検索に使用することも可能です。

生成モジュール

ベクトライザーはエンベディングの生成の用途でしたが、生成モジュール（生成AIモジュール？）と呼ばれるものもあります。こちらは、検索した結果をもとに、回答を生成することもできます。RAGのGenerateの部分です。検索するだけでなく、回答の生成のためにLLMを呼び出す仕組みも用意されています。

Weaviateの公式ドキュメント

今回はモジュールについて少しだけ紹介しました。モジュールの概念に関するWeaviateのドキュメントをModules | Weaviate Documentationご覧いただくとそのほかのモジュールについても記載があります。また、モデルプロバイダーに関するページも参考にしてください（Model provider integrations | Weaviate Documentation）。

最後に

日本のコミュニティとしてConnpassにグループを作りました。

Weaviate JP Community - connpass

どうやってイベントをやるかはまだ考え中ですが、興味がある方は登録しておいていただければと。

Weaviate入門（オブジェクト、コレクション）

Fri, 04 Jul 2025 03:16:01 +0000

ソフトウェアやサーバーによって用語って変わりますよね？ベクトルデータベースのWeaviateも、私がこれまで触ってきたものとは違う用語が使われているので、いくつかの用語を紹介しようと思います。

データオブジェクト

1件のデータのことをデータオブジェクトと呼びます。データオブジェクトはプロパティ（名前とデータ型）を持っており、コレクション（クラスと呼ばれることもある）と呼ばれるデータの集合（RDBでいうテーブルのようなもの）に属します。データオブジェクトはJSONドキュメントとして表現されます。データオブジェクトを登録する場合は、コレクションに対して登録します。

ベクトルデータベースなので、データオブジェクトに直接自分で作成したベクトルを含めて登録することもできますが、Weaviateでは、ベクトライザーと呼ばれるベクトルエンベディングをWeaviateのモジュールが生成してくれる機能があります（OpenAIのAPIを利用したエンベディングなど、さまざまなエンベディングのAPIを呼ぶ設定ができるようになっている）。コレクションの作成時にこのベクトライザーを定義しておくと、コレクションにデータを登録するとベクトルを生成して検索できるようにしてくれます。

コレクション

RDBでいうテーブルのようなものです。コレクションに対してデータオブジェクトを登録、更新などを行えます。コレクションにはスキーマが定義されており、コレクションに属するデータオブジェクトがどのようなプロパティを持っているのかがわかります。

コレクション作成時にスキーマを定義することもできますが、チュートリアルなどでは、自動生成されるスキーマを利用している場合があります。また、上記でも説明したようにベクトライザーと呼ばれるベクトル生成のためのモジュールの設定などもこちらで定義できます。

コレクションごとにベクトル空間があり、その中でベクトル検索ができるようになっています。また、バージョン1.24からは、名前付きベクトルと呼ばれる機能が追加され、1つのコレクションに対して複数のベクトル空間を作ることもできるようになっています。

ベクトル以外にも、転置インデックスの設定もできるようになっており、いわゆるハイブリッド検索（転置インデックスを利用した検索＋ベクトル検索）も可能になっています。

Weaviateの公式ドキュメント

今回紹介したデータの概念などに関するWeaviateのドキュメントはData structure | Weaviateにあります。

図などもありますので、参考にしていただければと。

最後に

日本のコミュニティとしてConnpassにグループを作りました。

Weaviate JP Community - connpass

どうやってイベントをやるかはまだ考え中ですが、興味がある方は登録しておいていただければと。

Weaviate入門（ベクトルデータベース、ベクトル）

Tue, 01 Jul 2025 06:11:01 +0000

Weaviateって聞いたことありますか？

Goで書かれたOSSのベクトルデータベースです（GitHubリポジトリはこちら）。昨年、Kagomeを使えるようにPRを送って、発表をしてきました。

改めて、Weaviateはどんなものなのか？というのを少しずつアウトプットしていこうかと思いブログを書き始めたところです（日本で広めていく手伝いもすることになったので）。まずは、用語などの説明から少しずつ始めていこうと思います。

ベクトルデータベース？

最近では、RAG（Retrieval-Augmented Generation）などで利用されるものというイメージが多いかもしれないです。

ベクトルデータベースとは、データオブジェクトとそれを表現するベクトルを保存してベクトルの近いものを検索することができるものです。データオブジェクトはベクトルのもととなるテキストなどに加えて、メタデータを含んだ情報です。

検索する際に、クエリをベクトルに変換したものに近いベクトルを持ったデータオブジェクトを探してくることができます。近いベクトルというのは、類似のベクトルを探してくると言い換えることもできます。これにより、ベクトルとして似ているものを検索して並べることが可能となります。

ベクトルデータベースは、大量のベクトルデータに対してさまざまな技術を用いて素早く検索をする仕組みを提供します。

ベクトル？

RAGという観点だとテキストの検索のイメージがありますが、ベクトルにできるものはテキストだけではありません。画像、動画、音声、何かしらの特徴量をベクトルにするといったことも可能です。 LLMの流行の前から画像の検索などにベクトルが用いられてきました。

また、LLMの活用によってテキスト情報をベクトル埋め込みと呼ばれる手法でベクトルにすることで、これまでのキーワードによるテキストや単語の完全一致ではなく、意味的な類似によって情報を検索できるようになってきています。このため、ベクトル検索はセマンティック検索（意味的な検索）とも呼ばれています。

ベクトル空間に異なるデータのベクトルを統合することで、マルチモーダルなベクトル検索を可能にすることなどもできます（昨年やったデモはキーワードで画像を検索してみました）。

Weaviateの公式ブログ

Weaviateの公式ブログにはさらっと私が書いたこと以上にベクトルデータベースに関する記事（ A Gentle Introduction to Vector Databases | Weaviate）やベクトル検索に関する記事（Bring your own vectors | Weaviate）が公開されています。こちらも参考になるかと。

これ以外にもWeaviateのブログではLLMやRAGにまつわる技術の紹介などがされているので興味がある方はご覧いただければと（たとえば、Late Interactionの話とか）。

最後に

ということで？、日本のコミュニティとしてConnpassにグループを作りました。

Weaviate JP Community - connpass

どうやってイベントをやるかはまだ考え中ですが、興味がある方は登録しておいていただければと。

Weaviateで日本語を利用した検索という話をしました

Tue, 17 Dec 2024 13:22:01 +0000

この記事は情報検索・検索技術 - Qiita Advent Calendar 2024 - Qiitaの17日目（ちょっと遅刻？）の記事となります。

「【日本初主催】新世代のソフトウェアのためのAIネイティブデータベース Weaviate Japan Summit | Peatix」というイベントでKagomeでテキスト検索できる仕組みを実装したものを取り込んでもらった話をしてきました。

Weaviateとは、ベクトル検索やキーワード検索、RAGなどを手軽に体験できるデータベースになります。 OSSで公開されており、SaaSも提供されています。Goで実装されていることもあり、日本語の検索にKagomeが利用できるかも？ということでちょっと調べて実装してみました。

先週の発表に利用した資料は次のリンク先で公開してあります。

スライド：Weaviateの日本語対応とマルチモーダル・多言語検索デモ

セッションでは、日本語のキーワード検索だけではなく、ベクトル検索やキーワードとベクトルを組み合わせたハイブリッド検索をデモしました。今回はセッションで話をあまりしていない、デモの仕組みに関してブログにまとめようと思います。

デモデータについて

今回は日本語を用いたデモ（今回取り込んでもらった機能を紹介するデモ）が必須であったため、次のような要件でデモを考えていました。

日本語テキストに対してキーワード検索
ベクトル化したデータも検索（Weaviateの得意分野）
せっかく日本でやるイベントなので日本語を使ったベクトル検索がいい
ハイブリッド検索やフィルタ検索（ベクトル検索した結果をキーワードでフィルタリング）のデモをやりたい

テキストだけで当初はデータを探そうと思っていたのですが、ベクトル検索とキーワードの検索での違いが分かりにくくなりそうかも？という懸念がありました。それよりも、画像を日本語で検索でき、画像に日本語の文章の説明がついているデータがデモをするときの流れも作りやすいのでは？と思い、まずは、Weaviateのマルチモーダルのデモを探すことに。

デモのシステムのベース

Weaviateの方たちは様々なデモを用意してくれており、マルチモーダル検索のデモも用意されていました。ベースとしたのは、次のリンク先で公開されているサンプルになります。

weaviate-examples/clip-multi-modal-text-image-search/README.md at main · weaviate/weaviate-examples

このサンプルは3つの要素から構成されています。

Weaviate Server
CLIPモデルを用いたServer（Hugging Faceを利用したサービス）
Node.jsによるフロントエンド

最初の2つはDockerで起動するコンテナとなっています。

Weaviateにはモジュールという概念があります。このモジュールの中で、入力されたデータをもとにベクトル化するものをVectorizerと呼んでいます。今回はmulti2vec-clipというVectorizerを利用して、Weaviateから2のCLIPモデルを用いたサービスを呼び出し、画像やテキストをベクトル化してWeaviateに保存したり利用する形をとっています。

上記のサンプルでは、特定のディレクトリ（images）に入れた画像をWeaviateに登録する処理（Goで書かれたコマンド）が用意されています。

フロントエンドでは、検索窓が用意されておりテキストを入力すると、画像が検索結果として出てくるデモです。

テキストを入力としてベクトル検索をするデモの部分はこれでよいのですが、今回はこれに加えてキーワードで検索できるようなデータが必要となります。

デモデータの準備

キーワード検索をするために、画像＋テキスト（しかも日本語がよい）ということで、いくつか物色した結果、採用したでものデータは次のものになりました。

MS COCOデータセット
日本語のキャプションデータ

MS COCOと呼ばれる、画像に対していくつかのメタデータを追加してあるデータセットが公開されています。追加されてデータは次のようなものになります。

オブジェクト（画像内の位置と移っているオブジェクトのカテゴリ名）
キャプション（画像に関する説明文が5つ）

ただし、キャプションデータはもちろん英語となっています。このデータに対して、千葉工業大学の研究センターの方が日本語でキャプションデータを生成したものを公開してくれています。

MS COCOのの画像のうち商用利用可能なライセンスの画像を今回のデモ用に利用させていただきました。それぞれのファイルをダウンロードし、MS COCOの画像ファイル名をキーにして英語と日本語のキャプションデータを配列で持つようなJSONデータを生成し、それをもとにWeaviateにデータ登録する形です。

処理の内容は省きますが、上記のデータセットをもとに次のような1ファイル1JSONを作って、JSONLファイル（1行1JSON）として保存したものを読み込んでWeaviateに登録しています。

{
    "id": "200109",
    "license_id": "4",
    "license_name": "Attribution License",
    ...
    "filename": "COCO_val2014_000000200109.jpg",
    "date_captured": "2013-11-22 02:26:57",
    "caption_en": [
        {
            "id": "645817",
            "content": "A slice of pizza partially obscuring a cell phone."
        },
        ...
    ],
    "caption_jp": [
        {
            "id": "41320",
            "content": "食事をしながらメールチェックをする"
        },
        ...
    ],
    "category": [
        ...
    ]
}

英語のキャプションは登録はしましたが、今回のデモには利用しませんでした（日本語で検索できるところを見せたかったので）

スキーマの定義

上記のデータをもとに考えたWeaviateのスキーマは次のようなものになります。 Weaviateで利用できる日本語のトークナイザーのうち、GSEとKagomeを利用してデモをできるようにそれぞれをTokenizationに指定したフィールドをcaption_ja_gse、caption_jaとして用意しました。

画像からベクトルを生成して保存する定義は、Vectorizerという部分のmulti2vec-clipになります。実際に、画像からベクトルを生成するのは、multi2vec-clipという名前のコンテナで動いているCLIPのモデルを通して処理をします（コンテナ内部で動いている処理などはこちらで公開されています）。

multiModal := &models.Class{
		Class:       ClassName,
		Description: "Sample class holding all the images",
		ModuleConfig: map[string]interface{}{
			"multi2vec-clip": map[string]interface{}{
				"imageFields": []string{"image"},
			},
		},
		VectorIndexType: "flat",
		Vectorizer:      "multi2vec-clip",
		Properties: []*models.Property{
			{
				DataType:    []string{"string"},
				Description: "The name of the file",
				Name:        "filename",
			},
			{
				DataType:    []string{"string"},
				Description: "The Flickr URL",
				Name:        "flickr_url",
			},
			{
				DataType:    []string{"blob"},
				Description: "Base64 encoded image",
				Name:        "image",
			},
			{
				DataType:     []string{schema.DataTypeTextArray.String()},
				Description:  "Caption in English",
				Name:         "caption_en",
				Tokenization: models.PropertyTokenizationLowercase,
			},
			{
				DataType:     []string{schema.DataTypeTextArray.String()},
				Description:  "Caption in Japanese",
				Name:         "caption_ja_gse",
				Tokenization: models.PropertyTokenizationGse,
			},
			{
				DataType:     []string{schema.DataTypeTextArray.String()},
				Description:  "Caption in Japanese",
				Name:         "caption_ja",
				Tokenization: "kagome_ja", // TODO 1.28リリース時には定数を利用可能
			},
			{
				DataType:     []string{schema.DataTypeTextArray.String()},
				Description:  "Category in English",
				Name:         "category",
				Tokenization: models.PropertyTokenizationLowercase,
			},
		},
	}

あとは、GoのWeaviateのSDKを利用してデータを登録するだけです。登録処理はサンプルをもとに、上記のフィールドのデータを追加した程度です。

これで、Weaviateに日本語と画像のベクトルのデータが保存できました。あとは検索です。

検索処理

参考にしたサンプルでは、Node.jsで処理が書いてあるのですが、私自身はあまりNode.jsを記述したことがありません。ということで、さくっと作るためにStreamlitを利用して検索画面を作成しました。

コードはこちら

Weaviateの接続部分は簡略化（別の便利関数を作った）してありますが、流れはなんとなくわかっていただけるかな？

デモのできることとしては次のような検索です。

GSEのフィールドでキーワード検索
Kagomeのフィールドでキーワード検索
ベクトル検索（テキストをCLIPでベクトル化して検索）
ハイブリッド検索（ベクトル検索＋Kagomeフィールドでキーワード検索）
ベクトル検索＋Kagomeのフィールドでキーワードでフィルタリング

まとめ

駆け足ですが、Weaviateで日本語のマルチモーダル検索をやるときにどんなデモデータでどんなデモをやったかを紹介しました。完全なものではないので恐縮ですが。。。

Weaviate 1.28（2024/12現在最新版）からKagome JAという日本語のキーワード検索用のトークナイザーが利用できるようになっています。興味がある方は、ちょっと触ってみてはどうでしょうか？

もう少し時間が取れて整理整頓出来たら、Docker Composeなども含めた形でリポジトリで公開しようと思います。 Weaviateで動かしてみようとしたり、ブログで不明点などがあればXなどで連絡をいただければと。