Vector Storesはテキストデータをベクトル化して保存・検索するための仕組みです。
事前に独自コンテンツのテキストをベクトル化して保存しておきます。
検索時には、近似最近傍探索という方法を利用します。
これは、検索キーワードをベクトル化(クエリベクトルに)して、そのベクトルデータと値の近いベクトルデータをデータベースの中から検索・抽出する方法です。
この手法を利用することで、AIに与えられた質問と数値的に近いデータベース内の情報を使って、AIが回答を生成することができます。
参考:https://chmod774.com/vector-stores/
クエリベクトルを階層的に検索していく仕組み。
まず、すべてのベクトルデータは、最下層に位置する。ベクトルデータの情報の断片がノードとして、各層に配置される。層が上がるほど、より中心的な概要的な情報片(あらゆるデータの部分集合になりやすい情報)がノードとして配置される。また、各層のノードは、エッジと呼ばれる関係性を表す線で結ばれている。
クエリベクトルに対して、上位の中心的・概要的な情報片の中から一番値の近い情報片を見つける。見つけたら、その情報片から下層に移動し、エッジで結ばれた情報片に移動する。これを繰り返すことで、最下層の近似のベクトルデータにたどり着くという仕組み。