mirror of
https://github.com/meilisearch/MeiliSearch
synced 2025-07-04 20:37:15 +02:00
Add test with multiple embedders
This commit is contained in:
Mubelotix
parent
5690700601
commit
7423243be0
1 changed files with 445 additions and 2 deletions
|
|
@ -106,12 +106,14 @@ pub async fn init_fragments_index() -> (Server<Owned>, String, crate::common::Va
|
|||
|
||||
// TODO: Test cannot pass both fragments and document
|
||||
|
||||
// TODO: test with 2 embedders
|
||||
|
||||
// TODO: edit fragment
|
||||
|
||||
// TODO: document fragment replaced
|
||||
|
||||
// TODO: complex value
|
||||
|
||||
// TODO: swapping fragments
|
||||
|
||||
#[actix_rt::test]
|
||||
async fn indexing_fragments() {
|
||||
let index = shared_index_for_fragments().await;
|
||||
|
|
@ -918,3 +920,444 @@ async fn fragment_insertion() {
|
|||
}
|
||||
"#);
|
||||
}
|
||||
|
||||
#[actix_rt::test]
|
||||
async fn multiple_embedders() {
|
||||
let (server, uid, mut settings) = init_fragments_index().await;
|
||||
let index = server.index(uid);
|
||||
|
||||
let url = settings["embedders"]["rest"]["url"].as_str().unwrap();
|
||||
|
||||
let settings2 = json!({
|
||||
"embedders": {
|
||||
"rest2": {
|
||||
"source": "rest",
|
||||
"url": url,
|
||||
"dimensions": 3,
|
||||
"request": "{{fragment}}",
|
||||
"response": {
|
||||
"data": "{{embedding}}"
|
||||
},
|
||||
"indexingFragments": {
|
||||
"withBreed": {"value": "{{ doc.name }} is a {{ doc.breed }}"},
|
||||
"basic": {"value": "{{ doc.name }} is a dog"},
|
||||
},
|
||||
"searchFragments": {
|
||||
"query": {"value": "Some pre-prompt for query {{ q }}"},
|
||||
}
|
||||
},
|
||||
"rest3": {
|
||||
"source": "rest",
|
||||
"url": url,
|
||||
"dimensions": 3,
|
||||
"request": "{{fragment}}",
|
||||
"response": {
|
||||
"data": "{{embedding}}"
|
||||
},
|
||||
"indexingFragments": {
|
||||
"basic": {"value": "{{ doc.name }} is a dog"},
|
||||
},
|
||||
"searchFragments": {
|
||||
"query": {"value": "Some pre-prompt for query {{ q }}"},
|
||||
}
|
||||
},
|
||||
},
|
||||
});
|
||||
let (response, code) = index.update_settings(settings2).await;
|
||||
snapshot!(code, @"202 Accepted");
|
||||
let task = server.wait_task(response.uid()).await;
|
||||
snapshot!(task, @r#"
|
||||
{
|
||||
"uid": "[uid]",
|
||||
"batchUid": "[batch_uid]",
|
||||
"indexUid": "[uuid]",
|
||||
"status": "succeeded",
|
||||
"type": "settingsUpdate",
|
||||
"canceledBy": null,
|
||||
"details": {
|
||||
"embedders": {
|
||||
"rest2": {
|
||||
"source": "rest",
|
||||
"dimensions": 3,
|
||||
"url": "[url]",
|
||||
"indexingFragments": {
|
||||
"basic": {
|
||||
"value": "{{ doc.name }} is a dog"
|
||||
},
|
||||
"withBreed": {
|
||||
"value": "{{ doc.name }} is a {{ doc.breed }}"
|
||||
}
|
||||
},
|
||||
"searchFragments": {
|
||||
"query": {
|
||||
"value": "Some pre-prompt for query {{ q }}"
|
||||
}
|
||||
},
|
||||
"request": "{{fragment}}",
|
||||
"response": {
|
||||
"data": "{{embedding}}"
|
||||
}
|
||||
},
|
||||
"rest3": {
|
||||
"source": "rest",
|
||||
"dimensions": 3,
|
||||
"url": "[url]",
|
||||
"indexingFragments": {
|
||||
"basic": {
|
||||
"value": "{{ doc.name }} is a dog"
|
||||
}
|
||||
},
|
||||
"searchFragments": {
|
||||
"query": {
|
||||
"value": "Some pre-prompt for query {{ q }}"
|
||||
}
|
||||
},
|
||||
"request": "{{fragment}}",
|
||||
"response": {
|
||||
"data": "{{embedding}}"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"error": null,
|
||||
"duration": "[duration]",
|
||||
"enqueuedAt": "[date]",
|
||||
"startedAt": "[date]",
|
||||
"finishedAt": "[date]"
|
||||
}
|
||||
"#);
|
||||
|
||||
let (documents, code) = index
|
||||
.get_all_documents(GetAllDocumentsOptions { retrieve_vectors: true, ..Default::default() })
|
||||
.await;
|
||||
snapshot!(code, @"200 OK");
|
||||
snapshot!(json_string!(documents), @r#"
|
||||
{
|
||||
"results": [
|
||||
{
|
||||
"id": 0,
|
||||
"name": "kefir",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.5,
|
||||
-0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest2": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.5,
|
||||
-0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.5,
|
||||
-0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 1,
|
||||
"name": "echo",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
1.0
|
||||
]
|
||||
],
|
||||
"regenerate": false
|
||||
},
|
||||
"rest2": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.0,
|
||||
0.0,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.0,
|
||||
0.0,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 2,
|
||||
"name": "intel",
|
||||
"breed": "labrador",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
-1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest2": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
-1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 3,
|
||||
"name": "dustin",
|
||||
"breed": "bulldog",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest2": {
|
||||
"embeddings": [
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"offset": 0,
|
||||
"limit": 20,
|
||||
"total": 4
|
||||
}
|
||||
"#);
|
||||
|
||||
// Remove Rest2
|
||||
|
||||
settings["embedders"]["rest2"] = serde_json::Value::Null;
|
||||
|
||||
let (response, code) = index.update_settings(settings.clone()).await;
|
||||
snapshot!(code, @"202 Accepted");
|
||||
let value = server.wait_task(response.uid()).await.succeeded();
|
||||
snapshot!(value["status"], @r###""succeeded""###);
|
||||
|
||||
let (documents, code) = index
|
||||
.get_all_documents(GetAllDocumentsOptions { retrieve_vectors: true, ..Default::default() })
|
||||
.await;
|
||||
snapshot!(code, @"200 OK");
|
||||
snapshot!(json_string!(documents), @r#"
|
||||
{
|
||||
"results": [
|
||||
{
|
||||
"id": 0,
|
||||
"name": "kefir",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.5,
|
||||
-0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.5,
|
||||
-0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 1,
|
||||
"name": "echo",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
1.0
|
||||
]
|
||||
],
|
||||
"regenerate": false
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
0.0,
|
||||
0.0,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 2,
|
||||
"name": "intel",
|
||||
"breed": "labrador",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
-1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
1.0,
|
||||
1.0,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": 3,
|
||||
"name": "dustin",
|
||||
"breed": "bulldog",
|
||||
"_vectors": {
|
||||
"rest": {
|
||||
"embeddings": [
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
0.0
|
||||
],
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
1.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
},
|
||||
"rest3": {
|
||||
"embeddings": [
|
||||
[
|
||||
-0.5,
|
||||
0.5,
|
||||
0.0
|
||||
]
|
||||
],
|
||||
"regenerate": true
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"offset": 0,
|
||||
"limit": 20,
|
||||
"total": 4
|
||||
}
|
||||
"#);
|
||||
|
||||
// Remove rest's basic fragment
|
||||
|
||||
settings["embedders"]["rest"]["indexingFragments"]["basic"] = serde_json::Value::Null;
|
||||
|
||||
let (response, code) = index.update_settings(settings).await;
|
||||
snapshot!(code, @"202 Accepted");
|
||||
let value = server.wait_task(response.uid()).await.succeeded();
|
||||
snapshot!(value["status"], @r###""succeeded""###);
|
||||
|
||||
let (documents, code) = index
|
||||
.get_all_documents(GetAllDocumentsOptions { retrieve_vectors: true, ..Default::default() })
|
||||
.await;
|
||||
snapshot!(code, @"200 OK");
|
||||
snapshot!(json_string!(documents), @r"");
|
||||
}
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue