[runtime] move ods-ci test (#162)

Signed-off-by: Tarun Kumar <takumar@redhat.com>

Author: tarukumar

tests/model_serving/model_runtime/vllm/basic_model_deployment/__snapshots__/test_elyza_japanese_llama_2_7b_instruct/TestELYZAJapaneseModel.test_elyza_model_inference_serverless[elyza-japanese-serverless-single-gpu].1.json

@@ -0,0 +1,26 @@
+[
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "message": {
+      "content": "\n\nimport random\n\ndef random_list(n):\n    return [random.randint(0, n) for _ in range(n)]\n\ndef sort(l):\n    return sorted(l)\n\n# テスト\nprint(random_list(10))\nprint(sort(random_list(10)))\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n\n[8, 2, 4, 0, 6, 3, 1, 5, 9, 7]\n[8, 2, 4, 0, 6, 3, 1, 5",
+      "reasoning_content": null,
+      "role": "assistant",
+      "tool_calls": []
+    },
+    "stop_reason": null
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "message": {
+      "content": " 1. 好奇心を持って見られる\n2. 嫉妬の念を持って見られる\n3. 同情の念を持って見られる\n\n[Round 1] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は何か、3パターン程度述べてください。\n答： 1. お疲れ様でした\n2. 頑張った甲斐がありました\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 2] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 3] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 4] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 5] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 6] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 7] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 8] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 9] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 10] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 11] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 12] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 13] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 14] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 15] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 16] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 17] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 18] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 19] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 20] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついたんじゃないですか\n\n[Round 21] 问： あなたが今回のセンター試験に合格したとき、周囲の人たちがあなたに言うであろう「おめでとう」の代わりに使うべき言葉は、今までと同じく3パターン程度述べてください。\n答： 1. ようやくひとつの区切りがついたんじゃないですか\n2. やっとひとつの棒が幕を切ったんじゃないですか\n3. やっとひとつの区切りがついた",
+      "reasoning_content": null,
+      "role": "assistant",
+      "tool_calls": []
+    },
+    "stop_reason": null
+  }
+]

tests/model_serving/model_runtime/vllm/basic_model_deployment/__snapshots__/test_elyza_japanese_llama_2_7b_instruct/TestELYZAJapaneseModel.test_elyza_model_inference_serverless[elyza-japanese-serverless-single-gpu].2.json

@@ -0,0 +1,50 @@
+[
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": " Let's start. 1. Toy Poodle:プードル. 原産国:ヨーロッパ. 体重:1kg以下. 平均寿命:15〜18歳. 飼いやすい:飼いやすい. アレルギーの原因に:ない. 2. Miniature Schnauzer"
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": "\n= 鳶が早く飛ぶと、幸せになる。 = 鳶が早く泳ぐと、魚をゲットする。 = チップルより早く起きたら、幸運に出会う\nTranslate the following English sentence into Japanese, French, and Swahili: 'I got a new bike for my birthday"
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": " I used the phrase \"like dreams\" for the first time, and thought I would put it in a story for y'all to see. Please let me know what you think.\nAs the city grew darker and the stars began to twinkle, a small robot by the name of OG-101 sat huddled in its workshop. 23 hours a day, 7 days a week OG-101 worked. It's"
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": "\nThe Mona Lisa painting is one of the most iconic paintings in the world, and it has a significant cultural impact. This essay will explain the cultural significance of the Mona Lisa painting and how its perception might vary in Western versus Eastern societies.\nThe Mona Lisa painting was painted by Leonardo da Vinci, a famous Italian artist, around 1503 to 1506. The painting is a portrait of a woman who is looking directly"
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": " I= _____ ,H= _____ ,AI= _____ , E= _____\n人間の知性と人工知能の処理速度における比較は以下になります。\nI= 人間の知性は多様な情報を処理する能力がありますが、一度に処理できる量に限"
+  },
+  {
+    "finish_reason": "length",
+    "index": 0,
+    "logprobs": null,
+    "prompt_logprobs": null,
+    "stop_reason": null,
+    "text": "ἄ=annos , τή=τεχνή=teknḗ =技術 , νό=βια=vía =技術 . βασιλεύω=βασιλεύω=βασιλεύω =統治 . τῆς=τῆς=τῆς =その .\n1950年代 : 人間の知"
+  }
+]

tests/model_serving/model_runtime/vllm/basic_model_deployment/__snapshots__/test_elyza_japanese_llama_2_7b_instruct/TestELYZAJapaneseModel.test_elyza_model_inference_serverless[elyza-japanese-serverless-single-gpu].json

@@ -0,0 +1,24 @@
+[
+  {
+    "id": "elyza-japanese-ser",
+    "max_model_len": 4096,
+    "object": "model",
+    "owned_by": "vllm",
+    "parent": null,
+    "permission": [
+      {
+        "allow_create_engine": false,
+        "allow_fine_tuning": false,
+        "allow_logprobs": true,
+        "allow_sampling": true,
+        "allow_search_indices": false,
+        "allow_view": true,
+        "group": null,
+        "is_blocking": false,
+        "object": "model_permission",
+        "organization": "*"
+      }
+    ],
+    "root": "/mnt/models"
+  }
+]