Merge pull request #56 from aws-samples/development

Development

Author: MithilShah

kendra_retriever_samples/ja/README.md

@@ -0,0 +1,90 @@
+# AWS Langchain
+このリポジトリは [Langchain](https://github.com/hwchase17/langchain/tree/master) と Amazon Kendra を利用するためのサンプルを提供します。
+現在、SageMaker、OpenAI、および Anthropic プロバイダー向けに QA チェーンを実行するための [Kendra retriever クラス](https://python.langchain.com/docs/modules/data_connection/retrievers/integrations/amazon_kendra_retriever)のサンプルが含まれています。
+
+## インストール
+
+リポジトリをクローンします
+```bash
+git clone https://github.com/aws-samples/amazon-kendra-langchain-extensions.git
+```
+
+リポジトリのあるディレクトリに移動します
+```bash
+cd amazon-kendra-langchain-extensions
+```
+
+サンプルディレクトリに移動します
+```bash
+cd kendra_retriever_samples
+```
+
+依存関係をインストールします
+
+pip を使用する場合
+```bash
+pip install -r requirements.txt
+```
+
+Conda を利用する場合
+```bash
+conda env create -f environment.yml
+```
+
+### Bedrock の場合
+Bedrock を使用する場合、Bedrock サポートを持つ最新の boto3 および langchain バージョンに更新し、Bedrock へのアクセス権を持つ AWS_PROFILE を使用していることを確認してください。
+
+```
+pip install --force-reinstall "langchain>=0.0.306"
+pip install --force-reinstall "boto3>=1.28.57"
+```
+
+## サンプルの実行
+サンプルを実行する前に、Large Language Model をデプロイする（または Anthropic や OpenAI を使用する場合は API キーを取得する）必要があります。このリポジトリのサンプルは、SageMaker Jumpstart と Amazon Bedrock を使用して展開されたモデルでテストされています。 LLM のモデル ID は以下の表にまとめられています。
+
+| モデル名            | 環境変数名          | Jumpstart モデル ID                      | streamlit プロバイダ | 日本語対応 |
+| ------------------- | ------------------- | ---------------------------------------- | -------------------- | ---------- |
+| Falcon 40B instruct | FALCON_40B_ENDPOINT | huggingface-llm-falcon-40b-instruct-bf16 | falcon40b            |
+| Bedrock Claude      | None                |                                          | bedrock_claude       |
+| Bedrock Claude V2   | None                |                                          | bedrock_claudev2     |
+
+LLMをデプロイした後、kendra ID、aws_region、エンドポイント名（または外部プロバイダーの API キー）の環境変数を設定する必要があります。
+
+例えば、`kendra_chat_open_ai.py` のサンプルを実行する場合、以下の環境変数を設定する必要があります
+- AWS_REGION
+- KENDRA_INDEX_ID
+- OPENAI_API_KEY
+
+以下のコマンドを使用して環境変数を設定できます。使用するプロバイダーの環境変数のみを設定します。たとえば、Flan-xl を使用する場合は FLAN_XXL_ENDPOINT のみを設定します。他のエンドポイントとキーは設定する必要はありません。
+
+```bash
+export LANGUAGE_CODE=ja
+export AWS_REGION=<YOUR-AWS-REGION>
+export AWS_PROFILE=<AWS Profile>
+export KENDRA_INDEX_ID=<YOUR-KENDRA-INDEX-ID>
+
+export FALCON_40B_ENDPOINT=<YOUR-SAGEMAKER-ENDPOINT-FOR-FALCON> # only if you are using falcon as the endpoint
+export OPENAI_API_KEY=<YOUR-OPEN-AI-API-KEY> #  only if you are using OPENAI as the endpoint
+```
+
+
+### streamlit アプリからのサンプルの実行（日本語未対応）
+サンプルディレクトリには、streamlit を使用してウェブアプリとして実行できる `app.py` ファイルが含まれています。
+
+```bash
+streamlit run app.py falcon40b
+```
+
+上記のコマンドは、LLM チェーンとして `kendra_chat_falcon_40b` を実行します。異なるチェーンを実行するには、異なるプロバイダーを渡してください。たとえば、`open_ai` チェーンを実行する場合は `streamlit run app.py openai` を実行します。テーブル上の「streamlitプロバイダ名」列を活用してプロバイダ名を確認してください。
+
+### コマンドラインからのサンプルの実行
+```bash
+python <sample-file-name.py>
+```
+
+## Contributing
+このリポジトリのフォークを作成して、変更内容をプルリクエストで提出してください。
+詳細については、[CONTRIBUTING](../CONTRIBUTING.md) を参照してください。
+
+## License
+このライブラリは MIT-0 ライセンスのもとで提供されています。詳細は LICENSE ファイルをご覧ください。

kendra_retriever_samples/ja/__init__.py

@@ -0,0 +1 @@
+"""Sample chains for AWS Langchain integration"""

kendra_retriever_samples/ja/app.py

@@ -0,0 +1,214 @@
+import streamlit as st
+import uuid
+import sys
+import kendra_chat_open_ai as openai
+import kendra_chat_falcon_40b as falcon40b
+import kendra_chat_bedrock_claude as bedrock_claude
+import kendra_chat_bedrock_claudev2 as bedrock_claudev2
+
+
+USER_ICON = "images/user-icon.png"
+AI_ICON = "images/ai-icon.png"
+MAX_HISTORY_LENGTH = 5
+PROVIDER_MAP = {
+    "openai": "Open AI",
+    "falcon40b": "Falcon 40B",
+}
+
+
+# function to read a properties file and create environment variables
+def read_properties_file(filename):
+    import os
+    import re
+
+    with open(filename, "r") as f:
+        for line in f:
+            m = re.match(r"^\s*(\w+)\s*=\s*(.*)\s*$", line)
+            if m:
+                os.environ[m.group(1)] = m.group(2)
+
+
+# Check if the user ID is already stored in the session state
+if "user_id" in st.session_state:
+    user_id = st.session_state["user_id"]
+
+# If the user ID is not yet stored in the session state, generate a random UUID
+else:
+    user_id = str(uuid.uuid4())
+    st.session_state["user_id"] = user_id
+
+
+if "llm_chain" not in st.session_state:
+    if len(sys.argv) > 1:
+        if sys.argv[1] == "openai":
+            st.session_state["llm_app"] = openai
+            st.session_state["llm_chain"] = openai.build_chain()
+        elif sys.argv[1] == "falcon40b":
+            st.session_state["llm_app"] = falcon40b
+            st.session_state["llm_chain"] = falcon40b.build_chain()
+        elif sys.argv[1] == "bedrock_claude":
+            st.session_state["llm_app"] = bedrock_claude
+            st.session_state["llm_chain"] = bedrock_claude.build_chain()
+        elif sys.argv[1] == "bedrock_claudev2":
+            st.session_state["llm_app"] = bedrock_claudev2
+            st.session_state["llm_chain"] = bedrock_claudev2.build_chain()
+        else:
+            raise Exception("Unsupported LLM: ", sys.argv[1])
+    else:
+        raise Exception("Usage: streamlit run app.py <openai|falcon40b|bedrock_claude|bedrock|claudev2>")
+
+
+if "chat_history" not in st.session_state:
+    st.session_state["chat_history"] = []
+
+if "chats" not in st.session_state:
+    st.session_state.chats = [{"id": 0, "question": "", "answer": ""}]
+
+if "questions" not in st.session_state:
+    st.session_state.questions = []
+
+if "answers" not in st.session_state:
+    st.session_state.answers = []
+
+if "input" not in st.session_state:
+    st.session_state.input = ""
+
+
+st.markdown(
+    """
+        <style>
+               .block-container {
+                    padding-top: 32px;
+                    padding-bottom: 32px;
+                    padding-left: 0;
+                    padding-right: 0;
+                }
+                .element-container img {
+                    background-color: #000000;
+                }
+
+                .main-header {
+                    font-size: 24px;
+                }
+        </style>
+        """,
+    unsafe_allow_html=True,
+)
+
+
+def write_logo():
+    col1, col2, col3 = st.columns([5, 1, 5])
+    with col2:
+        st.image(AI_ICON, use_column_width="always")
+
+
+def write_top_bar():
+    col1, col2, col3 = st.columns([1, 10, 2])
+    with col1:
+        st.image(AI_ICON, use_column_width="always")
+    with col2:
+        selected_provider = sys.argv[1]
+        if selected_provider in PROVIDER_MAP:
+            provider = PROVIDER_MAP[selected_provider]
+        else:
+            provider = selected_provider.capitalize()
+        header = f"An AI App powered by Amazon Kendra and {provider}!"
+        st.write(f"<h3 class='main-header'>{header}</h3>", unsafe_allow_html=True)
+    with col3:
+        clear = st.button("Clear Chat")
+    return clear
+
+
+clear = write_top_bar()
+
+if clear:
+    st.session_state.questions = []
+    st.session_state.answers = []
+    st.session_state.input = ""
+    st.session_state["chat_history"] = []
+
+
+def handle_input():
+    input = st.session_state.input
+    question_with_id = {"question": input, "id": len(st.session_state.questions)}
+    st.session_state.questions.append(question_with_id)
+
+    chat_history = st.session_state["chat_history"]
+    if len(chat_history) == MAX_HISTORY_LENGTH:
+        chat_history = chat_history[:-1]
+
+    llm_chain = st.session_state["llm_chain"]
+    chain = st.session_state["llm_app"]
+    result = chain.run_chain(llm_chain, input, chat_history)
+    answer = result["answer"]
+    chat_history.append((input, answer))
+
+    document_list = []
+    if "source_documents" in result:
+        for d in result["source_documents"]:
+            if not (d.metadata["source"] in document_list):
+                document_list.append((d.metadata["source"]))
+
+    st.session_state.answers.append(
+        {
+            "answer": result,
+            "sources": document_list,
+            "id": len(st.session_state.questions),
+        }
+    )
+    st.session_state.input = ""
+
+
+def write_user_message(md):
+    col1, col2 = st.columns([1, 12])
+
+    with col1:
+        st.image(USER_ICON, use_column_width="always")
+    with col2:
+        st.warning(md["question"])
+
+
+def render_result(result):
+    answer, sources = st.tabs(["Answer", "Sources"])
+    with answer:
+        render_answer(result["answer"])
+    with sources:
+        if "source_documents" in result:
+            render_sources(result["source_documents"])
+        else:
+            render_sources([])
+
+
+def render_answer(answer):
+    col1, col2 = st.columns([1, 12])
+    with col1:
+        st.image(AI_ICON, use_column_width="always")
+    with col2:
+        st.info(answer["answer"])
+
+
+def render_sources(sources):
+    col1, col2 = st.columns([1, 12])
+    with col2:
+        with st.expander("Sources"):
+            for s in sources:
+                st.write(s)
+
+
+# Each answer will have context of the question asked in order to associate the provided feedback with the respective question
+def write_chat_message(md, q):
+    chat = st.container()
+    with chat:
+        render_answer(md["answer"])
+        render_sources(md["sources"])
+
+
+with st.container():
+    for q, a in zip(st.session_state.questions, st.session_state.answers):
+        write_user_message(q)
+        write_chat_message(a, q)
+
+st.markdown("---")
+input = st.text_input(
+    "You are talking to an AI, ask any question.", key="input", on_change=handle_input
+)