generated from amazon-archives/__template_MIT-0
-
Notifications
You must be signed in to change notification settings - Fork 59
Open
Description
Is your feature request related to a problem? / この機能リクエストは何か問題に関連していますか?
English
While Bedrock Engineer has a conversation history feature, it currently faces two limitations:
- The number of messages that can be included in a single request array is limited
- There is no mechanism to compress and retain ongoing conversations efficiently
This results in potential loss of important context and increased token usage.
日本語
Bedrock Engineerには会話履歴機能がありますが、現在2つの制限があります:
- 1回のリクエストに含められるメッセージ配列の数に制限があります(Bedrock InvokeModel の req/sec Quotaに依る)
- 進行中の会話を圧縮して効率的に保持する仕組みがありませんこれにより、重要なコンテキストが失われる可能性があり、トークン使用量も増加してしまいます。
Describe the solution you'd like / 希望する解決策を説明してください。
English
Implement an enhanced memory system that would:
- Compress ongoing conversations into summarized formats while retaining key information
- Reduce the number of messages in the request array through intelligent summarization
- Store and manage long-term context across multiple sessions
- Provide efficient retrieval of historical context when needed
- Include mechanisms to prioritize and maintain the most relevant information
- Optimize token usage while maintaining conversation context
日本語
以下の機能を持つ強化されたメモリシステムの実装を提案します:
- 重要な情報を保持しながら進行中の会話を要約形式に圧縮
- インテリジェントな要約によるリクエスト配列内のメッセージ数の削減
- 複数セッションにわたる長期的なコンテキストの保存と管理
- 必要な時に過去のコンテキストを効率的に取得できる機能
- 最も関連性の高い情報を優先付けして維持する仕組み
- 会話のコンテキストを維持しながらトークン使用量を最適化
Describe alternatives you've considered / 検討した代替案について説明してください。
English
- Simple message truncation system that removes older messages
- Keyword-based context extraction instead of full conversation storage
- Using external vector databases for efficient context storage and retrieval
- Implementing a sliding window approach with periodic summarization
- Creating topic-based conversation segments for better context management
日本語
- 古いメッセージを削除するシンプルな切り捨てシステム
- 会話全体の保存の代わりにキーワードベースのコンテキスト抽出
- 効率的なコンテキストの保存と取得のための外部ベクトルデータベースの使用
- 定期的な要約を伴うスライディングウィンドウアプローチの実装
- より良いコンテキスト管理のためのトピックベースの会話セグメント作成
Additional context / 補足情報
English
- This enhancement would significantly reduce token usage while maintaining conversation quality
- The compression algorithm needs to be carefully designed to preserve critical context
- Consider implementing different compression levels based on conversation importance
- Real-time performance impact should be minimal
- Include metrics to measure the effectiveness of compression and context retention
日本語
- この機能強化により、会話の質を維持しながらトークン使用量を大幅に削減できます
- 重要なコンテキストを保持するため、圧縮アルゴリズムは慎重に設計する必要があります
- 会話の重要度に基づいて異なる圧縮レベルの実装を検討してください
- リアルタイムのパフォーマンスへの影響は最小限に抑える必要があります
- 圧縮とコンテキスト保持の効果を測定するための指標を含めてください
samhays
Metadata
Metadata
Assignees
Labels
No labels