Skip to content

Latest commit

 

History

History
99 lines (68 loc) · 5.98 KB

File metadata and controls

99 lines (68 loc) · 5.98 KB

gamesentenceminer

GSM (GameSentenceMiner)

ゲーム時間を語学の習得へ。

Github All Releases Sponsor on GitHub Ko-Fi Discord GitHub License

English | 日本語 | 简体中文 | Español


🎮 実際の動作

Demo Gif

  • テキストフック(Text Hook)に対応していないゲームでも、OCRでテキストを取得。
  • ゲーム内でYomitanを使って単語を検索。
  • ゲームの音声とGIF画像を含んだAnkiカードを自動作成。

GSMとは?

GSMは、ゲームをプレイしながら単語カード(Flashcards)を作成するプロセスを自動化するために設計されたアプリケーションです。ゲームとAnkiの間で動作し、音声録音、スクリーンショット撮影、OCR処理を行うため、ゲームプレイを中断する必要がありません。

📝 Ankiカードの強化

GSMは、単語を検索した際に自動的にコンテキスト(文脈情報)をAnkiカードに追加します。

  • 音声キャプチャ: VAD(音声区間検出)を使用し、テキストに対応する音声を正確に録音・トリミングします。
  • スクリーンショット: セリフが話された瞬間のゲーム画面をキャプチャします。GIFおよび黒帯(レターボックス)の削除もサポートしています。
  • 履歴からのカード作成: 過去のログに遡り、以前に遭遇したセリフ(カットシーンなど)からカードを作成できます。
  • 複数行サポート: 内蔵のTexthookerを使用して、複数のセリフを1枚のカードにまとめることができます。
  • AI翻訳: オプションの統合機能により、ご自身のAPIキーを使用して文章の翻訳を追加できます。
Sekiro.mp4

👁️ OCR (文字認識)

テキストフック(Agent/Textractor)がないゲームの場合、GSMはOwOCRのカスタムフォークを使用して、画面から直接テキストを読み取ります。

これにより、通常は語学学習や例文収集(Sentence Mining)が難しいゲームでも利用可能になります。例えば、私はGSMのOCRを使用して『メタルギアソリッド 1+2』『タイタンフォール2』『SEKIRO: SHADOWS DIE TWICE』などのカードを作成しました。

  • 簡単なセットアップ: 管理されたインストールプロセスにより、ターミナル操作は不要です。
  • 2パスシステム: 直接フックしたかのような、クリーンで高速な出力を実現します。
  • キャプチャ範囲のカスタマイズ: 画面上のテキスト表示位置を正確に定義し、最適な結果を得ることができます。
mgs_ocr.mp4

🖥️ オーバーレイ

GSMには、即座に辞書検索ができる透明なオーバーレイが含まれています。

現在Windowsのみ対応しており、LinuxおよびMacのサポートは開発中です。

  • ゲーム内の文字にカーソルを合わせるだけで、Yomitan経由で定義を表示。
  • ゲームウィンドウを離れることなくカードを作成可能。

Overlay Demo

📊 統計

統計ダッシュボードで、イマージョン(没入学習)の習慣を追跡できます。

  • 漢字グリッド: これまでに遭遇したすべての漢字を表示し、クリックするとその漢字が含まれるソース文を確認できます。
  • 目標: 毎日の読書目標を設定できます。
  • データベース管理: マイニング履歴の整理やクリーンアップを行えます。

stats


🚀 はじめに

  1. ダウンロード: 最新リリースを入手してください。
  2. インストール: インストールガイド(動画)をご覧ください。
  3. 必要要件:
    • Ankiツール (Yomitan, JLなど)
    • テキストソース (Agent, Textractor, または GSM内蔵のOCR)
    • ゲーム

📚 ドキュメント

完全なセットアップガイドや設定の詳細については、Wiki をご覧ください(現在作成中)。

❤️ 謝辞