.
Based on PYTHON 3.12.4
MyDigitalTwin: è un programma che può creare il tuo gemello digitale utilizzando un campione video e audio di te, con cui potrai interagire tramite microfono o chat di testo.
Ti vedrai parlare con te, con la tua voce e il tuo viso in sincronizzazione labiale.
È chiaramente un ## PROTOTIPO ## che potrebbe funzionare meglio ed essere ampliato, quindi tutti sono invitati a contribuire!
Utilizza un modello di intelligenza artificiale e un sistema RAG per risposte personalizzate, così potrai indicizzare la tua vita, i tuoi pensieri, così da poter vivere per sempre in modalità vita digitale. Funziona in locale sul tuo computer, senza API, senza server esterni.
Questo framework ti permette di chattare con i tuoi documenti in RAG, inclusi contenuti multimediali (audio, video, immagini e riconoscimento ottico dei caratteri). Il framework è un'interfaccia grafica per chattare con un modello GPT scaricato da OLLAMA; consigliamo LLAMA 3.2 (2 GB), che funziona perfettamente anche su computer di medie dimensioni. Inoltre, è necessario installare il software Tesseract; per il riconoscimento OCR, consigliamo di scegliere italiano e inglese durante l'installazione.
---------------- I tuoi dati rimangono sul tuo computer ---------------
MyDigitalTwin ti permette di:
- Chattare con il modello senza RAG.
- Chattare utilizzando la casella di testo o il microfono.
- Indicizzare una cartella di documenti di vario tipo per il RAG.
- Interrogare il sistema, che trascriverà l'audio e il video nei documenti, eseguirà l'OCR sulle immagini e descriverà anche 10 fotogrammi equamente distribuiti nel video.
- Devi usare un video di esempio (sample_face.mp4) e un audio di esempio della tua voce (sample_voice.wav).
- Il sistema necessita di una connessione Internet solo all'avvio per scaricare i modelli da HuggingFace, ecc. Dopodiché puoi anche scollegare il computer.
- Se nel sistema RAG sono presenti molti documenti su di te, puoi ottenere il tuo gemello digitale.
- Esegui il file install.bat (installa Tesseract, Ollama, il modello LLama3.2 e FFMpeg)
- Nel framework segui le istruzioni (ad esempio, scarica un modello).
- L'area di lavoro si trova nella cartella documents, dove andrai a mettere i tuoi documenti da indicizzare nel RAG.
- Scegli un embedder (di default è bert-base-italian-uncased per l'italiano).
- Aggiorna l'indice.
- CHAT
- Il programma scarica i file in C:\Users\YOUR_USER_NAME\.cache\huggingface\hub: models--dbmdz--bert-base-italian-uncased, models--Salesforce--blip-image-captioning-base, whisper, coqui-tts.
- creare la cartella mydigitaltwin
- copiare tutto il contenuto di questo repository.
- creare un ambiente Python: python -m venv nbmultirag
- attivare l'ambiente (per Windows: mydigitaltwin\Scripts\activate)
- pip install -r requirements.txt
- python life3.py
- indicizzare una cartella di documenti di vario tipo per il RAG.
- interrogare il sistema, che trascriverà l'audio e il video nei documenti, eseguirà l'OCR sulle immagini e descriverà anche 10 fotogrammi equamente distribuiti nel video.
- Il sistema necessita di una connessione Internet solo all'avvio per scaricare i modelli da HuggingFace, dopodiché è possibile anche scollegare il computer.
My digital twin - it is a program can make your digital twin using a video and audio sample of you, then you can interact by microphone or text chatting.
You will see yourself speaking with you, with your voice and your face in lip sync.
This is clearly a ## PROTOTYPE ## that could work better and be expanded, so everyone is welcome to contribute!
It uses an AI model and a RAG system for custom answers, you could index your life, your thoughts, so you can live forever in a digital life mode.
It runs local on your computer, no API, no external servers.
This framework allows you to chat with your documents in RAG, including multimedia (audio, video, images and OCR). The framework is a GUI to chat with a GPT model downloaded from OLLAMA, we recommend LLAMA 3.2 (2Gb) which performs perfectly even on medium-sized machines. In addition, you need to install the Tesseract software, for OCR recognition, we recommend choosing Italian and English during installation.
---------------- Your data remains on your computer ---------------
MyDigitalTwin, allows you to:
- Chat with the model without RAG.
- Chat using textbox or microphone.
- Index a folder of documents of various types for the RAG.
- Query the system, which will transcribe the audio and video in the documents, perform OCR on the images and also describe 10 frames equally distributed in the video.
- You need to use a sample video of you (sample_face.mp4) and a sample audio of your voice (sample_voice.wav).
- The system only needs an Internet connection at launch to download the models from HuggingFace, etc.. Then you can also disconnect the computer.
- If there are many documents about you in the RAG system, you can have your digital twin.
- Run the install.bat file (it installs Tesseract, Ollama, LLama3.2 model and FFMpeg)
- In the framework follow the prompts (e.g. download a template).
- The workspace is in the "documents" folder, where you put your documents for the RAG indexing.
- Choose an embedder (by default there is bert-base-italian-uncased for Italian.
- Update the index.
- CHAT
- The program downloads the files to C:\Users\YOUR_USER_NAME\.cache\huggingface\hub: models--dbmdz--bert-base-italian-uncased, models--Salesforce--blip-image-captioning-base, whisper, coqui-tts.
- create the mydigitaltwin folder
- copy all the contents of this repository.
- create a Python environment: python -m venv nbmultirag
- Activate the environment (for Windows: mydigitaltwin\Scripts\activate)
- pip install -r requirements.txt
- python life3.py
- Index a folder of documents of various types for the RAG.
- Query the system, which will transcribe the audio and video in the documents, perform OCR on the images and also describe 10 frames equally distributed in the video.
- The system only needs an Internet connection at launch to download the models from HuggingFace, then you can also disconnect the computer.
python life3.py