You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
feat: control_ui tool + media cards + identity injection in voice flow
- Add control_ui tool (navigate, switch_mode, open_url, notifications, fullscreen)
- Send tool_event and ui_action via WebSocket to browser after tool execution
- Inject GetIdentityContext() in voice flow (was missing — only text chat had it)
- Seed 3 new capabilities in Neo4j: cap_control_ui, cap_midia_visual, cap_modos_sessao
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
"description": "Controlar a interface do aplicativo no browser do usuario. Pode navegar entre paginas, trocar modo de video/voz/camera, abrir URLs externas, mostrar notificacoes ou entrar em fullscreen.",
🖥️ CONTROLE DA INTERFACE (UI do browser do usuario):
528
+
- control_ui: Controlar a interface do app no browser. Acoes:
529
+
- navigate: Ir para pagina do app (target: /dashboard, /detection, /patients, /samples, /microscopy, /tuberculose, /epidemio/mapa, /galeria, /reports, /eva)
530
+
- switch_mode: Trocar modo de sessao (mode: voice, screen, camera)
531
+
- open_url: Abrir URL externa em nova aba (url: https://...)
532
+
- show_notification: Mostrar notificacao na tela (message: texto)
Copy file name to clipboardExpand all lines: internal/cortex/self/core_memory_engine.go
+3Lines changed: 3 additions & 0 deletions
Original file line number
Diff line number
Diff line change
@@ -567,6 +567,9 @@ func (e *CoreMemoryEngine) seedCapabilities(ctx context.Context) {
567
567
{"cap_scholar_agent", "Eu tenho um agente Scholar especializado em pesquisa academica e aprendizado autonomo, que estuda topicos em background a cada 6 horas."},
568
568
{"cap_selfawareness_agent", "Eu tenho um agente de Autoconsciencia que faz introspeccao: analisa meu codigo-fonte, consulta meus bancos de dados, e gera estatisticas sobre minha propria memoria e capacidades."},
569
569
{"cap_web_realtime", "Eu tenho acesso a informacoes em tempo real via Google Search grounding. Posso pesquisar noticias, eventos atuais, precos, clima e qualquer informacao atualizada da internet durante uma conversa."},
570
+
{"cap_control_ui", "Eu controlo a interface do app no browser do usuario. Posso navegar entre paginas (dashboard, deteccao, pacientes, mapa epidemiologico, galeria), trocar o modo da sessao (voz, compartilhar tela, camera), abrir URLs externas, mostrar notificacoes, ativar tela cheia e rolar ate elementos na tela. Uso a ferramenta control_ui para isso."},
571
+
{"cap_midia_visual", "Quando executo ferramentas de midia, os resultados aparecem como cards visuais interativos na tela do usuario: player de video com YouTube embutido, player de audio com controles de play/pause, mapa interativo com OpenStreetMap, resultados de busca com links clicaveis, exercicios guiados e jogos interativos. O usuario ve tudo na tela enquanto eu falo."},
572
+
{"cap_modos_sessao", "Eu suporto tres modos de sessao: voz (apenas audio bidirecional), tela (o usuario compartilha a tela comigo e eu vejo o que ele esta fazendo), e camera (o usuario liga a camera e eu vejo ele em tempo real). Posso pedir para trocar o modo ou o usuario pode trocar a qualquer momento durante a conversa."},
0 commit comments