利用AI分析摄像头/门铃视频并识别场景执行自动化

[al-one]

操作步骤：

1. 摄像头/门铃通过Xiaomi Miot Auto接入Home Assistant
   • 要求HA支持外网访问，并已配置外网访问地址
2. 安装AI Conversation Agent集成
   • 要求HA版本 2025.8 及以上
   • HACS一键安装
   • 安装命令: wget -O - https://get.hacs.vip | DOMAIN=ai_conversation REPO_PATH=hasscc/ai-conversation ARCHIVE_TAG=main bash -
3. 添加保存录像脚本

   与 Xiaomi camera/doorbell Recording and Notify / 摄像头或门铃录像并通知 #2449 一样

# configuration.yaml
shell_command:
  # other commands ...
  save_xiaomi_video: |
    bash -c '
      mp4="{{ name|default('latest') }}.mp4"
      dir="{{ dir|default('/media/camera',true) }}"
      mkdir -p "$dir" && cd "$dir"
      script=/config/custom_components/xiaomi_miot/scripts/save_xiaomi_video.sh
      if [ -f "$script" ]; then
        bash "$script" "{{ url }}" "$mp4"
      else
        ffmpeg -y -i "{{ url }}" -c copy "$mp4"
      fi
      ls *.mp4 | sort | head -n -{{ keep|default(100) }} | xargs rm -vf
      if [ -n "{{ img }}" ]; then
        curl -o "{{ name|default('latest') }}.jpg" "{{ img }}"
        ls *.jpg | sort | head -n -{{ keep|default(100) }} | xargs rm -vf
      fi
    '

由于小米摄像机/门铃看家助手提供的hls流在通过ffmpeg转换成mp4时会出错，仅能保存第一个切片(5秒内)，因此提供了save_xiaomi_video.sh脚本，该脚本会逐个转换每个ts切片最后拼接成完整mp4，该脚本已随着v1.0.17版本一起发布了。

5. 重启 Home Assistant
6. 添加AI视觉模型
   1. 免费视觉模型申请并获取ApiKey
   2. 添加AI账号配置
   3. 添加对话模型 (推荐智谱AI的免费模型: glm-4.1v-thinking-flash)
7. 导入蓝图
   • 进阶版: 支持通知到任何服务
   • https://gitee.com/al-one/hass-xiaomi-miot/raw/master/blueprints/automation/camera-recording-notify.yaml
8. Telegram永久保存视频回放(如不需要可跳过)

   需要特殊网络环境

   1. 通过BotFather创建一个机器人并获取token
   2. 创建一个私人群组并添加机器人为管理员
   3. 通过GetIDs Bot获取群组ID (如果你获得的群组ID不是-开头的，一段时间后可能会变)
   4. 在HA中配置Telegram Bot集成
   5. +添加允许的聊天标识符
9. 通过蓝图创建自动化

alias: Camera Recording and Explain
description: 利用AI分析摄像头/门铃视频
use_blueprint:
  path: gitee.com/camera-recording-notify.yaml
  input:
    camera: camera.isa_hlc7_xxxx_camera_control
    mihome_notify: sensor.mi_xxxxyyyy_message
    mihome_notify_kwd: 门铃
    save_dir: /media/camera
    keep_num: 20
    video_events:
      ObjectMotion: 画面变动
    notify_action:
      - action: ai_conversation.explain_media
        data:
          entity_id: conversation.agent_glm_4_1v_thinking_flash
          video: "{{ mp4_path }}"
          prompt: 这是我家门铃录制的视频。分析并简单总结一下，重点描述人物特征及行为。
          tags:
            - 回家
            - 离家
            - 敲门
            - 按门铃
            - 快递员
            - 外卖员
        response_variable: ai_result
      - parallel:
          - if:
              - alias: AI正常回复
                condition: template
                value_template: "{{ '敲门' in ai_result.tags }}"
            then:
              - alias: 推送通知到手机上
                action: notify.mobile_app_your_iphone
                data:
                  title: "{{ home_name }}{{ camera_device_name }}"
                  message: "{{ ai_result.message or event }}"
                  data:
                    video: "{{ mp4_path }}"
                    image: "{{ img_path }}"
                    url: /config/devices/device/{{ camera_device_id }}
                    actions:
                      - action: URI
                        title: 打开米家
                        uri: "{{ app_link }}"
                      - action: none
                        title: 我知道了
                    push:
                      tag: "{{ camera_entity_id }}"
          - alias: 发送视频到TG群永久保存回放
            action: telegram_bot.send_video
            data:
              config_entry_id: xxxyyyzzz # Telegram Bot 配置条目ID
              target: -1234567890 # 群组/会话ID
              # message_thread_id: xxxx # 话题ID
              file: "{{ mp4_path.replace('/local','') }}"
              caption: |-
                #{{ home_name }} #{{ camera_device_name }} #{{ event }}
                {{ ai_result.tags_string|default('') }}
                {{ ai_result.message }}
              parse_mode: plain_text
            response_variable: tg_result

---

如果你设置成功了，请在下方点个🎉

[dscao]

这个牛，非常感谢。

[al-one]

如果摄像头已接入Frigate，可以参考以下方法实现AI识别并通知：

1. Frigate配置MQTT(与HA连接同一个)
2. 反代理Frigate，使外网可以访问Frigate的视频

   这里提供一个caddy反代的配置示例

# Caddyfile
http://frigate.your.domain,
https://frigate.your.domain {
    @api_events {
        path /api/events/*/*
        query token=YourSelfToken
    }
    reverse_proxy @api_events http://172.17.0.1:5000

    reverse_proxy https://172.17.0.1:8971 {
        transport http {
            tls_insecure_skip_verify
        }
    }
}

Frigate的5000端口是免登陆的，反代理时需要特别小心。上述例子仅在/api/events/*/*路由上反代到5000端口，并需要token参数才能访问。Frigate事件ID以随机字符串结尾，意味着事件ID天然就是一个随机token，因此配置反代理时的token是可选的。

3. 添加自动化

triggers:
  - trigger: mqtt
    topic: frigate/events
    payload: end
    value_template: "{{ value_json.type }}"
actions:
  - variables:
      after: "{{ value_json.after }}"
  - action: ai_conversation.explain_media
    data:
      entity_id: conversation.agent_glm_4_1v_thinking_flash
      prompt: 分析视频
      video: https://frigate.your.domain/api/events/{{ after.id }}/clip.mp4?token=YourSelfToken
      tags:
        - 看电视
        - 玩手机
    response_variable: ai_result
  - if:
      - condition: template
        value_template: "{{ '玩手机' in ai_result.tags }}"
    then:
      - action: xiaomi_miot.intelligent_speaker
        data:
          entity_id: media_player.xiaoai_x08c_xxxx
          text: 别玩手机了

[otherbanana]

谢谢大佬的耐心解答

[jhx520]

小米门锁pro带摄像头的，可以用这个吗

[al-one]

HA通过miot集成接入后能看到视频画面就可以

[jhx520]

手机上锁屏播放只有声音存储的视频，无画面，这是为啥