Response validation failed

[ybdesire]

Is there any policy to skip the error?

[-] Response validation failed
Traceback (most recent call last):
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/LLMs.py", line 45, in _validate_response
    return response_model.model_validate_json(response_text)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/aabc/anaconda3/envs/xxtstenv/lib/python3.12/site-packages/pydantic/main.py", line 597, in model_validate_json
    return cls.__pydantic_validator__.validate_json(json_data, strict=strict, context=context)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
pydantic_core._pydantic_core.ValidationError: 1 validation error for Response
vulnerability_types.2
  Input should be 'LFI', 'RCE', 'SSRF', 'AFO', 'SQLI', 'XSS' or 'IDOR' [type=enum, input_value='DoS', input_type=str]
    For further information visit https://errors.pydantic.dev/2.8/v/enum
Traceback (most recent call last):
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/LLMs.py", line 45, in _validate_response
    return response_model.model_validate_json(response_text)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/aabc/anaconda3/envs/xxtstenv/lib/python3.12/site-packages/pydantic/main.py", line 597, in model_validate_json
    return cls.__pydantic_validator__.validate_json(json_data, strict=strict, context=context)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
pydantic_core._pydantic_core.ValidationError: 1 validation error for Response
vulnerability_types.2
  Input should be 'LFI', 'RCE', 'SSRF', 'AFO', 'SQLI', 'XSS' or 'IDOR' [type=enum, input_value='DoS', input_type=str]
    For further information visit https://errors.pydantic.dev/2.8/v/enum

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/main.py", line 491, in <module>
    run()
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/main.py", line 397, in run
    initial_analysis_report: Response = llm.chat(user_prompt, response_model=Response)
                                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/LLMs.py", line 75, in chat
    response_text = self._validate_response(response_text, response_model) if response_model else response_text
                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/home/aabc/projects/ttst/vulnhuntr/vulnhuntr/LLMs.py", line 48, in _validate_response
    raise LLMError("Validation failed") from e
LLMs.LLMError: Validation failed

[chinaguole]

核心问题是：LLM 返回的内容不是合法的 JSON，导致 pydantic 校验失败，进而抛出 LLMError: Validation failed。
详细原因分析
LLM 返回内容格式不对
LLM 返回的内容以 \n\n\n\n{...} 开头，而不是直接以 { 开头的 JSON 字符串。
这导致 pydantic 在解析时，发现不是合法 JSON，直接报错。
pydantic 的 model_validate_json
该方法要求输入必须是严格的 JSON 格式字符串，否则会报错。
vulnhuntr/LLMs.py 的 validate_response
这里直接把 LLM 返回的原始内容丢给了 pydantic 校验，没有做格式清洗。
解决思路

1. 检查 LLM Prompt 及返回格式
   检查 prompts.py 里对 LLM 的指令，确保 LLM 只返回 JSON，不要有 、注释、markdown 等包裹内容。
   如果 LLM 返回内容不可控，可以在 _validate_response 里加一段预处理，把非 JSON 部分剥离掉，只保留 JSON。
2. 自动提取 JSON
   可以用正则或简单字符串查找，提取第一个 { 到最后一个 } 之间的内容，再传给 pydantic 校验。
   代码修复建议
   在 vulnhuntr/LLMs.py 的 _validate_response 方法里，增加一段预处理，自动提取 JSON：

`import re

def _validate_response(self, response_text, response_model):
# 尝试提取第一个合法的 JSON
match = re.search(r'{.*}', response_text, re.DOTALL)
if match:
response_text = match.group(0)
return response_model.model_validate_json(response_text)`

这样即使 LLM 返回了 '...' 或其他非 JSON 内容，也能自动提取出 JSON 部分。