[Bug]向 LLM 发送图片时似乎会触发 500 报错，疑似图片 JSON 格式兼容问题

[yuuuuuouo]

What happened / 发生了什么

在让大模型看图时，似乎会稳定触发请求失败，抛出 500 InternalServerError 和 max_retries 错误。
起初我以为是我写的插件工具返回 mcp.types.ImageContent 导致的问题，但后来我尝试了不使用工具，直接在聊天中发图片给机器人，发现也会报同样的错误。
对话上下文（Context）中包含了图片数据（比如组装了 {"type": "image_url", ...} 结构），继续对话时也会报错，删除这个图片数据就会恢复。

Reproduce / 如何复现？

为了定位问题做了一些交叉验证，可参考：
方式一：直接发图
在聊天软件中向机器人发送图片，触发大模型的视觉识别，控制台会报错。
方式二：篡改上下文json数据注入极小图片
强行向上下文注入了一个只有 1x1 像素（纯黑）的极小 Base64 图片，想以此排除“图片体积过大导致代理商超时”的可能性

AstrBot version, deployment method (e.g., Windows Docker Desktop deployment), provider used, and messaging platform used. / AstrBot 版本、部署方式（如 Windows Docker Desktop 部署）、使用的提供商、使用的消息平台适配器

AstrBot 版本: [v4.24.2]
使用的 LLM 驱动及模型: 换了多个api中转站、不同模型，一律报错。
操作系统: [Windows 10]
消息平台适配器:qq

OS

Windows

Logs / 报错日志

控制台打印出的报错信息如下：
LLM 响应错误: All chat models failed: InternalServerError: Error code: 500 - {'error': {'message': 'Max retries reached:', 'type': 'server_error', 'param': '', 'code': 'max_retries'}}
[v4.24.2] [runners.tool_loop_agent_runner:555]: Chat Model 90/[k]claude-sonnet-4-6 request error: Error code: 500 - {'error': {'message': 'Max retries reached:', 'type': 'server_error', 'param': '', 'code': 'max_retries'}}
Traceback (most recent call last):
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\agent\runners\tool_loop_agent_runner.py", line 510, in iter_llm_responses_with_fallback
async for attempt in retrying:
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\tenacity\asyncio_init.py", line 170, in anext
do = await self.iter(retry_state=self.retry_state)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\tenacity\asyncio_init.py", line 157, in iter
result = await action(retry_state)
^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\tenacity_utils.py", line 111, in inner
return call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\tenacity_init_.py", line 393, in
self._add_action_func(lambda rs: rs.outcome.result())
^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\concurrent\futures_base.py", line 449, in result
return self.__get_result()
^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\concurrent\futures_base.py", line 401, in __get_result
raise self._exception
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\agent\runners\tool_loop_agent_runner.py", line 514, in _iter_llm_responses_with_fallback
async for resp in self._iter_llm_responses(
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\agent\runners\tool_loop_agent_runner.py", line 477, in _iter_llm_responses
yield await self.provider.text_chat(**payload)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\provider\sources\openai_source.py", line 1214, in text_chat
) = await self._handle_api_error(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\provider\sources\openai_source.py", line 1160, in _handle_api_error
raise e
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\provider\sources\openai_source.py", line 1202, in text_chat
llm_response = await self._query(payloads, func_tool)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\astrbot\core\provider\sources\openai_source.py", line 596, in _query
completion = await self.client.chat.completions.create(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\openai\resources\chat\completions\completions.py", line 2714, in create
return await self._post(
^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\openai_base_client.py", line 1884, in post
return await self.request(cast_to, opts, stream=stream, stream_cls=stream_cls)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator\Desktop\AstrBotLauncher-0.2.0\AstrBot\venv\Lib\site-packages\openai_base_client.py", line 1669, in request
raise self._make_status_error_from_response(err.response) from None
openai.InternalServerError: Error code: 500 - {'error': {'message': 'Max retries reached:', 'type': 'server_error', 'param': '', 'code': 'max_retries'}}

Are you willing to submit a PR? / 你愿意提交 PR 吗？

• Yes!

Code of Conduct

• I have read and agree to abide by the project's Code of Conduct。

[yuuuuuouo]

@dosu 更新了报错日志

[dosubot]

@yuuuuuouo 感谢更新日志！从 traceback 可以看到错误确实是在 openai_source.py 的 _query 方法发起 chat.completions.create 请求时，API 中转站直接返回的 500。

结合代码分析，有几个关键发现：

1. base64:// 前缀仍然硬编码为 JPEG

当前代码中 _image_ref_to_data_url 对 base64:// 前缀的图片依然是直接替换为 data:image/jpeg;base64,，不会检测实际格式 [1]。如果 QQ 平台适配器传入的图片是 PNG 格式（这很常见），那么发给中转站的 MIME type 声明和实际数据不匹配，严格校验的中转站就会报错。

2. 500 错误不会触发图片降级

_handle_api_error 只对特定错误模式（如"The model is not a VLM"、内容审核失败、invalid attachment）做图片移除重试，对于通用的 500 错误不会自动降级 [2]。所以一旦图片格式有问题，就会直接失败。

3. 没有请求体日志

目前代码只在 debug 级别日志中打印了 response，没有打印发送给 API 的实际 payload [3]。如果需要确认发出去的 JSON 格式，可以临时在 _query 方法（约596行）前加一行：

logger.debug(f"payloads: {json.dumps(payloads, ensure_ascii=False)[:2000]}")

建议的修复方向：

• _image_ref_to_data_url 中 base64:// 分支应检测实际 MIME 类型（可以解码前几个字节判断 magic bytes，或用 PIL），而非硬编码 image/jpeg
• 可考虑对 500 错误也加入图片降级逻辑作为兜底

To reply, just mention @dosu.

---

Docs are dead. Just use Dosu.

[yuuuuuouo]

改了openai_source.py的源码 修复成功了 希望后续合并

def _image_ref_to_data_url(self, img_ref: str) -> str:
    """修复版：动态识别 Base64 图片的真实 MIME 类型"""
    if img_ref.startswith("base64://"):
        b64_data = img_ref.replace("base64://", "")
        
        # 根据 Base64 的固定文件头精准识别格式
        if b64_data.startswith("iVBORw0"):
            mime_type = "image/png"
        elif b64_data.startswith("/9j/"):
            mime_type = "image/jpeg"
        elif b64_data.startswith("R0lGOD"):
            mime_type = "image/gif"
        elif b64_data.startswith("UklGR"):
            mime_type = "image/webp"
        elif b64_data.startswith("Qk0"):
            mime_type = "image/bmp"
        elif b64_data.startswith("SUkq") or b64_data.startswith("TU0A"):
            mime_type = "image/tiff"
        elif b64_data.startswith("AAAAIGZ0eXBhdmlm"):
            mime_type = "image/avif"
        else:
            # 如果遇到极其冷门的格式，默认用 jpeg 兜底，防止报错
            mime_type = "image/jpeg" 
            
        return f"data:{mime_type};base64,{b64_data}"
        
    # 如果不是 base64:// 开头（比如已经是完整的 http 链接或 data: 格式），直接原样返回
    return img_ref

[NayukiChiba]

？

[NayukiChiba]

修改代码请pr

[NayukiChiba]

而且你这个代码，不是很规范，比如image完全可以使用verify，直接检验出image的format就可以得到格式了，完全不需要这种startwith来判断

[lingyun14beta]

水不了了（）