错误代码 0x7780 在 mbedtls 中通常表示握手失败，具体可能由多种原因引起。为了解决这个问题，你可以按照以下步骤进行排查：
检查证书和密钥：
确保你使用的服务器证书和私钥是正确的，并且没有过期。
如果你使用的是自签名证书，确保客户端信任该证书。
验证证书和密钥的格式是否正确，例如 PEM 格式。
协议兼容性：
确认你的 mbedtls 客户端和服务器支持的加密协议版本是否一致。
尝试使用不同的协议版本（如 TLSv1.2, TLSv1.3）进行测试，看看是否有特定的协议版本导致问题。
加密算法支持：
确保你的 mbedtls 客户端和服务器都支持相同的加密套件（cipher suites）。
如果服务器配置了特定的加密套件，而客户端不支持，也会导致握手失败。
网络问题：
检查网络连接是否正常。
尝试使用不同的网络或端口进行测试。
服务器配置：
检查服务器端的配置，确保它允许来自你客户端的连接。
查看服务器的日志，看是否有更详细的错误信息。
代码问题：
检查你的 mbedtls 客户端代码，确保初始化、配置和握手过程都是正确的。
确保错误处理逻辑正确，并打印出更详细的错误信息，这有助于定位问题。
更新 mbedtls 版本：
如果可能，尝试更新到 mbedtls 的最新版本，因为老版本可能包含已知的问题或缺陷。
防火墙和安全组设置：
检查服务器的防火墙和安全组设置，确保没有阻止来自你客户端的连接。
日志和调试：
增加 mbedtls 的日志级别，以便获取更详细的调试信息。
使用 mbedtls 提供的调试工具或日志功能来诊断问题。
通过上述步骤，你应该能够缩小问题的范围并找到导致 mbedtls handshake failed returned 0x7780 错误的具体原因。如果问题仍然无法解决，你可能需要查看 mbedtls 的官方文档、社区论坛或寻求专业帮助。