快速入门SQL-Eval5分钟搭建完整的SQL评估环境【免费下载链接】sql-evalEvaluate the accuracy of LLM generated outputs项目地址: https://gitcode.com/gh_mirrors/sq/sql-evalSQL-Eval是一款强大的SQL评估工具能够帮助开发者快速评估LLM生成SQL的准确性。本文将为你提供一个简单快速的指南让你在5分钟内搭建起完整的SQL评估环境轻松开始SQL性能测试与优化。准备工作环境与依赖在开始之前请确保你的系统已经安装了以下工具和依赖Python 3.8或更高版本Docker环境Git工具这些是搭建SQL-Eval环境的基础确保你已经正确安装并配置了它们。如果你是新手不用担心接下来的步骤会详细指导你完成每一步操作。第一步克隆项目仓库首先打开你的终端执行以下命令克隆SQL-Eval项目仓库git clone https://gitcode.com/gh_mirrors/sq/sql-eval cd sql-eval这个命令会将项目代码下载到你的本地并切换到项目目录。现在你已经拥有了SQL-Eval的全部源代码和配置文件。第二步安装Python依赖接下来我们需要安装项目所需的Python依赖。在项目根目录下执行以下命令pip install -r requirements.txt这个命令会读取requirements.txt文件并自动安装所有必要的Python库。如果你需要在虚拟环境中运行可以先创建并激活虚拟环境然后再执行上述命令。第三步启动PostgreSQL数据库SQL-Eval需要一个数据库环境来运行SQL查询。我们推荐使用Docker来快速部署PostgreSQL# 创建数据目录 mkdir data/postgres data/export # 创建并启动PostgreSQL容器 docker create --name postgres-sql-eval -e POSTGRES_PASSWORDpostgres -p 5432:5432 -v $(pwd)/data/postgres:/var/lib/postgresql/data -v $(pwd)/data/export:/export postgres:16-alpine docker start postgres-sql-eval这两条命令会创建一个名为postgres-sql-eval的Docker容器并启动PostgreSQL服务。数据会保存在本地的data/postgres目录中确保数据不会丢失。第四步导入测试数据现在我们需要导入测试数据到PostgreSQL数据库中。执行以下命令# 克隆数据仓库 git clone https://github.com/defog-ai/defog-data.git cd defog-data # 设置环境变量 export DBPASSWORDpostgres export DBUSERpostgres export DBHOSTlocalhost export DBPORT5432 # 运行数据导入脚本 ./setup.sh这个过程会将测试数据导入到PostgreSQL数据库中为后续的SQL评估做好准备。导入完成后你可以使用任何数据库客户端连接到PostgreSQL查看导入的数据。第五步运行评估测试一切准备就绪现在我们可以运行SQL评估测试了。以下是一个使用OpenAI模型进行测试的示例命令python main.py \ -db postgres \ -q data/questions_gen_postgres.csv data/instruct_basic_postgres.csv data/instruct_advanced_postgres.csv \ -o results/openai_classic.csv results/openai_basic.csv results/openai_advanced.csv \ -g oa \ -f prompts/prompt_openai.json \ -m o3-mini \ -p 5 \ -c 0这个命令会使用OpenAI的o3-mini模型对三个级别的SQL问题进行评估并将结果保存到results目录下的CSV文件中。你可以根据需要调整参数比如更换模型、修改并行数等。查看评估结果评估完成后你可以在results目录下找到生成的CSV文件。这些文件包含了详细的评估结果包括查询准确性、执行时间等指标。你可以使用Excel或任何数据分析工具打开这些文件进行深入分析。此外SQL-Eval还提供了结果上传功能可以将评估结果上传到云端进行进一步分析。具体方法可以参考项目中的utils/upload_report_gcloud.py文件。结语恭喜你在短短5分钟内你已经成功搭建了完整的SQL-Eval评估环境。现在你可以开始评估各种LLM模型生成SQL的准确性为你的项目选择最适合的SQL生成方案。如果你想深入了解SQL-Eval的更多功能可以查阅项目中的README.md文件或者探索runners目录下的各种运行器实现。祝你的SQL评估工作顺利【免费下载链接】sql-evalEvaluate the accuracy of LLM generated outputs项目地址: https://gitcode.com/gh_mirrors/sq/sql-eval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考