数据解析是网络爬虫的核心技能若尚未熟练掌握网页数据解析库可尝试借助大语言模型直接提取文本信息。本文将结合PgsFile库与Gemini-2.0大模型探索网络爬虫新技术。探索PgsFile更多网络爬虫知识与Python实战技能欢迎关注“树下编程”让我们一同成长。*1. 安装PgsFile*首次使用PgsFile含未更新至0.3.9版安装/更新命令In [3]: pip install --upgrade pgsfile*2. LLM网页信息提取*下文通过采集专用于爬虫练习的网站Quotes to Scrape(https://quotes.toscrape.com/page/5/) 第5页图1中的名言文本、作者信息含姓名、访问链接及分类标签数据展示Gemini-2.0大语言模型在网络爬虫中的巧妙应用。图1. Quotes to Scrape名言第5页本文使用PgsFile库中的get_data_html_online函数结合Gemini-2.0大模型提示语来完成这一任务。# -*- coding: utf-8 -*-Created on Sun Jun 15 22:27:07 2025author: Petercusinfrom google import genaifrom PgsFile import get_env_variable as gvclient genai.Client(api_keygv(Gemini-2.0_API))from PgsFile import get_data_html_online as gourl https://quotes.toscrape.com/page/5/page_content go(url)[1]SYSTEM_PROMPT fYou are a text extraction expert. Extract quotes, their authors, author urls, and tags from the following webpage content without making any changes:{page_content}Return the extracted information as a JSON object.response client.models.generate_content( modelgemini-2.0-flash, contents[SYSTEM_PROMPT])print(response.text)print(Complete!)输出In[31]:%runfile D:/Studies/py/LLMs爬虫实战.py--wdir200json[{quote:“A reader lives a thousand lives before he dies, said Jojen. The man who never reads lives only one.”,author:George R.R. Martin,author_url:/author/George-R-R-Martin,tags:[read,readers,reading,reading-books]},{quote:“You can never get a cup of tea large enough or a book long enough to suit me.”,author:C.S. Lewis,author_url:/author/C-S-Lewis,tags:[books,inspirational,reading,tea]},{quote:“You believe lies so you eventually learn to trust no one but yourself.”,author:Marilyn Monroe,author_url:/author/Marilyn-Monroe,tags:[]},{quote:“If you can make a woman laugh, you can make her do anything.”,author:Marilyn Monroe,author_url:/author/Marilyn-Monroe,tags:[girls,love]},{quote:“Life is like riding a bicycle. To keep your balance, you must keep moving.”,author:Albert Einstein,author_url:/author/Albert-Einstein,tags:[life,simile]},{quote:“The real lover is the man who can thrill you by kissing your forehead or smiling into your eyes or just staring into space.”,author:Marilyn Monroe,author_url:/author/Marilyn-Monroe,tags:[love]},{quote:“A wise girl kisses but doesn#39;t love, listens but doesn#39;t believe, and leaves before she is left.”,author:Marilyn Monroe,author_url:/author/Marilyn-Monroe,tags:[attributed-no-source]},{quote:“Only in the darkness can you see the stars.”,author:Martin Luther King Jr.,author_url:/author/Martin-Luther-King-Jr,tags:[hope,inspirational]},{quote:“It matters not what someone is born, but what they grow to be.”,author:J.K. Rowling,author_url:/author/J-K-Rowling,tags:[dumbledore]},{quote:“Love does not begin and end the way we seem to think it does. Love is a battle, love is a war; love is a growing up.”,author:James Baldwin,author_url:/author/James-Baldwin,tags:[love]}]Complete!*这意味着若不擅长使用XPath等网页解析工具XPath子元素内容爬取Quotes to Scrape实战借助大模型我们也能轻松解析提取所需文本内容快来体验分享你的爬虫心得吧*如何学习AI 大模型文末获取作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一、大模型学习路线一个明确的学习路线可以帮助新人了解从哪里开始按照什么顺序学习以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛没有明确的学习路线可能会导致新人感到迷茫不知道应该专注于哪些内容。我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。L1级别:AI大模型时代的华丽登场L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理关键技术以及大模型应用场景通过理论原理结合多个项目实战从提示工程基础到提示工程进阶掌握Prompt提示工程。L2级别AI大模型RAG应用开发工程L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括NaiveRAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3级别大模型Agent应用架构 进阶实践L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、MetaGPT等多Agent系统打造我们自己的Agent智能体同时还可以学习到包括Coze、Dify在内的可视化工具的使用。L4级别大模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、LamamFactory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握而L3 L4更多的是通过项目 实战来掌握大模型的应用开发针对以上大模型的学习路线我们也整理了对应的学习视频教程和配套的学习资料。二、大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF三、大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。四、大模型项目实战学以致用 当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。五、大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。领取方式我会放在下面希望领取了的朋友不要忘了下方名片放心添加