各位刚开始学 Python 的同学或者已经在自学路上挣扎过一段时间的读者大概率都遇到过同一个场景收藏夹里躺着好几个“300 集全套教程”“从入门到精通”但真正打开看的次数屈指可数。更常见的情况是每集 30 分钟看到第 20 集就忘了第 5 集讲的是什么。本文不打算再给你灌一碗“坚持就能学会”的鸡汤而是把 Python 零基础到爬虫、数据分析这条路线拆成一条可执行、可验证的学习路径配合完整可运行的代码让你一边动手一边建立知识体系。不管你是打算转行、做自动化办公还是为后续的数据分析、爬虫工程打基础这篇文章都能作为一份可直接照做的入门实操笔记。整篇文章会围绕 Python 基础语法、网络爬虫、数据分析三个核心部分展开包含环境搭建、语法精讲、爬虫实战、数据分析案例、高频报错排查和工程建议。看完之后你至少能独立写一个采集网页数据的小脚本再用 pandas 做清洗和分析最后用 matplotlib 画出一张能说明问题的图表。1. 零基础学 Python先认清方向再动手1.1 Python 为什么适合零基础Python 是一门解释型、动态类型的高级编程语言。它的语法接近自然语言不需要像 C 或 Java 那样处理繁琐的指针、类型声明和编译过程。对刚接触编程的人来说Python 的“低门槛”主要体现在几个方面语法简洁代码块通过缩进区分而不是大括号。不需要提前编译写完代码直接运行。内置丰富的数据结构比如列表、字典、集合。第三方库极其丰富爬虫、数据分析、Web 开发、自动化办公都有成熟的库可以直接使用。用一句话概括Python 更适合“用最少的时间把想法变成可运行的程序”。这也是为什么很多非计算机专业的人比如运营、财务、数据分析师都会优先选择 Python 作为入门语言。1.2 一个月学习路线怎么安排所谓“一个月从小白变大神”更准确地说是一个月建立起编程思维和项目落地能力。这里给你一条以项目为驱动的主线按周拆解时间学习重点阶段产出第 1 周环境搭建、变量、数据类型、流程控制、函数能写简单的计算器和猜数字游戏第 2 周文件读写、异常处理、列表/字典推导式能批量处理文本文件完成数据清洗小任务第 3 周requests BeautifulSoup 爬虫数据解析与保存爬取一个静态网页并把数据保存到 CSV第 4 周pandas 数据清洗、聚合统计、matplotlib 可视化对一份真实数据进行完整分析与可视化这条路线不是让你看几十个小时的视频而是每学一个语法点就立刻写代码验证。比如学完列表就写一个“统计一段文本中每个单词出现次数”的小程序学完字典就写一个“通讯录增删改查”的脚本。语法只有在真实场景中用过才会变成你自己的能力。1.3 本文配套的完整学习闭环考虑到很多自学的人容易卡在“学了后面的忘了前面的”本文后续内容会刻意把基础语法和实战串联起来。第 3 节讲语法时会预告这些知识在爬虫和数据分析中怎么用第 4、5 节的实战案例又会反过来复习第 3 节的知识点。这样循环往复记忆会更牢固。2. Python 开发环境搭建环境搭建是零基础第一个容易劝退的环节。本节提供一个稳妥的搭建方案尽量降低出错概率。版本方面以你安装时的最新稳定版为准本文的代码在 Python 3.8 环境下均可运行推荐使用 3.10 或更高版本。2.1 安装 Python 解释器Windows 用户请到 Python 官网下载安装包注意以下几点下载时选择 Windows installer (64-bit)。安装第一步务必勾选 “Add Python to PATH”。安装路径尽量保持默认或者使用全英文路径。macOS 用户如果安装了 Homebrew可以通过以下命令安装brew install python3Linux 用户通常系统自带 Python3但版本可能较老建议通过包管理器安装更新的版本sudo apt update sudo apt install python3 python3-pip安装完成后打开终端Windows 为 CMD 或 PowerShell输入python --version如果能正常输出版本号说明安装成功。2.2 安装并配置 VSCode推荐使用 Visual Studio Code 作为编辑器它免费、插件生态好对 Python 支持非常完善。安装流程到 VSCode 官网下载安装包并安装。打开 VSCode点击左侧扩展图标。搜索 “Python” 扩展选择微软官方发布的版本并安装。按Ctrl Shift P输入 “Python: Select Interpreter”选择你刚安装的 Python 解释器。为了后续开发方便还可以安装 “Chinese (Simplified) Language Pack” 汉化插件把界面切换成中文。2.3 创建虚拟环境与安装核心库虚拟环境的作用是隔离不同项目的依赖避免全局环境越装越乱。对于一个长期学习 Python 的人来说养成使用虚拟环境的习惯非常重要。在项目目录下执行python -m venv venvWindows 激活虚拟环境venv\Scripts\activatemacOS / Linux 激活虚拟环境source venv/bin/activate激活后终端命令行前面会出现(venv)标识。接下来安装本文涉及的第三方库pip install requests beautifulsoup4 lxml pandas matplotlib jupyter说明一下这些库的用途requests发送 HTTP 请求获取网页内容。beautifulsoup4解析 HTML 文档提取数据。lxml解析器通常配合 BeautifulSoup 使用速度和稳定性更好。pandas数据处理与分析的核心库。matplotlib数据可视化库。jupyter交互式笔记本适合新手边写边看结果。如果 pip 下载速度不理想可以临时切换到国内镜像源例如清华源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4 lxml pandas matplotlib jupyter到这里环境已经就绪。3. Python 基础语法爬虫和数据分析必备的知识点这一节不会事无巨细地罗列全部语法而是围绕“爬虫 数据分析”这两个目标提炼出最核心、最高频的知识点并附上简要示例。每个示例都可以直接放到 .py 文件里运行。3.1 变量、数据类型与常用容器Python 是动态类型语言声明变量不需要写类型name CSDN year 2026 score 98.5 is_started True基础数据类型包括整数 int、浮点数 float、字符串 str、布尔值 bool。在爬虫和数据分析中最常用的是字符串、列表、字典。列表用[]表示可以存放任意类型的元素cities [北京, 上海, 广州] cities.append(深圳) print(cities[0]) # 北京 print(len(cities)) # 4字典用{}表示以键值对形式存储数据book { title: Python 入门, price: 59.9, tags: [编程, 数据分析] } print(book[title]) print(book.get(author, 未知))这些容器在爬虫里的作用非常直接爬取到的多条数据可以用列表保存每条记录用字典保存在数据分析中pandas 的 DataFrame 也可以理解为一个增强了功能的“表格型字典”。3.2 流程控制与函数爬虫代码需要判断请求是否成功数据分析需要筛选符合条件的记录这些场景都离不开流程控制。if 条件判断status_code 200 if status_code 200: print(请求成功) elif status_code 404: print(资源不存在) else: print(其他状态码)for 循环遍历列表cities [北京, 上海, 广州] for city in cities: print(f当前城市{city})爬虫常用的场景是遍历多个 URL依次请求urls [https://example.com/1, https://example.com/2] for url in urls: # 这里会用到 requests 请求后面详细讲 print(f开始请求{url})函数用 def 定义可以把一段重复的逻辑封装起来def add(a, b): 返回两个数的和 return a b result add(3, 5) print(result) # 8在爬虫项目中会把“请求网页”“解析数据”“保存数据”分别封装成函数主流程只负责调用。这样代码结构清晰也方便复用。3.3 文件读写与异常处理爬虫爬到的数据通常要保存到本地数据分析前也经常从 CSV、TXT 文件读取数据。因此文件操作是必学内容。读取文本文件with open(data.txt, r, encodingutf-8) as f: content f.read() print(content)写入文件with open(output.txt, w, encodingutf-8) as f: f.write(Hello Python)with语句会自动管理文件资源不需要手动 close。爬虫中常见的做法是把数据写入 CSV 文件不过用 pandas 写 CSV 更方便之后的实战案例会演示。异常处理主要使用 try-except。网络请求很容易因为超时、连接被拒绝等原因失败如果不做处理脚本会在中途崩溃try: result 10 / 0 except ZeroDivisionError as e: print(f捕获到异常{e}) except Exception as e: print(f未知异常{e})爬虫里最常用的写法是捕获 requests 请求过程中的异常然后记录日志并跳过保证程序能继续运行。4. 网络爬虫入门从网页解析到数据采集4.1 爬虫的基本原理与合规边界爬虫的本质是模拟浏览器向服务器发送 HTTP 请求接收响应后从 HTML 或其他格式的数据中提取需要的信息。一个最简单的爬虫流程如下构造请求 URL。使用 requests 发送 GET 请求获取响应内容。使用 BeautifulSoup 解析 HTML。提取目标数据。保存到文件或数据库。不过学习爬虫必须明确合规边界。在实际操作中请务必遵守以下原则只爬取自己有权限访问或公开允许采集的数据。遵守目标网站的 robots.txt 协议。控制请求频率不要对目标服务器造成压力。不采集个人隐私数据、版权保护内容。爬取的数据仅用于学习研究不用于商业用途。这些底线比技术本身更重要。下面所有案例都只需要公开的测试页面即可复现重点演示思路。4.2 用 requests 获取网页requests 的 GET 请求是最基础的操作。很多网站会识别没有 User-Agent 的请求并拒绝访问所以请求头需要伪装成浏览器。import requests url https://example.com headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 如果状态码不是 200抛出异常 resp.encoding resp.apparent_encoding # 自动推断编码避免中文乱码 print(resp.text[:500]) # 打印前 500 个字符 except requests.RequestException as e: print(f请求失败{e})这里需要注意三点timeout 参数非常关键避免请求卡死。raise_for_status()可以在状态码异常时快速报错。resp.apparent_encoding可以解决部分网页乱码问题但代价是性能稍慢。如果目标网站明确指定了 charset也可以直接用resp.encoding utf-8。4.3 用 BeautifulSoup 解析数据拿到 HTML 之后需要定位并提取数据。BeautifulSoup 提供了 find、find_all、select 等方法配合 CSS 选择器可以很方便地获取标签内容。假设有这样一个 HTML 片段ul idbook-list li classbook-item span classtitlePython 零基础入门/span span classprice59.9/span /li li classbook-item span classtitle网络爬虫实战/span span classprice79.0/span /li /ul解析代码如下from bs4 import BeautifulSoup html # 上面 HTML 字符串假设存在 html 变量中 soup BeautifulSoup(html, lxml) items soup.select(li.book-item) for item in items: title item.select_one(.title).text price item.select_one(.price).text print(title, price)select方法返回的是列表select_one返回第一个匹配结果。通过.text可以获取标签内的文本内容通过[属性名]可以获取属性值比如链接地址a[href]。4.4 一个完整的单页爬虫案例下面把 requests 和 BeautifulSoup 串起来写一个完整的爬虫。为了确保可复现性这里以公开的测试页面为例你需要根据自己的学习目标把 URL 替换成你有权限访问的页面。# 文件路径spider_demo.py import requests from bs4 import BeautifulSoup import csv def fetch_page(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.RequestException as e: print(f请求失败: {e}) return None def parse_html(html): soup BeautifulSoup(html, lxml) data [] items soup.select(li.book-item) for item in items: title item.select_one(.title).text.strip() price item.select_one(.price).text.strip() data.append({title: title, price: price}) return data def save_to_csv(data, filename): with open(filename, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[title, price]) writer.writeheader() writer.writerows(data) if __name__ __main__: url https://example.com/books html fetch_page(url) if html: books parse_html(html) save_to_csv(books, books.csv) print(f成功保存 {len(books)} 条数据)这个脚本体现了函数拆分的思路请求、解析、保存各司其职。实际项目中你只需要修改 URL 和解析规则就能适配不同网站。5. 数据分析入门从清洗到可视化5.1 数据分析的通用流程数据分析不是“打开 Excel 画个图”这么简单。一个完整的数据分析项目通常包含以下步骤明确分析目标。获取数据。数据清洗与预处理。探索性分析。数据可视化。输出结论或报表。对初学者来说最重要的是第 3 步数据清洗。因为真实数据往往存在缺失值、重复值、格式不统一等问题如果跳过清洗直接分析得出的结论很可能不准确。5.2 pandas 数据读取与清洗pandas 的两个核心对象是 Series一维数据和 DataFrame二维表格数据。DataFrame 可以理解为 Excel 中的一个工作表。读取 CSV 文件import pandas as pd df pd.read_csv(books.csv) print(df.head()) print(df.info()) print(df.describe())head()查看前 5 行。info()查看每列的数据类型和非空数量。describe()对数值列进行统计摘要。处理缺失值# 删除包含缺失值的行 df df.dropna() # 用指定值填充缺失值 df df.fillna(0) # 对某列填充平均值 df[price] df[price].fillna(df[price].mean())处理重复值df df.drop_duplicates()字段类型转换# 把 price 列从字符串转换为浮点数 df[price] df[price].astype(float)数据清洗阶段的目标是让数据成为“整洁数据”每一列是一个变量每一行是一条观测记录每个单元格是一个值。5.3 分组聚合与可视化分组聚合是数据分析中使用频率极高的操作。比如统计每个类别的商品平均价格grouped df.groupby(category)[price].mean() print(grouped)数据可视化可以使用 matplotlib。下面是一个最简单的柱状图示例import matplotlib.pyplot as plt # 解决中文乱码Windows 系统可以指定微软雅黑 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False # category_values, price_values 是示例数据 category_values [编程, 数据分析, 爬虫] price_values [59.9, 79.0, 45.5] plt.bar(category_values, price_values) plt.title(各类别平均价格) plt.xlabel(类别) plt.ylabel(价格) plt.show()如果图表的标签是中文一定要设置字体否则会出现方框乱码。这一处配置在初学阶段很容易踩坑。6. 综合实战爬取天气数据并完成分析报表现在把前面学的知识串起来完成一个从“采集数据”到“分析展示”的完整闭环。为了保证案例可以稳定复现这里用一个公开的、返回结构化数据的接口作为演示目标。实际使用时请替换成你有权限访问的数据源。6.1 需求分析目标获取某城市一段时间内的天气数据分析最高温度的分布情况并画出折线图。拆解步骤用 requests 获取天气数据。用 json 模块解析接口返回的数据。把数据保存为 CSV。用 pandas 读取并清洗。用 matplotlib 画温度变化折线图。6.2 数据采集实现假设接口返回的是 JSON 格式数据核心字段包含日期、最高温度、最低温度、天气状况。示例代码如下# 文件路径weather_spider.py import requests import csv def fetch_weather(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() return resp.json() except requests.RequestException as e: print(f请求失败: {e}) return None def save_weather_to_csv(data, filename): with open(filename, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([date, high, low, condition]) for item in data: writer.writerow([ item[date], item[high], item[low], item[condition] ]) if __name__ __main__: # 演示用 URL请替换为你有权限访问的数据源 url https://example.com/api/weather?citybeijingdays7 weather_data fetch_weather(url) if weather_data: save_weather_to_csv(weather_data, weather.csv) print(天气数据已保存)注意这里把接口返回数据完整映射成 CSV 的每一行。如果真实接口字段名不同只需要修改 writer.writerow 里的键名。6.3 数据清洗与分析拿到 weather.csv 后进入 pandas 分析环节# 文件路径weather_analysis.py import pandas as pd df pd.read_csv(weather.csv) print(df.head()) # 转换日期类型方便按时间排序 df[date] pd.to_datetime(df[date]) # 转换温度字段为数值类型 df[high] pd.to_numeric(df[high], errorscoerce) df[low] pd.to_numeric(df[low], errorscoerce) # 删除缺失值 df df.dropna() # 计算温差 df[temperature_diff] df[high] - df[low] # 输出基本统计信息 print(df[[high, low, temperature_diff]].describe())这里使用errorscoerce可以让无法转换的字符串变成 NaN之后再统一处理缺失值这是处理脏数据的常用技巧。6.4 可视化展示最后用 matplotlib 绘制最高温度和最低温度的折线图import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False df_sorted df.sort_values(date) plt.figure(figsize(10, 5)) plt.plot(df_sorted[date], df_sorted[high], markero, label最高温度) plt.plot(df_sorted[date], df_sorted[low], markero, label最低温度) plt.title(未来一周温度变化趋势) plt.xlabel(日期) plt.ylabel(温度 (°C)) plt.legend() plt.grid(True) plt.show()运行这个脚本你会得到一张包含两条折线的趋势图。这只是一个非常简单的报表雏形但已经完整覆盖了数据采集、清洗、分析、可视化全流程。7. 学习过程中的高频报错与排错思路初学者遇到报错时最容易慌。下面整理几个在爬虫和数据分析项目中最高频的问题按“现象 — 原因 — 解决思路”的方式列出方便你快速比对。问题现象常见原因解决思路ModuleNotFoundError: No module named requests当前环境未安装 requests或使用了错误的解释器检查虚拟环境是否激活执行pip install requestsrequests.exceptions.ConnectionError网络不可达或 URL 写错或目标服务器拒绝连接检查 URL、域名、网络尝试在浏览器中打开该地址requests.exceptions.Timeout服务器响应过慢或本地网络波动增加 timeout 值尝试重试机制AttributeError: NoneType object has no attribute text解析时没找到目标元素locate 选择器写错打印 HTML 片段仔细核对标签结构和 class 名称UnicodeDecodeError文件编码与读取编码不一致打开文件时指定 encodingutf-8 或原文件编码图表中文显示为方框matplotlib 默认字体不支持中文设置plt.rcParams[font.sans-serif]为中文字体ValueError: could not convert string to float字符串中包含无法转换的字符清洗数据时使用 strip、replace或errorscoerce遇到报错时推荐按以下顺序排查阅读最后一行异常信息确定错误类型和文件行号。检查对应位置的变量值和数据类型。把问题代码拆成最小片段单独测试。搜索错误信息时优先看官方文档和 Stack Overflow。记住报错是编程过程中的常态能看懂报错并解决它本身就是一种核心能力。8. 工程化建议与下一步学习路线8.1 爬虫开发规范学完基础爬虫后建议从第一天就养成好的工程习惯请求之间添加 sleep 延时控制频率。使用 try-except 捕获异常并记录日志。不要把所有逻辑写在一个脚本里按模块拆分。不要把爬到的数据直接覆盖源文件保留原始数据备份。涉及个人隐私、版权等信息不要采集和传播。一个简单的限速示例import time import requests urls [https://example.com/page/1, https://example.com/page/2] for url in urls: resp requests.get(url, timeout10) print(resp.status_code, url) time.sleep(2) # 两次请求之间至少间隔 2 秒这个 2 秒延时是好习惯能有效降低目标服务器的压力也能减少被反爬机制盯上的概率。8.2 数据分析项目规范数据分析项目建议遵循以下规范原始数据通常以 CSV 或数据库形式保存不做原地修改。清洗逻辑写在独立文件中保证可重复执行。变量命名要见名知意比如df_clean、temperature_mean。分析结论不要只给图表要给一句明确的话。使用 Jupyter Notebook 做探索性分析时尽量保证单元格从上到下按依赖顺序执行。如果你是初学者强烈建议在本地建立“输入数据 — 处理脚本 — 输出结果”三层目录结构例如weather_project/ ├── data/ │ └── raw_weather.csv ├── scripts/ │ ├── clean_data.py │ └── analysis.py └── output/ └── temperature_trend.png这种结构的好处是几个月后回头看你仍然能快速理解每个文件是做什么的。8.3 下一步可以学什么当你把本文的示例都跑通以后可以按以下方向继续深入爬虫方向学习 Scrapy 框架、selenium 动态页面采集、代理池与请求去重。数据分析方向学习 pandas 高级操作、NumPy 数值计算、数据可视化进阶如 seaborn、Plotly。数据库方向学习 SQLite、MySQL 的基础操作把爬取的数据写入数据库。自动化方向用 Python 操作 Excel、Word、邮件提升办公效率。Web 方向学习 Flask 或 FastAPI把分析结果做成 Web 页面展示。需要特别说明的是爬虫技术一定要在合规前提下学习和使用。采集数据不是目的把数据转化为有价值的分析结论才是最终目标。Python 的学习难点从来不是语法本身而是“遇到问题后如何拆解、搜索、验证、解决”的完整流程。把本文的代码亲手敲一遍再试着改几个参数、换一个数据源你会明显感觉到自己从“看教程”变成了“写程序”。如果真的能把这套流程走完收藏夹里那些吃灰的 300 集教程也就没那么重要了。 Python零基础到爬虫数据分析：一条可执行的入门实操路线
各位刚开始学 Python 的同学或者已经在自学路上挣扎过一段时间的读者大概率都遇到过同一个场景收藏夹里躺着好几个“300 集全套教程”“从入门到精通”但真正打开看的次数屈指可数。更常见的情况是每集 30 分钟看到第 20 集就忘了第 5 集讲的是什么。本文不打算再给你灌一碗“坚持就能学会”的鸡汤而是把 Python 零基础到爬虫、数据分析这条路线拆成一条可执行、可验证的学习路径配合完整可运行的代码让你一边动手一边建立知识体系。不管你是打算转行、做自动化办公还是为后续的数据分析、爬虫工程打基础这篇文章都能作为一份可直接照做的入门实操笔记。整篇文章会围绕 Python 基础语法、网络爬虫、数据分析三个核心部分展开包含环境搭建、语法精讲、爬虫实战、数据分析案例、高频报错排查和工程建议。看完之后你至少能独立写一个采集网页数据的小脚本再用 pandas 做清洗和分析最后用 matplotlib 画出一张能说明问题的图表。1. 零基础学 Python先认清方向再动手1.1 Python 为什么适合零基础Python 是一门解释型、动态类型的高级编程语言。它的语法接近自然语言不需要像 C 或 Java 那样处理繁琐的指针、类型声明和编译过程。对刚接触编程的人来说Python 的“低门槛”主要体现在几个方面语法简洁代码块通过缩进区分而不是大括号。不需要提前编译写完代码直接运行。内置丰富的数据结构比如列表、字典、集合。第三方库极其丰富爬虫、数据分析、Web 开发、自动化办公都有成熟的库可以直接使用。用一句话概括Python 更适合“用最少的时间把想法变成可运行的程序”。这也是为什么很多非计算机专业的人比如运营、财务、数据分析师都会优先选择 Python 作为入门语言。1.2 一个月学习路线怎么安排所谓“一个月从小白变大神”更准确地说是一个月建立起编程思维和项目落地能力。这里给你一条以项目为驱动的主线按周拆解时间学习重点阶段产出第 1 周环境搭建、变量、数据类型、流程控制、函数能写简单的计算器和猜数字游戏第 2 周文件读写、异常处理、列表/字典推导式能批量处理文本文件完成数据清洗小任务第 3 周requests BeautifulSoup 爬虫数据解析与保存爬取一个静态网页并把数据保存到 CSV第 4 周pandas 数据清洗、聚合统计、matplotlib 可视化对一份真实数据进行完整分析与可视化这条路线不是让你看几十个小时的视频而是每学一个语法点就立刻写代码验证。比如学完列表就写一个“统计一段文本中每个单词出现次数”的小程序学完字典就写一个“通讯录增删改查”的脚本。语法只有在真实场景中用过才会变成你自己的能力。1.3 本文配套的完整学习闭环考虑到很多自学的人容易卡在“学了后面的忘了前面的”本文后续内容会刻意把基础语法和实战串联起来。第 3 节讲语法时会预告这些知识在爬虫和数据分析中怎么用第 4、5 节的实战案例又会反过来复习第 3 节的知识点。这样循环往复记忆会更牢固。2. Python 开发环境搭建环境搭建是零基础第一个容易劝退的环节。本节提供一个稳妥的搭建方案尽量降低出错概率。版本方面以你安装时的最新稳定版为准本文的代码在 Python 3.8 环境下均可运行推荐使用 3.10 或更高版本。2.1 安装 Python 解释器Windows 用户请到 Python 官网下载安装包注意以下几点下载时选择 Windows installer (64-bit)。安装第一步务必勾选 “Add Python to PATH”。安装路径尽量保持默认或者使用全英文路径。macOS 用户如果安装了 Homebrew可以通过以下命令安装brew install python3Linux 用户通常系统自带 Python3但版本可能较老建议通过包管理器安装更新的版本sudo apt update sudo apt install python3 python3-pip安装完成后打开终端Windows 为 CMD 或 PowerShell输入python --version如果能正常输出版本号说明安装成功。2.2 安装并配置 VSCode推荐使用 Visual Studio Code 作为编辑器它免费、插件生态好对 Python 支持非常完善。安装流程到 VSCode 官网下载安装包并安装。打开 VSCode点击左侧扩展图标。搜索 “Python” 扩展选择微软官方发布的版本并安装。按Ctrl Shift P输入 “Python: Select Interpreter”选择你刚安装的 Python 解释器。为了后续开发方便还可以安装 “Chinese (Simplified) Language Pack” 汉化插件把界面切换成中文。2.3 创建虚拟环境与安装核心库虚拟环境的作用是隔离不同项目的依赖避免全局环境越装越乱。对于一个长期学习 Python 的人来说养成使用虚拟环境的习惯非常重要。在项目目录下执行python -m venv venvWindows 激活虚拟环境venv\Scripts\activatemacOS / Linux 激活虚拟环境source venv/bin/activate激活后终端命令行前面会出现(venv)标识。接下来安装本文涉及的第三方库pip install requests beautifulsoup4 lxml pandas matplotlib jupyter说明一下这些库的用途requests发送 HTTP 请求获取网页内容。beautifulsoup4解析 HTML 文档提取数据。lxml解析器通常配合 BeautifulSoup 使用速度和稳定性更好。pandas数据处理与分析的核心库。matplotlib数据可视化库。jupyter交互式笔记本适合新手边写边看结果。如果 pip 下载速度不理想可以临时切换到国内镜像源例如清华源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4 lxml pandas matplotlib jupyter到这里环境已经就绪。3. Python 基础语法爬虫和数据分析必备的知识点这一节不会事无巨细地罗列全部语法而是围绕“爬虫 数据分析”这两个目标提炼出最核心、最高频的知识点并附上简要示例。每个示例都可以直接放到 .py 文件里运行。3.1 变量、数据类型与常用容器Python 是动态类型语言声明变量不需要写类型name CSDN year 2026 score 98.5 is_started True基础数据类型包括整数 int、浮点数 float、字符串 str、布尔值 bool。在爬虫和数据分析中最常用的是字符串、列表、字典。列表用[]表示可以存放任意类型的元素cities [北京, 上海, 广州] cities.append(深圳) print(cities[0]) # 北京 print(len(cities)) # 4字典用{}表示以键值对形式存储数据book { title: Python 入门, price: 59.9, tags: [编程, 数据分析] } print(book[title]) print(book.get(author, 未知))这些容器在爬虫里的作用非常直接爬取到的多条数据可以用列表保存每条记录用字典保存在数据分析中pandas 的 DataFrame 也可以理解为一个增强了功能的“表格型字典”。3.2 流程控制与函数爬虫代码需要判断请求是否成功数据分析需要筛选符合条件的记录这些场景都离不开流程控制。if 条件判断status_code 200 if status_code 200: print(请求成功) elif status_code 404: print(资源不存在) else: print(其他状态码)for 循环遍历列表cities [北京, 上海, 广州] for city in cities: print(f当前城市{city})爬虫常用的场景是遍历多个 URL依次请求urls [https://example.com/1, https://example.com/2] for url in urls: # 这里会用到 requests 请求后面详细讲 print(f开始请求{url})函数用 def 定义可以把一段重复的逻辑封装起来def add(a, b): 返回两个数的和 return a b result add(3, 5) print(result) # 8在爬虫项目中会把“请求网页”“解析数据”“保存数据”分别封装成函数主流程只负责调用。这样代码结构清晰也方便复用。3.3 文件读写与异常处理爬虫爬到的数据通常要保存到本地数据分析前也经常从 CSV、TXT 文件读取数据。因此文件操作是必学内容。读取文本文件with open(data.txt, r, encodingutf-8) as f: content f.read() print(content)写入文件with open(output.txt, w, encodingutf-8) as f: f.write(Hello Python)with语句会自动管理文件资源不需要手动 close。爬虫中常见的做法是把数据写入 CSV 文件不过用 pandas 写 CSV 更方便之后的实战案例会演示。异常处理主要使用 try-except。网络请求很容易因为超时、连接被拒绝等原因失败如果不做处理脚本会在中途崩溃try: result 10 / 0 except ZeroDivisionError as e: print(f捕获到异常{e}) except Exception as e: print(f未知异常{e})爬虫里最常用的写法是捕获 requests 请求过程中的异常然后记录日志并跳过保证程序能继续运行。4. 网络爬虫入门从网页解析到数据采集4.1 爬虫的基本原理与合规边界爬虫的本质是模拟浏览器向服务器发送 HTTP 请求接收响应后从 HTML 或其他格式的数据中提取需要的信息。一个最简单的爬虫流程如下构造请求 URL。使用 requests 发送 GET 请求获取响应内容。使用 BeautifulSoup 解析 HTML。提取目标数据。保存到文件或数据库。不过学习爬虫必须明确合规边界。在实际操作中请务必遵守以下原则只爬取自己有权限访问或公开允许采集的数据。遵守目标网站的 robots.txt 协议。控制请求频率不要对目标服务器造成压力。不采集个人隐私数据、版权保护内容。爬取的数据仅用于学习研究不用于商业用途。这些底线比技术本身更重要。下面所有案例都只需要公开的测试页面即可复现重点演示思路。4.2 用 requests 获取网页requests 的 GET 请求是最基础的操作。很多网站会识别没有 User-Agent 的请求并拒绝访问所以请求头需要伪装成浏览器。import requests url https://example.com headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 如果状态码不是 200抛出异常 resp.encoding resp.apparent_encoding # 自动推断编码避免中文乱码 print(resp.text[:500]) # 打印前 500 个字符 except requests.RequestException as e: print(f请求失败{e})这里需要注意三点timeout 参数非常关键避免请求卡死。raise_for_status()可以在状态码异常时快速报错。resp.apparent_encoding可以解决部分网页乱码问题但代价是性能稍慢。如果目标网站明确指定了 charset也可以直接用resp.encoding utf-8。4.3 用 BeautifulSoup 解析数据拿到 HTML 之后需要定位并提取数据。BeautifulSoup 提供了 find、find_all、select 等方法配合 CSS 选择器可以很方便地获取标签内容。假设有这样一个 HTML 片段ul idbook-list li classbook-item span classtitlePython 零基础入门/span span classprice59.9/span /li li classbook-item span classtitle网络爬虫实战/span span classprice79.0/span /li /ul解析代码如下from bs4 import BeautifulSoup html # 上面 HTML 字符串假设存在 html 变量中 soup BeautifulSoup(html, lxml) items soup.select(li.book-item) for item in items: title item.select_one(.title).text price item.select_one(.price).text print(title, price)select方法返回的是列表select_one返回第一个匹配结果。通过.text可以获取标签内的文本内容通过[属性名]可以获取属性值比如链接地址a[href]。4.4 一个完整的单页爬虫案例下面把 requests 和 BeautifulSoup 串起来写一个完整的爬虫。为了确保可复现性这里以公开的测试页面为例你需要根据自己的学习目标把 URL 替换成你有权限访问的页面。# 文件路径spider_demo.py import requests from bs4 import BeautifulSoup import csv def fetch_page(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.RequestException as e: print(f请求失败: {e}) return None def parse_html(html): soup BeautifulSoup(html, lxml) data [] items soup.select(li.book-item) for item in items: title item.select_one(.title).text.strip() price item.select_one(.price).text.strip() data.append({title: title, price: price}) return data def save_to_csv(data, filename): with open(filename, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[title, price]) writer.writeheader() writer.writerows(data) if __name__ __main__: url https://example.com/books html fetch_page(url) if html: books parse_html(html) save_to_csv(books, books.csv) print(f成功保存 {len(books)} 条数据)这个脚本体现了函数拆分的思路请求、解析、保存各司其职。实际项目中你只需要修改 URL 和解析规则就能适配不同网站。5. 数据分析入门从清洗到可视化5.1 数据分析的通用流程数据分析不是“打开 Excel 画个图”这么简单。一个完整的数据分析项目通常包含以下步骤明确分析目标。获取数据。数据清洗与预处理。探索性分析。数据可视化。输出结论或报表。对初学者来说最重要的是第 3 步数据清洗。因为真实数据往往存在缺失值、重复值、格式不统一等问题如果跳过清洗直接分析得出的结论很可能不准确。5.2 pandas 数据读取与清洗pandas 的两个核心对象是 Series一维数据和 DataFrame二维表格数据。DataFrame 可以理解为 Excel 中的一个工作表。读取 CSV 文件import pandas as pd df pd.read_csv(books.csv) print(df.head()) print(df.info()) print(df.describe())head()查看前 5 行。info()查看每列的数据类型和非空数量。describe()对数值列进行统计摘要。处理缺失值# 删除包含缺失值的行 df df.dropna() # 用指定值填充缺失值 df df.fillna(0) # 对某列填充平均值 df[price] df[price].fillna(df[price].mean())处理重复值df df.drop_duplicates()字段类型转换# 把 price 列从字符串转换为浮点数 df[price] df[price].astype(float)数据清洗阶段的目标是让数据成为“整洁数据”每一列是一个变量每一行是一条观测记录每个单元格是一个值。5.3 分组聚合与可视化分组聚合是数据分析中使用频率极高的操作。比如统计每个类别的商品平均价格grouped df.groupby(category)[price].mean() print(grouped)数据可视化可以使用 matplotlib。下面是一个最简单的柱状图示例import matplotlib.pyplot as plt # 解决中文乱码Windows 系统可以指定微软雅黑 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False # category_values, price_values 是示例数据 category_values [编程, 数据分析, 爬虫] price_values [59.9, 79.0, 45.5] plt.bar(category_values, price_values) plt.title(各类别平均价格) plt.xlabel(类别) plt.ylabel(价格) plt.show()如果图表的标签是中文一定要设置字体否则会出现方框乱码。这一处配置在初学阶段很容易踩坑。6. 综合实战爬取天气数据并完成分析报表现在把前面学的知识串起来完成一个从“采集数据”到“分析展示”的完整闭环。为了保证案例可以稳定复现这里用一个公开的、返回结构化数据的接口作为演示目标。实际使用时请替换成你有权限访问的数据源。6.1 需求分析目标获取某城市一段时间内的天气数据分析最高温度的分布情况并画出折线图。拆解步骤用 requests 获取天气数据。用 json 模块解析接口返回的数据。把数据保存为 CSV。用 pandas 读取并清洗。用 matplotlib 画温度变化折线图。6.2 数据采集实现假设接口返回的是 JSON 格式数据核心字段包含日期、最高温度、最低温度、天气状况。示例代码如下# 文件路径weather_spider.py import requests import csv def fetch_weather(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() return resp.json() except requests.RequestException as e: print(f请求失败: {e}) return None def save_weather_to_csv(data, filename): with open(filename, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([date, high, low, condition]) for item in data: writer.writerow([ item[date], item[high], item[low], item[condition] ]) if __name__ __main__: # 演示用 URL请替换为你有权限访问的数据源 url https://example.com/api/weather?citybeijingdays7 weather_data fetch_weather(url) if weather_data: save_weather_to_csv(weather_data, weather.csv) print(天气数据已保存)注意这里把接口返回数据完整映射成 CSV 的每一行。如果真实接口字段名不同只需要修改 writer.writerow 里的键名。6.3 数据清洗与分析拿到 weather.csv 后进入 pandas 分析环节# 文件路径weather_analysis.py import pandas as pd df pd.read_csv(weather.csv) print(df.head()) # 转换日期类型方便按时间排序 df[date] pd.to_datetime(df[date]) # 转换温度字段为数值类型 df[high] pd.to_numeric(df[high], errorscoerce) df[low] pd.to_numeric(df[low], errorscoerce) # 删除缺失值 df df.dropna() # 计算温差 df[temperature_diff] df[high] - df[low] # 输出基本统计信息 print(df[[high, low, temperature_diff]].describe())这里使用errorscoerce可以让无法转换的字符串变成 NaN之后再统一处理缺失值这是处理脏数据的常用技巧。6.4 可视化展示最后用 matplotlib 绘制最高温度和最低温度的折线图import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False df_sorted df.sort_values(date) plt.figure(figsize(10, 5)) plt.plot(df_sorted[date], df_sorted[high], markero, label最高温度) plt.plot(df_sorted[date], df_sorted[low], markero, label最低温度) plt.title(未来一周温度变化趋势) plt.xlabel(日期) plt.ylabel(温度 (°C)) plt.legend() plt.grid(True) plt.show()运行这个脚本你会得到一张包含两条折线的趋势图。这只是一个非常简单的报表雏形但已经完整覆盖了数据采集、清洗、分析、可视化全流程。7. 学习过程中的高频报错与排错思路初学者遇到报错时最容易慌。下面整理几个在爬虫和数据分析项目中最高频的问题按“现象 — 原因 — 解决思路”的方式列出方便你快速比对。问题现象常见原因解决思路ModuleNotFoundError: No module named requests当前环境未安装 requests或使用了错误的解释器检查虚拟环境是否激活执行pip install requestsrequests.exceptions.ConnectionError网络不可达或 URL 写错或目标服务器拒绝连接检查 URL、域名、网络尝试在浏览器中打开该地址requests.exceptions.Timeout服务器响应过慢或本地网络波动增加 timeout 值尝试重试机制AttributeError: NoneType object has no attribute text解析时没找到目标元素locate 选择器写错打印 HTML 片段仔细核对标签结构和 class 名称UnicodeDecodeError文件编码与读取编码不一致打开文件时指定 encodingutf-8 或原文件编码图表中文显示为方框matplotlib 默认字体不支持中文设置plt.rcParams[font.sans-serif]为中文字体ValueError: could not convert string to float字符串中包含无法转换的字符清洗数据时使用 strip、replace或errorscoerce遇到报错时推荐按以下顺序排查阅读最后一行异常信息确定错误类型和文件行号。检查对应位置的变量值和数据类型。把问题代码拆成最小片段单独测试。搜索错误信息时优先看官方文档和 Stack Overflow。记住报错是编程过程中的常态能看懂报错并解决它本身就是一种核心能力。8. 工程化建议与下一步学习路线8.1 爬虫开发规范学完基础爬虫后建议从第一天就养成好的工程习惯请求之间添加 sleep 延时控制频率。使用 try-except 捕获异常并记录日志。不要把所有逻辑写在一个脚本里按模块拆分。不要把爬到的数据直接覆盖源文件保留原始数据备份。涉及个人隐私、版权等信息不要采集和传播。一个简单的限速示例import time import requests urls [https://example.com/page/1, https://example.com/page/2] for url in urls: resp requests.get(url, timeout10) print(resp.status_code, url) time.sleep(2) # 两次请求之间至少间隔 2 秒这个 2 秒延时是好习惯能有效降低目标服务器的压力也能减少被反爬机制盯上的概率。8.2 数据分析项目规范数据分析项目建议遵循以下规范原始数据通常以 CSV 或数据库形式保存不做原地修改。清洗逻辑写在独立文件中保证可重复执行。变量命名要见名知意比如df_clean、temperature_mean。分析结论不要只给图表要给一句明确的话。使用 Jupyter Notebook 做探索性分析时尽量保证单元格从上到下按依赖顺序执行。如果你是初学者强烈建议在本地建立“输入数据 — 处理脚本 — 输出结果”三层目录结构例如weather_project/ ├── data/ │ └── raw_weather.csv ├── scripts/ │ ├── clean_data.py │ └── analysis.py └── output/ └── temperature_trend.png这种结构的好处是几个月后回头看你仍然能快速理解每个文件是做什么的。8.3 下一步可以学什么当你把本文的示例都跑通以后可以按以下方向继续深入爬虫方向学习 Scrapy 框架、selenium 动态页面采集、代理池与请求去重。数据分析方向学习 pandas 高级操作、NumPy 数值计算、数据可视化进阶如 seaborn、Plotly。数据库方向学习 SQLite、MySQL 的基础操作把爬取的数据写入数据库。自动化方向用 Python 操作 Excel、Word、邮件提升办公效率。Web 方向学习 Flask 或 FastAPI把分析结果做成 Web 页面展示。需要特别说明的是爬虫技术一定要在合规前提下学习和使用。采集数据不是目的把数据转化为有价值的分析结论才是最终目标。Python 的学习难点从来不是语法本身而是“遇到问题后如何拆解、搜索、验证、解决”的完整流程。把本文的代码亲手敲一遍再试着改几个参数、换一个数据源你会明显感觉到自己从“看教程”变成了“写程序”。如果真的能把这套流程走完收藏夹里那些吃灰的 300 集教程也就没那么重要了。