1. 爬虫是什么爬虫Web Crawler / Spider是一种自动访问网页并提取信息的程序。你可以把它想象成一个不知疲倦的资料收集员按照设定规则自动打开网页、读取内容、保存有用的数据再顺着链接继续寻找下一个页面。2. 爬虫能做什么爬虫本质上是一个批量获取网页信息的工具。凡是公开的、浏览器可以访问的内容都可以通过爬虫下载到本地再进行分析和处理。数据采集批量抓取商品价格、新闻标题、天气数据、招聘信息等。内容监控定时检测页面变化捕捉价格波动或内容更新。数据分析把抓取到的数据存储下来用于统计分析和机器学习。3. 爬虫的基本原理大多数爬虫都遵循下面几个基本步骤抓取Fetch向网站发送请求下载网页的 HTML 内容。解析Parse从网页代码中提取需要的信息比如标题、价格、评论。存储Store把数据保存到数据库、表格或文件里。循环发现新链接后继续抓取不断重复。4. 环境准备Python 3.14.3IDEPyCharm安装完成后可以在终端里执行python --version确认 Python 环境可以正常使用。5. Python 爬虫实战爬虫一般会用到requests或urllib这两个请求库。它们不像os、re那样是 Python 内置模块需要先手动安装。5.1 安装 requests打开终端执行pip install requests # 安装 requests 库 pip install urllib3 # 安装 urllib3 库两个库二选一即可本教程为了方便统一使用requests。5.2 第一个爬虫新建一个spider.py文件写入下面的代码import requests r requests.get(https://example.com) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码运行后r.status_code会显示服务器响应状态码r.text会输出网页的源码。拿到源码之后就可以进一步解析和提取我们需要的数据了。5.3 加上请求头避免被简单拦截有些网站会检查请求来源直接从 Python 请求可能返回 403。此时可以添加 User-Agent 模拟浏览器访问import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0 Safari/537.36 } r requests.get(https://example.com, headersheaders) print(r.status_code) print(r.text)6. 常见状态码与应对方式状态码含义与应对方式200一切正常继续解析。301/302跟随重定向获取最终 URL。403被反爬拦截需要加 User-Agent、Cookie 或代理。404页面不存在跳过该链接。429请求太频繁降低速度、加延时。500/503服务器问题稍后重试。7. 学习建议掌握 requests 基础之后可以继续学习 BeautifulSoup 或 lxml 做网页解析、使用 pandas 整理数据、把数据存入 CSV 或数据库。动手练习时请遵守网站的 robots.txt 规则控制抓取频率不要给目标网站带来访问压力。
