简介这套基于PythonDjango的京东商品比价系统源码包采用requests爬虫采集数据并附带数据库专为毕业设计、课程设计与项目开发准备实现了用户注册登录、商品收藏、15天价格折线图、每类商品降价幅度排行推荐以及一键跳转购买等功能。压缩包共2001个文件大小16.2MB其中1174个Python脚本py/pyc承载后端与爬虫逻辑128个HTML页面搭配82个JS、19个CSS构成前端界面88个mo/po为国际化语言文件2个SQL文件用于数据库初始化目录结构清晰便于定位修改。项目代码经过严格测试可放心参考并在此基础上扩展已有75人学习下载。对于希望快速搭建电商比价场景、深入理解Django开发与爬虫实战的读者这套源码连同数据文件、页面模板和翻译资源提供了完整且可直接运行的全套素材实践价值较高。1. 京东商品比价系统一个课设项目怎么把爬虫、Django 和价格历史串成闭环京东商品比价系统这个题目说白了就是“requests 抓京东商品数据Django 做展示数据库存价格历史”的一条完整链路。这里说的 request 就是 Python 的 requests 库不是某个开源框架。它特别适合毕业设计或课程设计评审老师要看到爬虫、要看到 Web 界面、还要看到数据库表这套结构一个不落。这个项目最值得琢磨的不是爬虫写得有多猛而是“比价”两个字——要能比价就得有历史价格要有历史价格就得先把数据模型设计对。多数人在这里翻车等到做了一半才发现价格没地方存历史返工成本极高。2. 数据库设计先行商品表与价格快照表怎么建才能支撑比价比价系统里最常见的错误是把价格当成商品的一个普通字段每次抓到新价格就 update 一次。这样数据库里永远只存在“最后一次价格”前面抓到的全被覆盖了。比价这个需求本质上要的是价格随时间的流水今天 199明天 179后天 189这些点连起来才是价格走势。所以我做这类项目第一步不写爬虫先定表结构。2.1 为什么价格要单独建一张快照表而不是直接改商品字段价格快照表的设计思路和银行流水账一样只插入不修改。每次从京东抓到价格就往快照表里新增一条记录商品表本身只保存 sku、标题、店铺这类相对稳定的信息。这样做有三个直接好处随时能算“历史最低价”“平均价”“最新价”三个查询全是聚合操作不用依赖任何外部缓存。可以按时间维度看波动。比如某商品大促前把价格抬高再折扣这种小动作只有保留了历史记录才看得出来。表结构更接近真实业务。电商平台的商品和报价本来就是一对多关系按这个模型写出来的代码答辩时也经得起追问。反过来如果图省事把价格字段放在 Product 表里第一个星期还看不出问题等你要画折线图、算涨跌幅的时候就会发现只有当前值没有历史值后悔药都没得吃。快照表的代价是存储量会涨但一个课设项目的量级完全不需要考虑这个问题只要把抓取频率控制在合理范围就行。2.2 Django 的 models.py 落地核心字段与索引设计明确了“商品表 价格快照表”的思路就可以直接写 models.py 了。下面是我常用的简化版本from django.db import models class Product(models.Model): sku models.CharField(京东SKU, max_length32, uniqueTrue) title models.CharField(商品标题, max_length255, db_indexTrue) shop models.CharField(店铺, max_length128, blankTrue) url models.URLField(商品链接) category models.CharField(分类, max_length64, blankTrue) created_at models.DateTimeField(首次入库, auto_now_addTrue) class Meta: db_table product ordering [-created_at] def __str__(self): return self.title class PriceRecord(models.Model): product models.ForeignKey( Product, on_deletemodels.CASCADE, related_nameprice_records, verbose_name商品 ) price models.DecimalField(价格, max_digits10, decimal_places2) source models.CharField(价格来源, max_length16, defaultjd) captured_at models.DateTimeField(抓取时间, auto_now_addTrue) class Meta: db_table price_record ordering [-captured_at] indexes [ models.Index(fields[product, captured_at], nameidx_prod_captured), ] def __str__(self): return f{self.product.sku}{self.price}有几个字段要专门说明。sku 是京东商品ID链路里唯一能稳定标识商品的字段所以必须加 uniqueTrue后续 get_or_create 都靠它去重。title 加了 db_index因为按标题搜索商品是比价页面最频繁的操作虽然课设数据量小感受不明显但养成加索引的习惯没有坏处。price 用 DecimalField 而不是 FloatField这是做价格数据的一个原则。浮点数在计算机里是二进制的近似表示0.1 0.2 都可能算出不精确的结果涉及钱的数据一律用定点数。max_digits10, decimal_places2 足够覆盖京东绝大多数商品价格如果你要抓大宗商品或批量采购价可以适当放大 max_digits。related_name 写成 price_records方便反向查询比如product.price_records.all()。on_deletemodels.CASCADE 的意思是删掉商品时连同价格记录一起删课程设计里够用生产环境一般会改成 PROTECT避免误删历史数据。提示如果你用的是 Django 4.1 之前的版本Meta 里用 index_together [(product, captured_at)] 也可以新版推荐 indexes 写法语义更清晰。2.3 初始化数据库与后台管理用 Django Admin 先看到数据表定义好之后先不要急着写爬虫把数据库初始化和 Admin 后台配好你后续调试会舒服很多。如果项目里还没有 app先执行python manage.py startapp compare创建应用已有的话直接改代码。然后在项目根目录依次执行python manage.py makemigrations compare python manage.py migrate python manage.py createsuperuser python manage.py runservermakemigrations 会根据 models.py 生成迁移文件migrate 把表建到数据库里。createsuperuser 按提示输入用户名、邮箱和密码然后再启动开发服务器访问/admin就能登录后台。为了让后台直接看到商品和价格记录在 compare/admin.py 里写from django.contrib import admin from .models import Product, PriceRecord admin.register(Product) class ProductAdmin(admin.ModelAdmin): list_display (sku, title, shop, created_at) search_fields (title, sku) admin.register(PriceRecord) class PriceRecordAdmin(admin.ModelAdmin): list_display (product, price, source, captured_at) list_filter (source, captured_at)开发阶段默认用 SQLite 最省事零配置一个文件就是整个库。如果课题要求用 MySQL把 settings.py 里的 DATABASES 换成下面这样DATABASES { default: { ENGINE: django.db.backends.mysql, NAME: price_compare, USER: root, PASSWORD: your_password, HOST: 127.0.0.1, PORT: 3306, OPTIONS: {charset: utf8mb4}, } }用 MySQL 时注意字符集要指定 utf8mb4否则商品标题里的生僻字或特殊符号可能存不进去。平时排查数据可以用 DB Browser for SQLite 或 dbx 这类数据库工具直接打开库文件看表不用每次都进 Django shell。如果项目文档里带了现成的数据库文件优先直接导入后从 Admin 里翻一遍商品表和价格表确认表结构和字段和你理解的一致再开始写爬虫。这样后面所有解析代码都可以对照真实数据结构来写不用瞎猜。3. 京东爬虫的 requests 实现请求构造、页面解析与价格补全数据库结构定了接下来做爬虫。这个环节的产出很简单给定一个搜索关键词返回一批商品字典里面包含 sku、标题、价格、店铺、链接。爬虫本身不该关心数据库它只负责把页面变成结构化数据入库的事交给 Django 的 ORM 做。先说清楚一个现实京东这类电商站对爬虫并不友好前端会做基础的 JS 动态渲染和风控来干扰静态抓取。requests 能稳定拿到的是首屏 HTML价格有时藏在异步接口里有时候干脆延迟加载。所以这个标题下的爬虫重点不在“硬碰硬破解”而是做好请求伪装、快速解析、以及价格缺失时的补全策略。3.1 请求构造User-Agent、Cookie 与搜索参数怎么设我一般用 requests.Session 而不是裸的 requests.get因为 Session 会自动管理 Cookie、复用 TCP 连接连续抓取时的效率和请求成功率都会高一些。构造一次京东搜索请求常见做法是这样的import requests import random import time HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: https://www.jd.com/, } COOKIES { uuid: 你自己的cookie值, # 其他京东需要的 cookie 字段按需补充 } def build_session(): s requests.Session() s.headers.update(HEADERS) s.cookies.update(COOKIES) return s def search_products(keyword, sessionNone): s session or build_session() params { keyword: keyword, enc: utf-8, wq: keyword, psort: 3, } resp s.get(https://search.jd.com/Search, paramsparams, timeout10) resp.raise_for_status() resp.encoding utf-8 return resp.text这里的几个参数值得解释。User-Agent 至少要伪装成主流浏览器不然很多站点第一步就返回 403。Cookie 不建议整个从浏览器复制粘贴尤其是登录态很长的时候复制过来反而容易触发风控我会在浏览器里登录京东后只挑必要字段带过来。params 里的 enc 和 wq 是搜索页自身需要的参数psort 是排序参数值 3 代表按销量排序你按自己需求调。提示Cookie 有保质期隔几天跑一次的系统最好写一个检测逻辑如果返回页面里出现“请登录”或验证码关键词就提示手动更新 Cookie而不是继续傻抓。3.2 解析商品列表用 BeautifulSoup 和正则抓 SKU 与标题返回的 HTML 要用解析器处理。BeautifulSoup 适合拿结构化节点正则适合从字符串里抠价格、ID 这类固定格式内容。解析商品列表我一般这样写import re from bs4 import BeautifulSoup def extract_price(text): if not text: return None cleaned re.sub(r[^\d.], , text) try: return float(cleaned) if cleaned else None except ValueError: return None def parse_product_list(html): soup BeautifulSoup(html, html.parser) items [] for node in soup.select(li.gl-item): sku node.get(data-sku) if not sku: continue title_tag node.select_one(.p-name a) title title_tag.get_text(stripTrue) if title_tag else shop_tag node.select_one(.p-shop a) shop shop_tag.get_text(stripTrue) if shop_tag else price_tag node.select_one(.p-price) price extract_price(price_tag.get_text(stripTrue)) if price_tag else None items.append({ sku: sku, title: title, shop: shop, price: price, url: fhttps://item.jd.com/{sku}.html, }) return items选择器 li.gl-item 对应搜索页里每个商品卡片data-sku 是卡片的商品ID属性。这些 class 名是京东长期沿用下来的但也可能随改版变化——写解析器时一定要先用 F12 看一下当前页面结构不要照抄老教程死磕。价格提取用正则把非数字和小数点的字符全部剔掉¥1,299.00会变成1299.00。注意这里拿到的 price 是 float最终入库时 ORM 会再转成 Decimal不会有精度问题。如果页面结构变化导致一个商品都解析不出来先别怀疑代码把 resp.text 存成 html 文件用浏览器打开看看是不是验证码页或者登录跳转页。建议把 search_products、parse_product_list 这两个函数放到 compare/spider.py 里后续定时任务、管理命令都可以直接 import 复用不用到处复制粘贴。3.3 价格补全页面延迟加载时的处理手法与失败降级京东搜索列表页的价格经常不是静态渲染的requests 拿到的首屏 HTML 里可能没有价格节点。这种时候不要放弃整个商品先保存 sku 和标题价格走补全逻辑。常见做法是按 sku 去请求商品详情页再从详情页里提取价格字段def fetch_price_by_sku(sku, sessionNone): s session or build_session() url fhttps://item.jd.com/{sku}.html try: resp s.get(url, timeout10) resp.encoding utf-8 # 不同时期页面结构不同优先找价格相关的 JSON 字段或 DOM 节点 m re.search(r[\]p[\]\s*:\s*[\]([\d.])[\], resp.text) if m: return float(m.group(1)) soup BeautifulSoup(resp.text, html.parser) price_tag soup.select_one(.price, .p-price) if price_tag: return extract_price(price_tag.get_text(stripTrue)) except requests.RequestException: pass return None这段代码的关键不是某一个正则而是“逐级降级”的思路先尝试页面内嵌的 JSON再尝试价格节点都拿不到就返回 None。补全失败的记录落到库里之后可以靠后续抓取再补。我一般不会把 priceNone 的记录写进价格表因为 DecimalField 不允许空值要么跳过这次写入要么先记 0 再等后台任务修正。补全逻辑单独抽一个函数还有一个好处你可以先跑一轮标题抓取快速入库再跑一轮价格补全慢慢填数据。两件事解耦之后哪一步挂了都容易排查。3.4 限速、重试与失败退避别让一台本机变成风控黑匣子爬虫写完了最忌讳的是立刻开 20 个线程并发抓。京东的风控对请求频率很敏感短时间高频请求大概率换来滑块验证码。课程设计阶段单线程加随机延时是最稳的方案import time import random def robust_get(session, url, retries3, delay(1, 3)): for attempt in range(retries): try: resp session.get(url, timeout10) if resp.status_code 200: return resp except requests.RequestException as e: print(fattempt {attempt 1} failed: {e}) time.sleep(random.uniform(delay[0], delay[1]) * (attempt 1)) return Noneretries 表示最多重试 3 次delay 是每次失败后的基础等待时间乘以“第几次失败”形成退避比如第 2 次失败后等 2 到 6 秒。这样既不会在站点抖动时立刻放弃也不会在失败后疯狂重试把风控阈值越撞越高。抓取循环里每个商品之间建议至少间隔 1 到 2 秒。4. 把抓回的数据变成比价结果Django 视图、模板与价格计算爬虫入库以后数据是躺在数据库里的比价系统要让人看得见结果。这个章节的任务是把“商品 价格记录”变成页面上的“最新价 / 历史最低价 / 平均价 / 涨跌幅”。页面不用做得多华丽但三个计算维度必须准确因为答辩时老师大概率会指着数字问“这个值是怎么算出来的”4.1 视图层的比价计算最新价、最低价、平均价与涨跌幅比价计算放在视图层做天然的思路是先取出商品再逐条查询价格记录。数据量小的时候没问题但更规范的做法是让数据库把聚合算好视图只负责组织和展示。下面这段代码同时演示了两种方式from django.db.models import Min, Avg from django.shortcuts import render from .models import Product, PriceRecord def compare_view(request): keyword request.GET.get(q, ).strip() products Product.objects.all() if keyword: products products.filter(title__icontainskeyword) result [] for product in products[:50]: records product.price_records.all() if not records.exists(): continue latest records.order_by(-captured_at).first() today latest.captured_at.date() # 同一天同一商品只保留最新一条避免均价被高频时间段带偏 duplicated records.filter(captured_at__datetoday).exclude(pklatest.pk) if duplicated.exists(): duplicated.delete() stat records.aggregate(lowestMin(price), avgAvg(price)) lowest_record records.order_by(price, captured_at).first() if stat[lowest]: rate (latest.price - stat[lowest]) / stat[lowest] * 100 else: rate None result.append({ product: product, latest_price: latest.price, latest_at: latest.captured_at, lowest_price: stat[lowest], lowest_at: lowest_record.captured_at, avg_price: round(stat[avg], 2) if stat[avg] else None, rate: round(rate, 2) if rate is not None else None, }) result.sort(keylambda x: (x[rate] is None, x[rate] or 0), reverseTrue) return render(request, compare/result.html, { result: result, keyword: keyword, })这段代码里最关键的是聚合查询。records.aggregate(lowestMin(price), avgAvg(price))会在 SQL 层一次性算出最低价和平均价而不是把所有记录拉到 Python 里再算价格记录多了以后性能差距会非常明显。records.order_by(price, captured_at).first()取的是“价格最低且最早出现”的那一条这样能拿到最低价出现的时间点。关于删除重复记录同一商品在一天内可能被定时任务抓多次如果每次都写一条记录均价会被高频时间段带偏。这里先按抓取时间倒序取当天最新一条再把同一天的其他记录用 delete() 清掉。这是 Django 删除对象的标准姿势查询集调用 delete() 即可。注意这段去重逻辑演示目的比较强生产环境建议放到定时任务里而不是放在页面访问链路中。涨跌幅的计算口径是自己定义的。我这里用“最新价 - 历史最低价/ 历史最低价”反映当前价格比最低点贵了多少。也有人用“最新价对比前一天价格”你想换口径只改一行公式但必须在页面或注释里写清楚免得答辩时口径不一致被问倒。4.2 模板渲染商品卡片、价格对比与“去京东”外链计算好结果之后模板层只做展示。比率计算已经在视图完成模板不要再去写复杂逻辑。一个商品卡片大概长这样!-- templates/compare/result.html -- div classproduct-grid {% for item in result %} div classcard h3{{ item.product.title }}/h3 p classprice 最新价格strong{{ item.latest_price }}/strong span classmuted抓取于 {{ item.latest_at|date:m-d H:i }}/span /p p历史最低{{ item.lowest_price }}{{ item.lowest_at|date:Y-m-d }}/p p平均价格{{ item.avg_price }}/p {% if item.rate is not None %} p classtrend较历史最低 {{ item.rate }}%/p {% else %} p classtrend价格数据不足无法计算涨跌幅/p {% endif %} a href{{ item.product.url }} target_blank relnofollow noopener noreferrer去京东查看/a /div {% empty %} p没有找到相关商品换个关键词试试。/p {% endfor %} /div模板里的|date:Y-m-d是 Django 内置的日期格式化过滤器{% empty %}是 for 循环没结果时的兜底。价格数据不足的判断必须在视图里先做好模板只区分“有值”和“没有值”两种情况这是模板层的使用原则只展示不计算。商品外链加relnofollow noopener noreferrer是基本的安全习惯这样跳转时不会携带来源信息也能防止目标页面反向操作你的页面。想加价格走势图的话最简单的方案是给每个商品生成一个折线图接口返回最近 30 天价格数组前端用 ECharts 画课程设计阶段如果时间紧先用涨跌幅文字也完全够用。5. 京东爬虫避坑清单五个真实翻车点与对应解法这一章写的都是我自己在类似项目里踩过的坑。爬虫这个方向有个特点代码报错不可怕可怕的是代码不报错、数据却是错的。你盯着数据库看半天也找不出问题最后发现是页面结构变了或者 Cookie 早过期了。下面五条按“现象 → 原因 → 解决”的顺序写遇到类似症状直接对照排查。5.1 现象抓回来的价格全是 0.00 元数据库里一片零这是 requests 抓京东最常遇到的情况。打开价格表一看captured_at 时间是新的price 全是 0.00仿佛爬虫正常工作但什么都没爬到。原因几乎都是同一个搜索页的价格是异步加载或延迟渲染的requests 拿到的首屏 HTML 里根本不含价格节点你从价格节点里取文本自然取不到任何数字。解决方法是先加日志确认把每个商品解析结果打印出来看 title 是否正常、price 是否为 None。title 正常但 price 为 None就说明是价格补全的问题而不是整个解析器失效。然后按上一章的 fetch_price_by_sku 补全逻辑走先入库再用详情页价格回填。别把“没抓到”和“真便宜到 0 元”混在一起价格字段要么不写要么写成 None 并留状态标记宁可后续补也不要拿 0 污染平均值。5.2 现象请求返回验证码页面或直接 403连标题都拿不到可能是一次性抓太多也可能是没有带 Cookie 直接裸请求。403 比较好理解服务端拒绝访问更隐蔽的是返回 200但页面内容是验证码或登录跳转页解析结果为空代码不报错。我一般会在爬虫入口处做一个页面校验函数def is_blocked(html): return (验证码 in html or 请登录 in html or 访问过于频繁 in html)原因基本是访问频率过高触发风控或者 Cookie 过期导致被踢回登录态。解决方法是降频、减少单批次数量、随机延时以及检查 Cookie 是否还有效。如果已经触发滑块验证码光改代码没用等一两个小时让风控降温或者换一个网络出口再跑。5.3 现象价格字符串混着逗号和 HTML 标签Decimal 转换直接炸掉从页面取出来的价格文本经常是¥1,299.00中间还有不间断空格和换行。直接塞进 DecimalFieldDjango 大概率抛 ValueError 或 InvalidOperation。这就是没有做数据清洗就入库的结果。解决方法是统一走 extract_price 函数正则r[^\d.]把所有非数字和小数点的字符全部剔除。要注意商品价格有的是纯整数1299有的是1,299.00还有的是1999起这种促销文案清洗后还要再做一次 float 转换校验失败就返回 None让上层决定跳过还是补全。5.4 现象中文全部乱码商品标题变成“锘挎弧”这类内容乱码的最常见原因是编码识别错误。京东搜索页的响应头通常声明了 utf-8但如果你用 resp.text 时没有设置 encodingrequests 会先按响应头解析一旦响应头缺失或者声明了 gbk而实际内容是 utf-8标题就会变成乱码。解决方法是拿到响应后立刻按页面 meta 声明的字符集设置resp session.get(url, timeout10) resp.encoding resp.apparent_encoding or resp.encodingapparent_encoding 是 requests 根据字节内容推断出的编码比固定写死 utf-8 更稳。注意这种推断有少量性能开销只对文本页面用就好。还有一种乱码来自数据库连接MySQL 没配 utf8mb4那种乱码是入库后才出现的用第 2 章的 OPTIONS charset 配置可以避免。5.5 现象报错 request header is too large请求被服务端直接拒绝这个报错看起来像网络问题实际是请求头超出服务端限制。很多人图省事把浏览器 DevTools 里整个 Request Headers 原封不动复制到代码里连 Cookie 串一起带上几十个字段加起来可能超过 8KB。服务端为了避免恶意请求和前端防爬通常会对请求头大小设上限超过了直接拒绝表现就是 400 或 413。解决方法是精简请求头。爬虫只需要 User-Agent、Accept、Accept-Language、Referer 这四五个关键字段Cookie 也只保留必要项。另外注意别把大段 JSON 或 base64 内容塞进 GET 参数里GET 的 URL 长度本身也有限制超长链接同样会被服务端以 413 request entity too large 拒绝。记住一个原则请求越轻越不容易被拦。6. 一条命令验证整套系统从搜索到比价结果的端到端巡检比价系统的功能点分散在爬虫、数据库和视图三层要验证“能不能跑通”最快的方式是用 manage.py shell 把整条链路一次性走一遍。这一步会把搜索、入库、聚合计算串起来任何一个环节断了都能立刻看到报错位置。6.1 用 manage.py shell 把爬虫、入库、比价串起来跑一遍在项目根目录执行下面这段脚本注意把 compare 换成你的实际 app 名python manage.py shell EOF from compare.spider import search_products, parse_product_list from compare.models import Product, PriceRecord from django.db.models import Min, Avg keyword 蓝牙耳机 html search_products(keyword) # 第3章的搜索函数 items parse_product_list(html) # 第3章的解析函数 for item in items[:20]: product, _ Product.objects.get_or_create( skuitem[sku], defaults{title: item[title], url: item[url], shop: item.get(shop, )} ) if item[price]: PriceRecord.objects.create(productproduct, priceitem[price]) qs Product.objects.filter(title__icontainskeyword).annotate( lowestMin(price_records__price), avgAvg(price_records__price), ) for p in qs[:10]: latest p.price_records.order_by(-captured_at).first() print(p.sku, p.title, latest.price, p.lowest, p.avg) EOF这个脚本用 get_or_create 保证同一 sku 只建一条商品记录第二次跑的时候商品表不会重复插入价格表每次新增快照这样曲线数据才会越来越厚。print 输出里应该能看到 sku、标题、最新价、最低价和平均价五项如果最后几行都是 None回去查爬虫这层的价格补全。链路通了之后剩下的就是让它持续跑。常见做法是写一个 Django management command 包裹上面的逻辑然后交给系统定时任务每两小时抓一轮。跑上两三天价格历史有了起伏比价页面的涨跌幅和趋势才真正有意义。这套结构和京东绑定得很紧但换个目标站点只需要改解析器和字段映射骨架可以直接复用。我自己第一版做类似系统时把价格直接放在商品表里做到一半发现折线图画不出来最后推倒重来。后来只要涉及价格走势一律先建快照表这已经是我的默认习惯。希望帮到你。本文还有配套的精品资源点击获取
