1. 项目概述与核心需求1.1 这个系统到底解决什么问题大学里的多媒体教学资源管理表面上看着简单实际做起来水很深。传统的做法是文件放在FTP服务器上数据库里存个路径老师们上传课件、视频学生们下载查看。但真到用了就会发现随着课程门数增多、视频分辨率提高、老课件不断积累存储空间和并发访问很快就扛不住了。尤其是大二大三的公共课一门课几百人同时在线看教学视频服务器IO经常被打满下载一个几百兆的视频能拖好久。课件版本混乱、老师之间资源不共享、管理员统计不了资源使用情况——这些都是真实存在的痛点。这个基于Spring Boot和Hadoop平台的大学多媒体教学管理系统核心目标就是两件事第一用Hadoop的HDFS解决海量教学资源的分布式存储和备份问题第二用Spring Boot搭建一套完整的管理平台把资源上传、下载、在线预览、课程分类、权限控制、统计报表这些功能统一做成Web服务。整个系统跑起来之后资源的存取不再依赖单台服务器的硬盘而是分布在集群节点上容量和并发能力都上了一个档次。适合什么人参考一种是高校信息中心或者教务处要做类似系统的开发人员另一种是正在做毕业设计、课程设计的学生走的是Spring Boot Hadoop这套经典组合既有业务功能又有大数据元素拿来做项目实践是很合适的。1.2 功能模块的完整拆解一个多媒体教学管理系统功能上不能只做一个文件存取的壳子必须围绕“教学资源全生命周期”来设计。我在做需求分析时把整个系统拆分成了六个核心模块用户认证与权限管理区分教师、学生、管理员三类角色。教师能上传和维护自己的资源学生能浏览和下载管理员负责系统配置、用户管理和数据统计。课程与资源分类管理按学院、专业、课程三级结构组织资源。每门课程下面挂课件、视频、实验指导书、参考资料等不同类别的多媒体文件。资源上传与存储模块教师上传文件时系统将文件写入HDFS集群同时在MySQL里记录文件的元数据信息。资源检索与预览模块支持按课程名、文件名、资源类型、上传时间等条件组合搜索支持图片和PDF的直接预览。下载与访问控制模块按角色控制下载权限记录下载日志统计热门资源。数据统计与可视化模块管理端展示资源总量、存储占用、访问排行、教师上传活跃度等信息。这六个模块看起来不复杂但每个模块落到代码上都有不少细节。比如上传大视频文件时的分片处理、HDFS节点宕机后的数据可用性保障、检索接口在高并发下的响应速度这些都是后文要展开讲的重点。2. 技术选型与整体架构设计2.1 为什么是Spring Boot搭配Hadoop先聊技术选型的几个考虑。第一架构层面Spring Boot是目前Java后端开发的主流方案。自动装配简化了大量配置内嵌Tomcat让部署变得轻量配合Spring Data JPA或者MyBatis操作MySQL很方便生态里还有Spring Security可以直接用来做权限控制。做这种管理类Web系统Spring Boot的开发效率确实比传统SSH框架高太多。第二存储层面为什么引入Hadoop的HDFS多媒体资源的特点是文件大、数量多、单个文件动辄几百MB甚至几个GB。单机存储有几个硬伤硬盘容量有限、磁盘故障会导致数据丢失、并发读写时IO带宽容易成瓶颈。HDFS把文件切块后分布存储到集群多个节点的DataNode上默认每个块复制三份某台机器坏了数据照样能找到多节点并行读写带宽是多个物理硬盘的叠加。这种架构用在教学资源存储上非常合适部署成本也不算高——三到五台普通服务器组成的小集群就能提供TB级别的存储空间。第三生态角度Hadoop不只是提供了一个文件系统它的生态里还有MapReduce、Hive、Spark这些计算框架。虽然这个项目第一阶段主要是用HDFS做存储但后续如果要做教学行为分析、学习资源推荐这些大数据应用集群基础设施已经搭好了往上加组件就行。当然用Hadoop也有代价运维复杂度比单机FTP高NameNode的内存配置、DataNode的磁盘管理、集群的健康检查都得有人管。所以我在设计时做了一层隔离——业务系统只和自定义的存储服务层打交道存储服务层内部封装HDFS的客户端API。这样就算将来想把存储换回普通文件系统也只是替换服务层实现的问题。2.2 系统整体架构整个系统采用典型的前后端分层加分布式存储的混合架构画一条主线出来就是用户通过浏览器访问系统 - Nginx反向代理 - Spring Boot后端服务 - MySQL元数据 HDFS文件数据后端内部再做细分Controller层接收HTTP请求做参数校验和结果包装Service层核心业务逻辑比如上传流程编排、权限校验、统计计算DAO层用MyBatis操作MySQL中的用户表、资源表、课程表、日志表StorageService层封装HDFS操作对外提供上传、下载、删除、查询存储信息等方法前端用的是Vue加Element UI通过RESTful API和后端通信。文件的上传下载走独立的接口大文件用分片上传加进度条显示。架构选型上还有一个细节Nginx在前端主要处理静态资源请求和反向代理。上传视频这种大文件时Nginx的client_max_body_size参数需要改大否则文件超过默认1MB就会被直接拦掉。这个坑后来确实踩到了后文会细说。2.3 数据存储方案设计系统里MySQL负责结构化数据HDFS负责非结构化文件两者通过一个file_id字段关联。MySQL核心表设计用户表uid、用户名、密码加密存储、角色1管理员/2教师/3学生、学院、专业、联系方式、创建时间课程表cid、课程名称、所属学院、授课教师uid、课程简介、创建时间资源表fid、课程cid、资源名称、文件类型1课件/2视频/3实验指导/4参考文档、HDFS路径、文件大小、上传者uid、上传时间、下载次数、状态1正常/0已删除下载日志表id、fid、用户uid、下载时间、IP地址公告表id、标题、内容、发布时间、发布人设计的时候要特别注意HDFS路径不要直接拼在文件名字段里再处理单独建一个字段存完整路径。课程和学院的业务数据要有外键关联方便后台做按学院维度的资源统计。HDFS目录规划/teaching ├── /course_videos 课程视频 ├── /course_ware 课件PPT/PDF ├── /experiment_guides 实验指导书 └── /reference_materials 参考资料文件命名规则用“日期_随机数_原始文件名”的方式避免不同老师上传同名文件导致覆盖。例如20250612103842_8372_操作系统第一章.ppt这个规则在实际使用中很管用。3. 项目环境搭建与核心实现3.1 环境准备如果你要在本地完整跑起来这套系统硬件和软件的准备是第一步。我用的是一台16G内存的电脑做开发测试装了三台虚拟机来模拟Hadoop集群。配置如下三台虚拟机操作系统Ubuntu 20.04每台分配4G内存、50G硬盘Hadoop版本选择3.3.xJDK要求1.8或以上Spring Boot选择2.7.x版本JDK 1.8这里特别提醒一点Hadoop和JDK的版本兼容性一定要提前查。比如Hadoop 3.3.0开始官方支持JDK 11但Spring Boot 2.7配JDK 8是最稳的组合。如果JDK版本不匹配启动NameNode时常常报一些不明不白的类加载错误排查起来很费时间。Hadoop集群的搭建步骤核心流程是配置三台机器的hostname和hosts映射比如node1、node2、node3配置SSH免密登录NameNode节点要能免密访问所有DataNode修改core-site.xml设置fs.defaultFS为hdfs://node1:9000修改hdfs-site.xml设置副本数三台集群建议设为2或者3如果只有三台虚拟机副本数设3可能会遇到存储空间不够的问题修改yarn-site.xml和mapred-site.xml这几步和本系统关系不大但基础环境也要配好格式化NameNode执行hdfs namenode -format配置好之后用jps命令检查进程是否齐全。NameNode、DataNode、SecondaryNameNode都存在HDFS部分就算准备好了。Spring Boot工程这边用IDEA新建项目选择的依赖包括spring-boot-starter-web spring-boot-starter-security权限控制用 mybatis-plus-boot-starterORM mysql-connector-java hadoop-client引入HDFS的Java API我用的Hadoop Java API开发依赖Maven坐标如下dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.4/version /dependency注意啊hadoop-client的jar包很大首次下载会比较慢。而且不同Hadoop版本之间API有差异网上查到的老代码经常是2.x的写法放到3.x上面有些方法已经废弃了需要根据实际情况调整。3.2 HDFS存储服务层的封装业务代码里到处都是HDFS API的直接调用这是我在很多项目里见到的问题。一旦后续Hadoop升级或者集群地址变化改起来相当痛苦。所以我一开始就封装了一个StorageService类把所有HDFS操作集中在里面。核心代码大致如下Service public class HdfsStorageService { private static final Logger log LoggerFactory.getLogger(HdfsStorageService.class); Value(${hdfs.uri}) private String hdfsUri; Value(${hdfs.username}) private String hdfsUsername; private FileSystem getFileSystem() { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfsUri); // 设置访问HDFS的代理用户 return FileSystem.get(URI.create(hdfsUri), conf, hdfsUsername); } /** * 上传文件到HDFS */ public String uploadFile(InputStream inputStream, String hdfsPath) { FileSystem fs null; try { fs getFileSystem(); Path path new Path(hdfsPath); // 如果父目录不存在先创建 Path parent path.getParent(); if (!fs.exists(parent)) { fs.mkdirs(parent); } FSDataOutputStream outputStream fs.create(path, () - { // 这个回调不是进度这里演示简化处理 }); // 使用IOUtils流拷贝 IOUtils.copyBytes(inputStream, outputStream, 4096, true); outputStream.close(); log.info(文件上传成功: {}, hdfsPath); return hdfsPath; } catch (Exception e) { log.error(文件上传失败, e); throw new RuntimeException(HDFS文件上传异常, e); } finally { if (fs ! null) { try { fs.close(); } catch (IOException e) { log.error(关闭FileSystem失败, e); } } } } /** * 从HDFS下载文件 */ public void downloadFile(String hdfsPath, OutputStream out) { FileSystem fs null; try { fs getFileSystem(); Path path new Path(hdfsPath); if (!fs.exists(path)) { throw new RuntimeException(文件不存在: hdfsPath); } FSDataInputStream inputStream fs.open(path); IOUtils.copyBytes(inputStream, out, 4096, true); out.flush(); } catch (Exception e) { log.error(文件下载失败, e); throw new RuntimeException(HDFS文件下载异常, e); } finally { if (fs ! null) { try { fs.close(); } catch (IOException e) { log.error(关闭FileSystem失败, e); } } } } /** * 删除文件 */ public boolean deleteFile(String hdfsPath) { FileSystem fs null; try { fs getFileSystem(); Path path new Path(hdfsPath); return fs.delete(path, true); } catch (Exception e) { log.error(删除文件失败, e); throw new RuntimeException(HDFS文件删除异常, e); } finally { if (fs ! null) { try { fs.close(); } catch (IOException e) { log.error(关闭FileSystem失败, e); } } } } }这段代码有几个关键点说一下。FileSystem实例每次用完必须close否则长期运行会堆积大量连接最终报连接超时。但频繁创建又会导致性能下降所以更合理的做法是复用实例。改进的思路是用单例模式维护FileSystem因为FileSystem本身就是线程安全的官方文档也建议一次创建重复使用。我实际项目里是把getFileSystem改成带有双重检查锁的单例效果好了很多。代理用户的问题也值得注意。HDFS默认有权限校验如果你在分布式环境里配置了Kerberos或者特定用户FileSystem.get这行代码可能没有权限访问。开发环境最省事的做法是在hdfs-site.xml临时设置权限为false但生产环境肯定不能这么干。正规做法是配置好HDFS的超级用户委托不让业务代码带着linux当前用户身份去访问集群。IOUtils.copyBytes方法来自Hadoop的commons工具包它内部会在拷贝完成后自动关闭输入输出流最后一个参数true代表关闭流。这个方法比你自己写while循环读buffer方便很多而且不会漏掉流关闭。3.3 文件上传功能的完整实现上传是多媒体教学系统最核心的功能。视频动辄1个G以上必须考虑请求超时和内存占用的问题。我设计的Controller是这样的RestController RequestMapping(/api/resource) public class ResourceController { Autowired private ResourceService resourceService; PostMapping(/upload) public Result upload(RequestParam(file) MultipartFile file, RequestParam(courseId) Integer courseId, RequestParam(resourceType) Integer resourceType, HttpServletRequest request) { // 获取当前登录用户 User currentUser (User) request.getAttribute(currentUser); // 校验角色只有教师和管理员可以上传 if (currentUser.getRole() ! 2 currentUser.getRole() ! 1) { return Result.error(只有教师和管理员可以上传资源); } // 校验文件大小 if (file.isEmpty()) { return Result.error(上传文件不能为空); } Long size file.getSize(); if (size 1024 * 1024 * 1024L) { return Result.error(文件大小不能超过1GB); } String originalFilename file.getOriginalFilename(); String dateStr new SimpleDateFormat(yyyyMMddHHmmss).format(new Date()); String random String.valueOf(new Random().nextInt(10000)); String hdfsFileName dateStr _ random _ originalFilename; String hdfsPath buildHdfsPath(courseId, resourceType, hdfsFileName); boolean success resourceService.uploadResource(file, courseId, resourceType, hdfsPath, currentUser); return success ? Result.ok(上传成功) : Result.error(上传失败); } private String buildHdfsPath(Integer courseId, Integer resourceType, String fileName) { // 按资源类型设置目录 String typeDir ; switch (resourceType) { case 1: typeDir course_videos; break; case 2: typeDir course_ware; break; case 3: typeDir experiment_guides; break; case 4: typeDir reference_materials; break; default: break; } return /teaching/ typeDir /course_ courseId / fileName; } }这个接口在Spring Boot层面比较简单MultipartFile拿到文件流直接交给Service层写入HDFS。但是有个挺大的坑Spring Boot默认单个文件上传限制是1MB不是1GB。如果你不在配置里修改大于1MB的文件直接报错。必须在application.yml里配置spring: servlet: multipart: max-file-size: 1024MB max-request-size: 2048MB同时Nginx那边也要改client_max_body_size 1024m;两个地方不改大视频永远传不上去。这个我调试的时候花了一个多小时才定位到过程特别折腾先在后端打日志发现请求根本没到Controller最后查网络才知道是Nginx拒收。3.4 大文件分片上传的设计上面那个上传接口对付几十MB的PPT还行真要传几个GB的录屏视频还是会有问题。网络中断、代理超时、Nginx长时间占用连接导致后端线程池阻塞这些都是隐患。稳妥的做法是做前端分片上传。我后来在这个系统里加了一套分片上传逻辑前端把文件切成每个5MB的分片逐个上传后端收到所有分片后合并。前端核心思路基于Vue加axiosconst CHUNK_SIZE 5 * 1024 * 1024; const file this.selectedFile; const totalChunks Math.ceil(file.size / CHUNK_SIZE); for (let i 0; i totalChunks; i) { const start i * CHUNK_SIZE; const end Math.min(start CHUNK_SIZE, file.size); const chunk file.slice(start, end); const formData new FormData(); formData.append(file, chunk); formData.append(chunkIndex, i); formData.append(totalChunks, totalChunks); formData.append(fileName, file.name); formData.append(courseId, this.courseId); const response await axios.post(/api/resource/upload_chunk, formData, { headers: { Content-Type: multipart/form-data } }); this.progress Math.round(((i 1) / totalChunks) * 100); }后端处理分片时要注意每个分片临时存到一个目录所有分片到齐后再拼接。拼接的时候按分片序号顺序写入最终文件这里有个细节——分片序号必须从0开始且严格递增合并时用RandomAccessFile按起始位置写入顺序不对文件就坏了。PostMapping(/upload_chunk) public Result uploadChunk(RequestParam(file) MultipartFile file, RequestParam(chunkIndex) Integer chunkIndex, RequestParam(totalChunks) Integer totalChunks, RequestParam(fileName) String fileName, RequestParam(courseId) Integer courseId) { String tempDir /tmp/chunk_ fileName _ courseId; File tempFile new File(tempDir, chunkIndex .part); file.transferTo(tempFile); // 判断是否所有分片到齐 File[] parts new File(tempDir).listFiles(); if (parts ! null parts.length totalChunks) { // 合并 File mergedFile new File(tempDir, merged); try (RandomAccessFile raf new RandomAccessFile(mergedFile, rw)) { long position 0; for (int i 0; i totalChunks; i) { File part new File(tempDir, i .part); raf.seek(position); Files.copy(part.toPath(), raf.getChannel()); position part.length(); part.delete(); } } // 上传合并后的文件到HDFS try (FileInputStream fis new FileInputStream(mergedFile)) { hdfsStorageService.uploadFile(fis, finalHdfsPath); } mergedFile.delete(); return Result.ok(上传完成); } return Result.ok(分片已接收); }需要注意分片临时目录的清理策略。如果用户上传一半关掉了浏览器tmp目录里残留的part文件会越来越多磁盘很快会被占满。我在定时任务里加了清理逻辑超过24小时的临时目录直接删除。3.5 多媒体资源的在线预览管理系统如果只有下载没有预览体验会大打折扣。图片预览很简单后端提供接口读取HDFS文件流写入响应前端用img标签访问就行GetMapping(/preview/{fid}) public void preview(PathVariable Integer fid, HttpServletResponse response) { Resource resource resourceService.getById(fid); if (resource null) { throw new RuntimeException(资源不存在); } // 设置ContentType图片直接展示PDF用inline方式 String ext resource.getFileName().substring(resource.getFileName().lastIndexOf(.) 1); if (pdf.equalsIgnoreCase(ext)) { response.setContentType(application/pdf); response.setHeader(Content-Disposition, inline; filename resource.getFileName()); } else if (ext.matches((jpg|jpeg|png|gif))) { response.setContentType(image/ ext); } hdfsStorageService.downloadFile(resource.getHdfsPath(), response.getOutputStream()); }PPT和Word的在线预览比较麻烦浏览器没法直接解析。我采用的方案是把Office文档转成PDF再预览用LibreOffice在服务器上做转换。这额外需要安装LibreOffice并且集成转换逻辑如果你也做这块建议直接在部署环境里跑一下soffice命令Inline的方式通过Java Runtime执行。视频预览则是另一个难点。直接整个文件拖到浏览器播放用户体验好但流量消耗大。Hadoop生态有HDFS的HttpFS或者WebHDFS协议可以让前端直接请求HDFS上的视频文件来播放但是如果视频格式是MP4且没有moov元数据在文件头部拖动进度条到不了目标位置。我当时的处理方案是后端子流读取效果还行就是代码复杂了些。用Spring的StreamingResponseBody配合Range请求头响应视频的一部分GetMapping(/stream/{fid}) public ResponseEntityStreamingResponseBody stream(PathVariable Integer fid, RequestHeader(value Range, required false) String rangeHeader) { Resource resource resourceService.getById(fid); Path path new Path(resource.getHdfsPath()); long fileLength fs.getFileStatus(path).getLen(); long start 0, end fileLength - 1; if (rangeHeader ! null rangeHeader.startsWith(bytes)) { String range rangeHeader.substring(6); String[] parts range.split(-); start Long.parseLong(parts[0]); if (parts.length 1 !parts[1].isEmpty()) { end Long.parseLong(parts[1]); } } long finalStart start; long finalEnd end; long rangeLength end - start 1; StreamingResponseBody streamBody outputStream - { try (FSDataInputStream in fs.open(path)) { in.seek(finalStart); byte[] buffer new byte[8192]; long remaining rangeLength; int len; while (remaining 0 (len in.read(buffer, 0, (int) Math.min(buffer.length, remaining))) ! -1) { outputStream.write(buffer, 0, len); remaining - len; } } }; return ResponseEntity.ok() .header(HttpHeaders.ACCEPT_RANGES, bytes) .header(HttpHeaders.CONTENT_RANGE, bytes start - end / fileLength) .header(HttpHeaders.CONTENT_LENGTH, String.valueOf(rangeLength)) .contentType(MediaType.parseMediaType(video/mp4)) .body(streamBody); }这个方案的优点是前端可以用一个Video标签播放HDFS上的视频支持拖动进度条而且不需要把整个文件都读出来再转给前端。实测体验网络环境正常的情况下基本能流畅播放。不过要提醒一下HDFS的随机读取性能不如本地文件系统。如果并发播放量很大比如100人同时看同一门课的视频HDFS集群每个DataNode的IO压力不小。后期优化可以在HDFS前面加一层CDN或者预先生成HLS切片这是另一个话题了。3.6 权限控制与安全设计系统面向高校内部使用用户角色分三类权限控制就围绕角色做了。Spring Security负责认证和授权认证方式登录时查询MySQL用户表BCrypt加密校验密码成功后放入Session授权方式通过角色识别教师能上传和删除自己的资源管理员能管理所有资源学生只能浏览和下载接口权限通过注解控制比如PreAuthorize(hasRole(TEACHER))上传接口必须校验登录状态和角色。如果放开给匿名用户HDFS集群会被垃圾文件塞满。下载接口也要做记录每个下载行为都写入日志表一方面方便统计热门资源另一方面出了版权纠纷也好追溯。还有一个细节是文件名的处理。用户上传的文件名可能包含特殊字符比如说../../etc/passwd这类路径穿越的字符串拼接HDFS路径时如果不做过滤可能会把文件写到预期之外的目录。我加了白名单校验只保留字母、数字、点、横线和下划线String safeName originalFilename.replaceAll([^a-zA-Z0-9._-], _);3.7 统计报表模块的实现管理端需要看到整个系统的运行数据。我用MapReduce写过几个简单的离线统计任务比如按学院统计资源数量、按月份统计上传活跃度。不过实际开发中发现纯用MapReduceJava代码码起来很繁琐。如果只需要统计MySQL里的元数据直接SQL查询更快SELECT c.college, COUNT(r.fid) AS resource_count FROM course c LEFT JOIN resource r ON c.cid r.course_id GROUP BY c.college对于HDFS上的大文件比如日志分析这种才需要真正用MapReduce或者Hive。在这个系统里我把统计分成两层结构化的元数据统计走MySQL聚合非结构化的文件分析走Hive后续扩展。MapReduce写统计逻辑的要点是处理好Mapper的输出key-value对Reducer做累加。比如统计每个专业的上传文件总大小Mapper读日志记录输出key为专业名value为文件大小。Reducer累加所有value输出最终结果。4. 常见问题与排查方案4.1 HDFS集群连接失败问题这个问题在开发中高概率遇到。启动Spring Boot应用后一调用StorageService就报java.io.IOException: Failed to connect to /node1:9000排查步骤先用命令行在服务器上执行hdfs dfs -ls /看集群是否正常再执行telnet node1 9000看端口通不通然后检查hdfs-site.xml里的fs.defaultFS配置是否和项目里hdfs.uri一致检查防火墙Ubuntu的ufw可能挡了9000端口这个案例里最坑的是hostname解析问题。Windows开发机访问Linux虚拟机里的Hadoop需要在Windows的hosts文件里加上node1的IP映射否则Java解析不了node1这个名字。4.2 上传大文件时NameNode报错传几个GB的视频时NameNode日志里经常出现Lease mismatch原因是客户端拿着FileSystem连接往DataNode写数据但租约过期。解决办法是调整HDFS客户端的连接超时和写入参数property namedfs.client.block.write.replace-datanode-on-failure.policy/name valueNEVER/value /property property namedfs.datanode.data.dir.perm/name value777/value /property另外数据写入时如果某个DataNode磁盘故障客户端会自动重试写下一个块。重试次数默认是4次网络不稳定时可以调大dfs.client.block.write.replace-datanode-on-failure.enable false4.3 MyBatis查询资源列表时大字段性能问题资源表里如果存了简介字段TEXT类型列表页查询时一次把所有大字段都查出来接口响应会很慢。解决方法是查询列表时只SELECT需要的字段不SELECT简介详情页再单独查一次。4.4 分片上传时临时文件清理这个问题前面提过再补一刀合并后的临时文件一定要在finally块里删除。我在某次测试中上传失败后临时文件没清两天时间VM虚拟机30GB磁盘被tmp目录占满了。定时清理建议直接用Spring的Scheduled注解Scheduled(cron 0 0 3 * * ?) public void cleanTempFiles() { // 遍历/tmp/chunk_开头的目录删除最后修改时间超过24小时的 File tempBaseDir new File(/tmp); File[] dirs tempBaseDir.listFiles((dir, name) - name.startsWith(chunk_)); for (File dir : dirs) { long lastModified dir.lastModified(); if (System.currentTimeMillis() - lastModified 24 * 60 * 60 * 1000L) { // 递归删除 } } }4.5 权限问题文件删不掉有的项目里HDFS文件用root用户写入但Spring Boot服务是用别的用户启动的删除时会报Permission denied。解决办法要么在HDFS配置中关闭权限校验开发环境要么让服务启动用户和写入HDFS的用户一致或者做用户代理转发。生产上建议配置NameNode的native权限来支持用户组。5. 从开发到部署需要盯紧的细节5.1 配置分离HDFS地址、MySQL连接、Redis缓存这些配置不要写死在代码里。用Spring Boot的profile机制区分开发环境、测试环境、生产环境application-dev.yml application-prod.yml生产环境用Nacos或者Spring Cloud Config统一管理配置方便后续扩展。5.2 日志的维度HDFS的读写操作日志必须记录。我做的日志切面在每次上传、下载、删除操作时打印操作人、文件路径、耗时、大小等关键信息。这不仅能排查问题也能汇总成使用报表。多机日志的收集后续可以整合ELKElasticsearch、Logstash、Kibana或者Hadoop生态的Flume不过第一阶段先把本地日志格式规范好。5.3 备份策略HDFS的三副本机制不等于数据库备份。MySQL数据必须定期导出备份。教学资源重要性分级精品课程视频、重要考试资料这类核心资源可以额外设置副本数为4一般课件保持3副本就行。资源生命周期管理学期结束超过两年的旧课程资源可以考虑归档到冷存储。Hadoop里可以设置不同的存储策略把不常用的数据放到便宜的存储节点上节省成本。6. 实测心得和后续扩展思路这套系统从设计到落地我最大的体会是真正花时间的不是Spring Boot那几个CRUD接口而是把Hadoop和业务系统之间的细节理顺。从最开始的文件上传到最终视频流畅播放中间是有非常多隐形工作量的。HDFS的权限配置、分片合并、视频流式读取、大文件超时处理每一个模块都值得单独写一篇复盘。一个建议如果你也在做类似系统先把数据流整个走通再扩展功能。很多同学一上来先折腾前端界面页面画得挺漂亮结果到上传那个环节卡了好几天这个顺序是不太合理的。我当时的顺序是先搭Hadoop集群再做一个文件上传下载的测试接口确认流通道通了之后才开始写业务功能。后续扩展的方向一个是在线课堂模块把视频播放和课程讨论结合起来另一个是基于学习行为数据的智能推荐春季选课的时候根据学生之前的观看记录推荐相关课程。这两个方向都需要在Hadoop生态上加组件HDFS基础已经打好了后面是计算层的事情。最后分享一个项目过程中最想强调的细节HDFS的FileSystem实例不要重复创建、用完要关闭这个操作贯穿了整个项目也直接影响系统的稳定性。很多网上教程只说怎么调用API没人提醒这些经验性的东西希望这篇复盘能帮你少走弯路。
