人工智能计算机视觉GIS图像处理微调【免费下载链接】geoaiGeoAI: Artificial Intelligence for Geospatial Data项目地址https://gitcode.com/gh_mirrors/ge/geoai点击查看免费下载GeoAI 项目在 geoai/vllm_geo.py 中提供了geoai.vllm_geo模块用于把 vLLM 托管的开源视觉语言模型VLM接入地理空间影像分析流程支持图像描述captioning、视觉问答VQA与基于提示词的目标检测并针对大尺寸栅格提供滑窗sliding window处理能力。读完本文你将掌握如何在本地或远程 vLLM 服务上部署 VLM、用VLLMGeo类完成带地理参考georeferenced的推理与矢量输出并了解其底层实现与测试验证方式。模块定位vLLM 为什么能补齐 GeoAI 的推理短板vllm_geo模块解决的是一个非常实际的取舍问题Ollama 这类本地推理工具部署简单但吞吐慢云 API 速度快但成本高且数据需要外传。vLLM 通过 PagedAttention 等优化实现高吞吐的自托管推理正好填补这一空白——模型权重和影像数据都留在自己的 GPU 服务器上同时获得接近云 API 的并发能力。从模块源码看vllm_geo.py提供两类运行方式Server 模式默认连接一个正在运行的vllm serve modelOpenAI 兼容端点影像瓦片以 base64 编码的 data URI 发送本地仅需requests依赖不需要安装 vLLMIn-process 模式offlineTrue直接通过vllm.LLM在进程内加载模型要求本机安装 vLLMpip install geoai-py[vllm]。模块顶部建议的开源 VLM 包括Qwen/Qwen2-VL-7B-Instruct——图像描述 视觉问答质量最佳llava-hf/llava-v1.6-mistral-7b-hf——通用视觉问答OpenGVLab/InternVL2-8B——场景理解。这些模型 ID 也是模块中DEFAULT_MODEL Qwen/Qwen2-VL-7B-Instruct的默认值来源。安装与环境准备Server 模式下geoai的常规安装即可满足使用因为请求只依赖requests、rasterio、geopandas、PIL与numpy。若要在进程内加载模型则需要 vLLM 本身项目在 pyproject.toml 中声明了可选依赖组vllm [vllm]对应安装命令pip install geoai-py[vllm]是否安装成功可用模块提供的探测函数验证import geoai print(geoai.check_vllm_available()) # True 表示可导入 vllm该函数在 geoai/vllm_geo.py 中通过尝试import vllm实现VLLMGeo(offlineTrue)在 vLLM 缺失时会抛出ImportError并提示安装命令。同时geoai/__init__.py以 PEP 562 惰性导入的方式导出VLLMGeo、vllm_caption、vllm_query、vllm_detect、check_vllm_available因此import geoai本身很轻量不会强制拉入 torch/transformers 等重依赖。启动 vLLM 服务Server 模式需要先有一个 vLLM 服务在运行。典型启动方式以默认模型为例vllm serve Qwen/Qwen2-VL-7B-InstructvLLM 默认监听http://localhost:8000其/v1路径暴露 OpenAI 兼容的 chat completions API这正是DEFAULT_BASE_URL http://localhost:8000/v1的由来。vLLM 默认不启用鉴权因此 API key 使用占位符EMPTY如果服务以--api-key启动则需要传入对应的 key。VLLMGeo 核心类与初始化参数VLLMGeo是模块的核心入口geoai/vllm_geo.py构造参数如下参数默认值说明model_idQwen/Qwen2-VL-7B-InstructHuggingFace 模型 ID必须与 vLLM 服务加载的模型一致base_urlhttp://localhost:8000/v1vLLM 服务器 OpenAI 兼容端点仅 Server 模式构造时会自动去掉末尾斜杠api_keyEMPTY访问服务的 API keyvLLM 默认无鉴权故使用约定占位符offlineFalse为True时通过vllm.LLM进程内加载模型要求本机安装 vLLMtimeout120请求超时秒数Server 模式max_tokens512默认最大生成长度temperature0.0默认采样温度0 表示贪心解码更适合检测等确定性任务**kwargs—仅在offlineTrue时透传给vllm.LLMServer 模式忽略基础用法from geoai import VLLMGeo # Server 模式默认 vlm VLLMGeo() # 自定义服务地址与模型 vlm VLLMGeo( model_idQwen/Qwen2-VL-7B-Instruct, base_urlhttp://gpu-server:8000/v1, api_keyEMPTY, ) # In-process 模式需已安装 vllm vlm VLLMGeo(offlineTrue, max_model_len8192)影像加载GeoTIFF 的读取、波段选择与归一化地理空间影像与普通图片最大的区别在于多波段与地理参考。load_image/load_geotiffgeoai/vllm_geo.py统一处理多种输入源文件路径支持 GeoTIFF.tif/.tiff、PNG、JPG也支持http(s)://远程地址内部调用utils.download_file下载后处理PIL Image直接透传numpy 数组二维灰度数组自动堆叠为 3 通道三维数组自动转置为 HWC 布局。GeoTIFF 的波段处理规则bandsNone时若影像 ≥3 波段则读取前 3 个波段通常为 RGB否则读取第 1 波段并复制为灰度 RGB显式传入bands[4,3,2]1 起始索引可自定义波段组合便于按需选择近红外等波段参与推理。多波段遥感数据往往是 uint16/float32 的高动态范围直接送入 VLM 会失真。_normalize_imagegeoai/vllm_geo.py按 2%–98% 百分位拉伸将数据映射到 0–255 的 uint8 范围避免极值主导对比度已有 uint8 数据则原样返回。加载后返回(PIL Image, metadata)metadata 携带profile、crs、transform、bounds、width、height是后续地理参考化的基础。对应行为在 tests/test_vllm_geo.py 中有覆盖灰度转 RGB、uint16 归一化、缺失文件抛FileNotFoundError、非法类型抛TypeError。三大推理任务描述、问答、检测图像描述captionresult vlm.caption(naip.tif, lengthnormal) print(result[caption])length参数控制描述粒度对应模块内置的三档提示模板CAPTION_PROMPTS见 geoai/vllm_geo.pyshort一句话概述normal默认包含土地覆盖、结构物与显著特征long详细描述土地覆盖类型、结构、植被、水体、基础设施与空间格局。也可以直接用prompt参数覆盖模板传入任意自定义描述指令。视觉问答query# 带影像的问答 result vlm.query(这片区域的主要土地覆盖类型是什么, sourcescene.tif) print(result[answer]) # 纯文本问答不带影像直接透传服务 result vlm.query(vLLM 的 PagedAttention 有什么作用)query的source是可选的传入则构建图文混合消息不传则仅发送文本这在把VLLMGeo当普通 LLM 使用或做服务连通性测试时很方便。提示词目标检测detect模块没有训练检测头而是利用 VLM 的视觉定位能力通过固定格式的 JSON 提示让模型输出归一化边界框geoai/vllm_geo.pyDetect all instances of {object_type} in this image. Respond ONLY with a JSON array of bounding boxes with coordinates normalized to the 0-1 range, in this exact format: [{x_min: 0.1, y_min: 0.2, x_max: 0.3, y_max: 0.4}]. If no objects are found, respond with [].调用方式result vlm.detect(aerial.tif, object_typecar, output_pathcars.geojson) print(result[objects]) print(result[gdf]) # GeoDataFrame带 CRS返回的objects为归一化坐标列表若输入是带地理参考的 GeoTIFF还会额外返回gdfGeoDataFrame、crs与bounds从而实现从像素框到地理框的转换_georef_detectionsgeoai/vllm_geo.py。响应解析_parse_detections做了多层容错用正则提取首个 JSON 数组、容忍模型在 JSON 前后附加的闲聊文本、丢弃缺键或退化框x_max x_min、把越界坐标钳制回 0–1 区间。这些异常路径在 tests/test_vllm_geo.py 中被逐一验证包括无 JSON、非法 JSON、部分非法条目等情形。地理参考化与矢量输出_georef_detections先把归一化坐标还原为像素坐标乘以宽高再用 GeoTIFF 的transform将像素坐标映射到地理坐标注意像素 y 轴与地理 y 轴方向的翻转处理最后用shapely.geometry.box构造矩形并组装成带 CRS 的 GeoDataFrame。output_path根据扩展名自动选择输出驱动.geojson→ GeoJSON.shp→ ESRI Shapefile.gpkg→ GeoPackage输出目录不存在时会自动创建_save_vectorgeoai/vllm_geo.py。大影像滑窗处理VLM 的输入分辨率有限大面积遥感影像必须切块处理。模块为描述、问答、检测三套任务各提供了滑窗版本核心参数一致window_size默认 512瓦片边长应匹配 VLM 的训练分辨率overlap默认 64相邻瓦片重叠像素避免目标被切边界截断show_progress默认True显示进度条。# 大图目标检测滑窗 NMS 合并 result vlm.detect_sliding_window( large_scene.tif, object_typebuilding, window_size512, overlap64, iou_threshold0.5, output_pathbuildings.gpkg, ) # 大图问答逐瓦片回答后拼接或总结 result vlm.query_sliding_window( 这片区域的水体分布如何, sourcelarge_scene.tif, combine_strategysummarize, # 或 concatenate ) # 大图描述 result vlm.caption_sliding_window(large_scene.tif, lengthlong)实现要点geoai/vllm_geo.py_create_sliding_windows以stride window_size - overlap步进生成窗口丢弃边缘不足半个窗口的碎块若影像本身小于窗口则直接走单次推理分支避免无谓切块检测场景下各瓦片输出的归一化坐标先换算回整图坐标再经_apply_nms基于 y 轴排序 IoU 阈值 0.5 的经典 NMS 实现去重合并问答/描述场景下combine_strategyconcatenate会把每个瓦片结果按Tile N (region (x0,y0,x1,y1)): ...拼接summarize则让模型基于各区域观察生成一份综合总结总结失败时自动回退为拼接单瓦片推理失败RuntimeError/ValueError/KeyError只记录 warning不影响整体流程。滑窗与 NMS 行为在 tests/test_vllm_geo.py 中有对应测试小图只产生一个窗口、大图产生多窗口、NMS 去除重复框、1024×1024 影像滑窗后合并出跨瓦片检测结果等。便捷函数一行调用不需要实例化VLLMGeo时模块底部提供三个便捷函数geoai/vllm_geo.pyfrom geoai import vllm_caption, vllm_query, vllm_detect # 描述 caption vllm_caption(scene.tif, lengthshort) # 问答 answer vllm_query(图中有几栋建筑, sourcescene.tif) # 检测并落盘 result vllm_detect(scene.tif, car, output_pathcars.shp)三者均接受model_id、base_url等可选参数内部创建VLLMGeo后调用对应方法并直接返回文本或结果字典适合脚本化与批量处理场景。与 Agent 体系的集成create_vllm_modelvllm 的能力不只服务影像推理也可作为 Agent 的底层模型。在 geoai/agents/geo_agents.py 中create_vllm_model把 vLLM 的 OpenAI 兼容端点包装成OpenAIModelfrom geoai.agents.geo_agents import create_vllm_model model create_vllm_model( base_urlhttp://localhost:8000/v1, model_idmeta-llama/Llama-3.1-8B-Instruct, api_keyEMPTY, )其默认模型为meta-llama/Llama-3.1-8B-Instruct并遵循显式client_args优先于顶层参数的合并规则client_args中已存在的api_key/base_url不会被覆盖。这意味着一个 vLLM 服务可以同时承担两类角色既为VLLMGeo提供视觉推理也为GeoAgent提供文本对话底座。相关默认值与优先级逻辑在 tests/test_vllm_geo.py 中有专门用例。使用注意事项与适用边界检测质量依赖模型的空间定位能力detect属于提示词式检测模型需具备较强的 grounding 能力输出框可能存在漏检或偏移生产使用前建议先在目标区域数据上抽样验证模型与服务的版本一致性model_id必须与vllm serve实际加载的模型一致否则服务端会报错base_url需要包含/v1路径段Server 模式不要求本地 vLLM客户端只发 HTTP 请求vLLM 可部署在独立 GPU 服务器上通过base_url指向内网地址即可大影像推理成本可控滑窗模式把请求拆分为多次小推理可通过调整window_size与overlap在细节保留与推理次数之间权衡影像预处理内置高动态范围的多波段 GeoTIFF 无需手工归一化模块会执行百分位拉伸但波段组合如是否引入近红外需要按任务自行选择。小结geoai.vllm_geo把 vLLM 的高吞吐自托管推理与 GeoAI 的地理空间处理能力结合起来VLLMGeo统一封装了影像加载、归一化、图文消息构造、结果解析与地理参考化覆盖描述、问答、检测三大任务并用滑窗 NMS 突破 VLM 的输入分辨率限制最终可直接产出带 CRS 的 GeoJSON/Shapefile/GeoPackage。无论是希望完全本地化处理遥感数据、规避云 API 成本还是构建基于开源 VLM 的 GeoAI Agent 流水线这个模块都提供了开箱即用的实现路径。如需进一步研究实现细节可深入阅读 geoai/vllm_geo.py、tests/test_vllm_geo.py 以及 geoai/agents/geo_agents.py 中的 Agent 集成部分。赞分享人工智能计算机视觉GIS图像处理微调【免费下载链接】geoaiGeoAI: Artificial Intelligence for Geospatial Data项目地址https://gitcode.com/gh_mirrors/ge/geoai点击查看免费下载相关推荐GeoAI 地理空间 Embeddings 模块实战指南基于 TorchGeo 基础模型的影像特征提取、检索与分析GeoAI 地理空间 Embeddings 模块实战指南基于 TorchGeo 基础模型的影像特征提取、检索与分析 导读 GeoAI 项目的 embeddin人工智能计算机视觉GIS图像处理微调GeoAI 影像分类模块实战基于 torchgeo 的土地覆盖分类模型训练与推理GeoAI 影像分类模块实战基于 torchgeo 的土地覆盖分类模型训练与推理 导读 本文围绕 GeoAI 项目中的 classify 模块展开系统讲解如人工智能计算机视觉GIS图像处理微调GeoAI 遥感影像识别模块实战用 geoai.recognize 训练图像分类模型GeoAI 遥感影像识别模块实战用 geoai.recognize 训练图像分类模型 geoai.recognize 是 GeoAI 项目中面向遥感影像图像识人工智能计算机视觉GIS图像处理微调上一篇为什么ChunkHound是大型代码库的最佳选择本地优先的优势下一篇JOAL核心原理解析揭秘BitTorrent客户端模拟与上传量伪造技术实现创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
