GPT模型支持下的Python-GEE遥感云大数据分析、管理与可视化

news/2024/10/22 15:59:00/

     随着航空、航天、近地空间等多个遥感平台的不断发展,近年来遥感技术突飞猛进。由此,遥感数据的空间、时间、光谱分辨率不断提高,数据量也大幅增长,使其越来越具有大数据特征。对于相关研究而言,遥感大数据的出现为其提供了前所未有的机遇,但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。

    为解决这一问题,国内外涌现了许多全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台如谷歌Earth Engine(GEE)、航天宏图的PIE Engine和阿里的AI Earth等。其中,Earth Engine最为强大,能够存取和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星图像和NCEP等气象再分析数据集,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。目前,Earth Engine上包含超过900个公共数据集,每月新增约2 PB数据,总容量超过80PB。与传统的处理影像工具(例如ENVI)相比,Earth Engine在处理海量遥感数据方面具有不可比拟的优势。一方面,它提供了丰富的计算资源;另一方面,其巨大的云存储能力节省了科研人员大量的数据下载和预处理时间。可以说,Earth Engine在遥感数据的计算和分析可视化方面代表世界该领域最前沿水平,是遥感领域的一次革命。

如今,Earth Engine凭借其强大的功能正受到越来越多国内外科技工作者的关注,应用范围也在不断扩大

以Python编程语言为基础,结合案例从平台搭建、影像数据分析、本地和云端数据管理,以及云端数据论文出版级可视化等方面进行讲解和进阶训练

Earth Engine平台及应用、主要数据资源介绍

Earth Engine遥感云重要概念、数据类型与对象等

JavaScript与Python遥感云编程比较与选择

Python基础(语法、数据类型与程序控制结构、函数及类与对象等)

常用Python软件包((pandas、numpy、os等)介绍及基本功能演示(Excel/csv数据文件读取与数据处理、目录操作等)

JavaScript和Python遥感云API差异,学习方法及资源推荐

ChatGPT、文心一言等AI自然语言模型介绍及其遥感领域中的应用

本地端与云端Python遥感云开发环境介绍

本地端开发环境搭建

Anaconda安装,pip/conda软件包安装方法和虚拟环境创建等;

earthengine-api、geemap等必备软件包安装;

遥感云本地端授权管理;

Jupyter Notebook/Visual Studio Code安装及运行调试。 

云端Colab开发环境搭建

geemap介绍及常用功能演示

ChatGPT、文心一言帐号申请与主要功能演示,如遥感知识解答、数据分析处理代码生成、方案框架咨询等。

 

遥感云平台影像数据分析处理流程介绍:介绍遥感云平台影像数据分析处理流程的基本框架,包括数据获取、数据预处理、算法开发、可视化等。

要素和影像等对象显示和属性字段探索:介绍如何在遥感云平台上显示和探索要素和影像等对象的属性字段,包括如何选择要素和影像对象、查看属性信息、筛选数据等。

影像/要素集的时间、空间和属性过滤方法:介绍如何对影像/要素集进行时间、空间和属性过滤,包括如何选择时间段、地理区域和属性条件,以实现更精确的数据分析。

波段运算、条件运算、植被指数计算、裁剪和镶嵌等介绍如何在遥感云平台上进行波段运算、条件运算、植被指数计算、裁剪和镶嵌等操作,以实现更深入的数据分析。

Landsat/Sentinel-2等常用光学影像去云介绍如何在遥感云平台上使用不同方法去除Landsat/Sentinel-2等常用光学影像中的云,以提高影像数据质量。

影像与要素集的迭代循环:介绍如何使用遥感云平台的迭代循环功能对影像和要素集进行批量处理,以提高数据分析效率。

影像数据整合(Reducer):介绍如何使用遥感云平台的Reducer功能将多个影像数据整合成一个数据集,以方便后续数据分析。

邻域分析与空间统计:介绍如何在遥感云平台上进行邻域分析和空间统计,以获取更深入的空间信息。

常见错误与代码优化:介绍遥感云平台数据分析过程中常见的错误和如何进行代码优化,以提高数据分析效率和精度。

Python遥感云数据分析专属包构建:介绍如何使用Python在遥感云平台上构建数据分析专属包,以方便多次使用和分享分析代码

机器学习分类算法案例:本案例联合Landsat等长时间序列影像和机器学习算法展示国家尺度的基本遥感分类过程。具体内容包括研究区影像统计、空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学习算法应用、分类后处理和精度评估等方面。

决策树森林分类算法案例:本案例联合L波段雷达和Landsat光学时间序列影像,使用决策树分类算法提取指定地区2007-2020年度森林分布图,并与JAXA年度森林产品进行空间比较。案例涉及多源数据联合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等方面。

洪涝灾害监测案例:本案例基于Sentinel-1 C波段雷达等影像,对省级尺度的特大暴雨灾害进行监测。案例内容包括Sentinel-1 C影像处理、多种水体识别算法构建、影像差异分析以及结果可视化等方面。。

干旱遥感监测案例本案例使用40年历史的卫星遥感降雨数据产品如CHIRPS来监测省级尺度的特大干旱情况。案例内容包括气象数据基本处理、年和月尺度数据整合、长期平均值LPA/偏差计算,以及数据结果可视化等方面。

物候特征分析案例本案例基于Landsat和MODIS等时间序列影像,通过植被指数变化分析典型地表植被多年的物候差异(样点尺度)和大尺度(如中国)的物候空间变化特征。案例内容包括时间序列影像合成、影像平滑(Smoothing)与间隙填充(Gap-filling)、结果可视化等方面。

森林植被健康状态监测案例本案例利用20年的MODIS植被指数,对选定区域的森林进行长期监测,并分析森林植被的绿化或褐变情况。涉及影像的连接和合成、趋势分析、空间统计以及可视化等方法。

生态环境质量动态监测案例该案例使用RSEI遥感生态指数和Landsat系列影像,对选定城市的生态状况进行快速监测。主要涉及的技术包括植被指数的计算、地表温度的提取、数据的归一化、主成分PCA分析、RSEI生态指数的构建以及结果的可视化等。

本地数据与云端交互:介绍如何将本地端csv、kml、矢量和栅格数据与云端数据相互转换,并讲解数据导出的方法。

服务器端数据批量下载:包括直接本地下载、影像集批量下载,以及如何快速下载大尺度和长时间序列数据产品,例如全球森林产品和20年的MODIS数据产品等。。

本地端数据上传与属性设置:包括earthengine命令使用,介绍如何上传少量本地端矢量与栅格数据并设置属性(小文件),以及如何批量上传数据并自动设置属性,还将介绍如何使用快速上传技巧上传超大影像文件,例如国产高分影像。

个人数据资产管理:介绍如何使用Python和earthengine命令行来管理个人数据资产,包括创建、删除、移动、重命名等操作,同时还会讲解如何批量取消上传/下载任务。

Python可视化及主要软件包简介:介绍matplotlib和seaborn可视化程序包,讲解基本图形概念、图形构成以及快速绘制常用图形等内容。

研究区地形及样地分布图绘制:结合本地或云端矢量文件、云端地形数据等,绘制研究区示意图。涉及绘图流程、中文显示、配色美化等内容,还会介绍cpt-city精美调色板palette在线下载与本地端应用等。

研究区域影像覆盖统计和绘图:对指定区域的Landsat和Sentinel等系列影像的覆盖数量、无云影像覆盖情况进行统计,绘制区域影像统计图或像元级无云影像覆盖专题图。

样本光谱特征与物候特征等分析绘图:快速绘制不同类型样地的光谱和物候特征,动态下载并整合样点过去30年缩略图(thumbnails)和植被指数时间序列等。

分类结果专题图绘制及时空动态延时摄影Timelapse制作:单幅或多幅分类专题图绘制及配色美化,制作土地利用变化清晰的Timelapse,还会介绍动画文字添加等内容。

分类结果面积统计与绘图:基于云端的分类结果和矢量边界文件,统计不同区域不同地类面积,提取统计结果,以不同图形展示统计面积;制作土地利用变化统计绘图等。

 

 

 

 

基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割

近地面无人机植被定量遥感与生理参数反演实践技术应用

无人机遥感在农林信息提取中的实现方法与GIS融合应用

合成孔径雷达干涉测量InSAR数据处理、地形三维重建、形变信息提取、监测等实践技术

Matlab高光谱遥感、数据处理与混合像元分解实践 

 


http://www.ppmy.cn/news/102717.html

相关文章

Golang中的管道(channel) 、goroutine与channel实现并发、单向管道、select多路复用以及goroutine panic处理

目录 管道(channel) 无缓冲管道 有缓冲管道 需要注意 goroutine与channel实现并发 单向管道 定义单向管道 将双向管道转换为单向管道 单向管道作为函数参数 单向管道的代码示例 select多路复用 案例演示 goroutine panic处理 案例演示 管道…

Musl libc 库成功适配到 openEuler Embedded,推动欧拉嵌入式生态发展

近期,RISC-V SIG 在欧拉嵌入式操作系统上成功实现了 musl libc 的适配,完成了使用 musl libc 库替换 glibc 库构建镜像的工作。目前,以 musl libc 为基础库编译的镜像已在 Raspberry Pi4 开发板上可用,这一成果推动了 openEuler E…

2023音视频开发程序员未来10年路线选择

2023音视频开发程序员未来10年路线选择: 音视频领域,其实你可以分三个部分来看, 第一是音视频本身,第二是网络通讯,第三是图像处理。 音视频本身涉及到音视频视频编解码啊,各种视频容器啊等等协议规范。 网…

“外行转网工,我只用了三个月”

大家好,我是老杨。 在这行发展了这么多年,经常会有人来问我,网工该怎么提升自己,又或是怎么入行。 其实这事儿不难想,技术工种最需要做的是什么,自然是提升技术。 而技术提升,途径也只有学习…

企业电子招标采购系统源码Spring Cloud + Spring Boot + MybatisPlus + 前后端分离 + 二次开发

项目说明 随着公司的快速发展,企业人员和经营规模不断壮大,公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境,最大限度控制采购成本至关重要。符合国家电子招投标法律法规及相关规范,以及…

拼多多获取整站实时商品详情数据|商品标题|商品链接,数据采集,数据分析提取教程

拼多多是一个基于社交电商的购物平台,它通过通过价格和优惠吸引大量用户,使用户形成消费场景和消费共同体,最终实现规模效应。在拼多多运营中,API接口起到了重要的作用,它可以实现不同系统之间的信息共享和数据传递&am…

机器学习常识 7: 决策树

摘要: 决策树是一种与人类思维一致, 可解释的模型. 1. 决策树的结构 人类的很多知识以决策规则的形式存储: 如果今天是阴天 (outlook overcast), 就去打球.如果今天出太阳 (outlook sunny) 而且湿度不高于 70% (humidity ≤ \le ≤ 70), 就去打球.如果今天出太阳 (outloo…

git commit后回退方法

使用导入CSV的时候需要创建一个public/files/文件夹,进行测试数据的是时候,测试文件放在文件夹里一起提交了, git commit -m public/upload_files/ 增加了目录,用来导入文件使用[main 9a695f2] public/upload_files/ 增加了目录&…