<?xml version="1.1" encoding="utf-8"?>
<article xsi:noNamespaceSchemaLocation="http://jats.nlm.nih.gov/publishing/1.1/xsd/JATS-journalpublishing1-mathml3.xsd" dtd-version="1.1" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><front><journal-meta><journal-id journal-id-type="publisher-id">ME</journal-id><journal-title-group><journal-title>Modern Engineering</journal-title></journal-title-group><issn>2996-6973</issn><eissn>2996-6981</eissn><publisher><publisher-name>Art and Design</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.61369/ME.2025080033</article-id><article-categories><subj-group subj-group-type="heading"><subject>Article</subject></subj-group></article-categories><title>基于动态资源感知的Spark 流处理作业弹性调度策略研究</title><url>https://artdesignp.com/journal/ME/2/8/10.61369/ME.2025080033</url><author>李薇</author><pub-date pub-type="publication-year"><year>2025</year></pub-date><volume>2</volume><issue>8</issue><history><date date-type="pub"><published-time>2025-08-20</published-time></date></history><abstract>本文聚焦基于动态资源感知的Spark流处理作业弹性调度策略，介绍Spark流处理架构特性及动态资源感知核心技术，阐述弹性调度实现需设计监测指标、提取特征及构建动态调度框架。通过模拟实验验证该策略在吞吐量、容错、资源利用率等方面优势，最后提出借助Kubernetes 增强调度灵活性的展望。</abstract><keywords>Spark 流处理,动态资源感知,弹性调度</keywords></article-meta></front><body/><back><ref-list><ref id="B1" content-type="article"><label>1</label><element-citation publication-type="journal"><p>[1] 邱圆圆. 基于用户作业流程的Spark资源调度策略研究[D]. 浙江: 浙江工业大学,2021.[2] 吴寅超. 基于Spark的用户批作业调度优化策略研究[D]. 浙江: 浙江工业大学,2021.[3] 郑云红. 基于Flink的受限状态下弹性调度策略研究与实现[D]. 电子科技大学, 2022.[4] 李鑫. 基于博弈的综合能源用户弹性负荷调度研究[D]. 华北电力大学( 北京), 2022.[5] 郭晓勇. 基于资源感知的动态云任务调度算法研究[D]. 内蒙古大学, 2021.[6] 王萌, 刘旋律, 高峰, 等. 基于资源紧迫度的实时ETL弹性调度机制[J]. 计算机应用研究,2021,38(7):2118-2124.[7]吴仁彪, 刘备, 贾云飞. 异构环境下Spark动态资源调度策略研究[J]. 中国民航大学学报,2021,39(6):14-19,27.[8] 李丽娜, 刘世龙, 马钰博, 等. 基于Storm的自适应弹性资源分配策略组件实现[J]. 吉林大学学报（理学版）,2023,61(2):384-392.[9] 刘旋律, 顾进广. 基于稳定匹配的实时ETL弹性调度机制[J]. 计算机应用与软件,2022,39(2):266-273.[10] 向晓婷. 基于kubernetes的计算资源的抢占式调度[J]. 黑龙江科学,2023,14(8):22-26.</p><pub-id pub-id-type="doi"/></element-citation></ref></ref-list></back></article>
