当前位置：文档库 › Spark源码学习(4)——Scheduler

Spark源码学习(4)——Scheduler

Spark源码学习（4）——Scheduler Scheduler的基本过程

用户提交的Job到DAGScheduler后，会封装成ActiveJob，同时启动JobWaiter监听作业的完成情况。同时依据job中RDD的dependency和dependency属性(窄依赖NarrowDependency，宽依赖ShufflerDependecy)，DAGScheduler会根据依赖关系的先后产生出不同的stage DAG(result stage, shuffle map stage)。在每一个stage内部，根据stage产生出相应的task，包括ResultTask或是ShuffleMapTask，这些task会根据RDD中partition的数量和分布，产生出一组相应的task，并将其包装为TaskSet提交到TaskScheduler上去。

DAGScheduler

DAGScheduler是高层级别的调度器。实现了stage-oriented调度。它计算一个DAG中stage 的工作。并将这些stage输出落地物化。

最终提交stage以taskSet方式提交给TaskScheduler。DAGScheduler需要接收上下层的消息，它也是一个actor。这里主要看看他的一些事件处理。以下是的所处理的事件。

private[scheduler] case class JobSubmitted(

jobId: Int,

finalRDD: RDD[_],

func: (TaskContext, Iterator[_]) => _,

partitions: Array[Int],

callSite: CallSite,

listener: JobListener,

properties: Properties = null)

extends DAGSchedulerEvent

private[scheduler] case class StageCancelled(stageId: Int) extends DAGSchedulerEvent

private[scheduler] case class JobCancelled(jobId: Int) extends DAGSchedulerEvent

private[scheduler] case class JobGroupCancelled(groupId: String) extends DAGSchedulerEvent

private[scheduler] case object AllJobsCancelled extends DAGSchedulerEvent

private[scheduler]

case class BeginEvent(task: Task[_], taskInfo: TaskInfo) extends DAGSchedulerEvent

private[scheduler]

case class GettingResultEvent(taskInfo: TaskInfo) extends DAGSchedulerEvent

还有很多，不一一罗列。

JobSubmitted

//处理提交的作业，完成Job到stage的转换，生成finalStage,并SubmitStage。private[scheduler] def handleJobSubmitted(jobId: Int,

finalRDD: RDD[_],

func: (TaskContext, Iterator[_]) => _,

partitions: Array[Int],

callSite: CallSite,

listener: JobListener,

properties: Properties) {

var finalStage: ResultStage = null

try {

// New stage creation may throw an exception if, for example, jobs are run on a

// HadoopRDD whose underlying HDFS files have been deleted.

finalStage = newResultStage(finalRDD, func, partitions, jobId, callSite)

} catch {

case e: Exception =>

logWarning("Creating new stage failed due to exception - job: " + jobId, e)

listener.jobFailed(e)

return

}

val job = new ActiveJob(jobId, finalStage, callSite, listener, properties)

clearCacheLocs()

logInfo("Got job %s (%s) with %d output partitions".format(

job.jobId, callSite.shortForm, partitions.length))

logInfo("Final stage: " + finalStage + " (" + https://www.wendangku.net/doc/2b10768069.html, + ")")

logInfo("Parents of final stage: " + finalStage.parents)

logInfo("Missing parents: " + getMissingParentStages(finalStage))

val jobSubmissionTime = clock.getTimeMillis()

jobIdToActiveJob(jobId) = job

activeJobs += job

finalStage.setActiveJob(job)

val stageIds = jobIdToStageIds(jobId).toArray

val stageInfos = stageIds.flatMap(id => stageIdToStage.get(id).map(_.latestInfo))

listenerBus.post(

SparkListenerJobStart(job.jobId, jobSubmissionTime, stageInfos, properties))

submitStage(finalStage)

}

进入submitStage方法。submitStage提交stage，第一个提交的是没有父依赖关系的。/** Submits stage, but first recursively submits any missing parents. */

private def submitStage(stage: Stage) {

val jobId = activeJobForStage(stage)

if (jobId.isDefined) {

logDebug("submitStage(" + stage + ")")

if (!waitingStages(stage) && !runningStages(stage) && !failedStages(stage)) {

val missing = getMissingParentStages(stage).sortBy(_.id)

logDebug("missing: " + missing)

if (missing.isEmpty) {

logInfo("Submitting " + stage + " (" + stage.rdd + "), which has no missing parents")

//没有stage依赖

submitMissingTasks(stage, jobId.get)

} else {

//有父依赖递归处理父stage

for (parent <- missing) {

submitStage(parent)

}

waitingStages += stage

}

} else {

abortStage(stage, "No active job for stage " + stage.id, None)

}

如果计算中发现当前的stage没有任何的依赖关系。则直接提交task。

源码中的getMissingParentStages是获取父stage。源码如下：

//查找所有的stage封装成list集合

private def getMissingParentStages(stage: Stage): List[Stage] = {

val missing = new HashSet[Stage]

val visited = new HashSet[RDD[_]]

// We are manually maintaining a stack here to prevent StackOverflowError

// caused by recursively visiting

val waitingForVisit = new Stack[RDD[_]]

def visit(rdd: RDD[_]) {

if (!visited(rdd)) {

visited += rdd

val rddHasUncachedPartitions = getCacheLocs(rdd).contains(Nil)

if (rddHasUncachedPartitions) {

for (dep <- rdd.dependencies) {

dep match {

//如果是ShufflerDependecy，则新建一个ShuffleMapStage，且该stage是可用的话，则加入missing中

//ShufflerDependecy表示Shuffle过程的依赖

case shufDep: ShuffleDependency[_, _, _] =>

val mapStage = getShuffleMapStage(shufDep, stage.firstJobId)

if (!mapStage.isAvailable) {

missing += mapStage

}

case narrowDep: NarrowDependency[_] =>

waitingForVisit.push(narrowDep.rdd)

}

waitingForVisit.push(stage.rdd)

while (waitingForVisit.nonEmpty) {

visit(waitingForVisit.pop())

}

missing.toList

}

继续submitStage，进入submitMissingTasks方法。该方法将stage根据parition拆分成task。然后生成TaskSet，并提交到TaskScheduler。该方法在之前有贴出来过，这里就不贴出来了。

DAGScheduler的主要功能：

1、接收用户提交的job。

2、以stage的形式划分job，并记录物化的stage。在stage内产生的task以taskSet的方式提交给taskScheduler。

TaskScheduler

TaskScheduler低级别的任务调度程序的接口，目前由TaskSchedulerImpl完全实现。该接口允许插入不同的任务调度。TaskScheduler接收DAGScheduler提交的taskSet，并负责发送任务到集群上运行。

TaskScheduler会根据部署方式而选择不同的SchedulerBackend来处理。针对不同部署方式会有不同的TaskScheduler与SchedulerBackend进行组合：

Local模式：TaskSchedulerImpl+ LocalBackend

Spark集群模式：TaskSchedulerImpl+ SparkDepolySchedulerBackend

Yarn-Cluster模式：YarnClusterScheduler + CoarseGrainedSchedulerBackend

Yarn-Client模式：YarnClientClusterScheduler + YarnClientSchedulerBackend

TaskScheduler类负责任务调度资源的分配，SchedulerBackend负责与Master、Worker通信收集Worker上分配给该应用使用的资源情况。

TaskSchedulerImpl

TaskSchedulerImpl类就是负责为Task分配资源的。在CoarseGrainedSchedulerBackend获取到可用资源后就会通过makeOffers方法通知TaskSchedulerImpl对资源进行分配。

TaskSchedulerImpl的resourceOffers方法就是负责为Task分配计算资源的，在为Task分配好资源后又会通过lauchTasks方法发送LaunchTask消息通知Worker上的Executor执行Task。

下面看下TaskSchedulerImpl中的几个方法。

1.initialize：

def initialize(backend: SchedulerBackend) {

this.backend = backend

// temporarily set rootPool name to empty

rootPool = new Pool("", schedulingMode, 0, 0)

schedulableBuilder = {

schedulingMode match {

case SchedulingMode.FIFO =>

new FIFOSchedulableBuilder(rootPool)

case SchedulingMode.FAIR =>

new FairSchedulableBuilder(rootPool, conf)

case _ =>

throw new IllegalArgumentException(s"Unsupported spark.scheduler.mode: $schedulingMode")

}

schedulableBuilder.buildPools()

}

initialize方法主要就是初始化选择调度模式，这个可以由用户自己配置。

2.Start

override def start() {

backend.start()

if (!isLocal && conf.getBoolean("spark.speculation", false)) {

logInfo("Starting speculative execution thread")

speculationScheduler.scheduleAtFixedRate(new Runnable {

override def run(): Unit = Utils.tryOrStopSparkContext(sc) {

checkSpeculatableTasks()

}

}, SPECULATION_INTERV AL_MS, SPECULATION_INTERVAL_MS, https://www.wendangku.net/doc/2b10768069.html,LISECONDS)

}

3.submitTasks

override def submitTasks(taskSet: TaskSet) {

val tasks = taskSet.tasks

logInfo("Adding task set " + taskSet.id + " with " + tasks.length + " tasks")

this.synchronized {

val manager = createTaskSetManager(taskSet, maxTaskFailures)

val stage = taskSet.stageId

val stageTaskSets =

taskSetsByStageIdAndAttempt.getOrElseUpdate(stage, new HashMap[Int, TaskSetManager])

stageTaskSets(taskSet.stageAttemptId) = manager

val conflictingTaskSet = stageTaskSets.exists { case (_, ts) =>

ts.taskSet != taskSet && !ts.isZombie

}

if (conflictingTaskSet) {

throw new IllegalStateException(s"more than one active taskSet for stage $stage:" +

s" ${stageTaskSets.toSeq.map{_._2.taskSet.id}.mkString(",")}")

}

schedulableBuilder.addTaskSetManager(manager, manager.taskSet.properties)

if (!isLocal && !hasReceivedTask) {

starvationTimer.scheduleAtFixedRate(new TimerTask() {

override https://www.wendangku.net/doc/2b10768069.html,f run() {

if (!hasLaunchedTask) {

logWarning("Initial job has not accepted any resources; " +

"check your cluster UI to ensure that workers are registered " +

"and have sufficient resources")

} else {

this.cancel()

}

}, STARV A TION_TIMEOUT_MS, STARVA TION_TIMEOUT_MS)

}

hasReceivedTask = true

}

backend.reviveOffers()

}

TaskScheduler中实际执行task时会调用Backend.reviveOffers，在spark内有多个不同的backend。

Stage

一个stage是一组由相同函数计算出来的任务集合，它运行spark上的job。这里所有的任务都有相同的shuffle依赖。每个stage都是map函数计算，shuffle随机产生的，在这种情况下，它的任务的结果被输给stage，或者其返回一个stage，在这种情况下，它的任务直接计算发起的作业的动作（例如，count()），save()等）。都是ShuffleMapStage我们也可以跟踪每个节点上的输出分区。

Stage的构造如下：

private[scheduler] abstract class Stage(

val id: Int,

val rdd: RDD[_],

val numTasks: Int,

val parents: List[Stage],

val firstJobId: Int,

val callSite: CallSite)

Task

Task: 一个执行单元，在Spark有两种实现：

org.apache.spark.scheduler.ShuffleMapTask

org.apache.spark.scheduler.ResultTask

一个Spark工作会包含一个或者多个stages。一个ResultTask执行任务，并将任务输出driver应用。一个ShuffleMapTask执行的任务，并把任务输出到多个buckets（基于任务的分区）

1.TaskSet

由TaskScheduler提交的一组Task集合

2.TaskSetManager

在TaskSchedulerImpl单内使用taskset调度任务.此类跟踪每个任务，重试任务如果失败（最多的有限次数），并经由延迟调度处理局部性感知调度此使用taskset。其主要接口有它resourceOffer，它要

求使用taskset是否愿意在一个节点上运行一个任务，statusUpdate，它告诉它其任务之

一状态发生了改变

private[spark] class TaskSetManager(

sched: TaskSchedulerImpl,

val taskSet: TaskSet,

val maxTaskFailures: Int,

clock: Clock = new SystemClock())

extends Schedulable with Logging {

val conf = sched.sc.conf

方法addPendingTask：

添加一个任务的所有没有被执行的任务列表，它是PendingTask。源码如下。

private def addPendingTask(index: Int) {

for (loc <- tasks(index).preferredLocations) {

loc match {

case e: ExecutorCacheTaskLocation =>

pendingTasksForExecutor.getOrElseUpdate(e.executorId, new ArrayBuffer) += index

case e: HDFSCacheTaskLocation =>

val exe = sched.getExecutorsAliveOnHost(loc.host)

exe match {

case Some(set) =>

for (e <- set) {

pendingTasksForExecutor.getOrElseUpdate(e, new ArrayBuffer) += index

}

logInfo(s"Pending task $index has a cached location at ${e.host} " +

", where there are https://www.wendangku.net/doc/2b10768069.html,cutors " + set.mkString(","))

case None => logDebug(s"Pending task $index has a cached location at ${e.host} " +

", but there are no executors alive there.")

}

case _ =>

}

pendingTasksForHost.getOrElseUpdate(loc.host, new ArrayBuffer) += index

for (rack <- sched.getRackForHost(loc.host)) {

pendingTasksForRack.getOrElseUpdate(rack, new ArrayBuffer) += index

}

if (tasks(index).preferredLocations == Nil) {

pendingTasksWithNoPrefs += index

}

allPendingTasks += index // No point scanning this whole list to find the old task there }

resourceOffer

解决如何在taskset内部schedule一个task。源码如下：

override def resourceOffers(d: org.apache.mesos.SchedulerDriver, offers: JList[Offer]) { stateLock.synchronized {

if (stopCalled) {

logDebug("Ignoring offers during shutdown")

// Driver should simply return a stopped status on race

// condition between this.stop() and completing here

offers.asScala.map(_.getId).foreach(d.declineOffer)

return

}

logDebug(s"Received ${offers.size} resource offers.")

val (matchedOffers, unmatchedOffers) = offers.asScala.partition { offer =>

val offerAttributes = toAttributeMap(offer.getAttributesList)

matchesAttributeRequirements(slaveOfferConstraints, offerAttributes)

}

declineUnmatchedOffers(d, unmatchedOffers)

handleMatchedOffers(d, matchedOffers)

}

spark+openfire 源代码部署

spark+openfire二次开发（一）文章分类:Java编程 1.准备工作：到官网上下载Openfire 3.6.4，并通过svn下载openfire、Spark和SparkWeb 的源代码官网地址如下： https://www.wendangku.net/doc/2b10768069.html,/downloads/index.jsp 注意官网上最新的Spark版本是2.5.8,其jdk环境最好使用1.6的版本。 2.环境搭建——spark源码安装配置双击openfire_3_6_4.exe进行openfire的安装，安装过程很简单，不介绍了。本例的开发环境是基于Eclipse的。 1）选择File——New——Project——Java Project。输入项目工程名spark Contents中选择"Create project from existiing source",然后把spark 文件所在的文件夹加进去..

点击Finish。 2）生成Spark：点击Window::Show View::Ant 右击Ant面板,选择Add Buildfiles 展开spark::build文件夹,选择build.xml,点击"OK" 在Ant面板,展开Spark,双击"release",等一段时间,会提示"Build Successful"。 3）运行Spark：点击Run::Open Debug Dialog...,出现"Run"窗口选择"Java Application",右键点击"New"按钮. 在"Main"标签页,将New_configuration换成Spark. 点击Project::Browse按钮,选择Spark,再点OK.

Apache_Spark源码走读系列篇二

超人学院—Apache Spark源码走读之Task运行期之函数调用关系分析欢迎转载，转载请注明出处，超人学院。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备 1.spark已经安装完毕 2.spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式，可以使用如下指令运行 MASTER=local[1,2,1024] bin/spark-shell [1,2,1024]分别表示，executor number, core number和内存大小，其中内存大小不应小于默认的512M Driver Programme的初始化过程分析初始化过程的涉及的主要源文件 1.SparkContext.scala 整个初始化过程的入口 2.SparkEnv.scala 创建BlockManager, MapOutputTrackerMaster, ConnectionManager, CacheManager 3.DAGScheduler.scala 任务提交的入口，即将Job 划分成各个stage的关键 4.TaskSchedulerImpl.scala 决定每个stage可以运行几个task，每个task分别在哪个executor上运行 5.SchedulerBackend

1.最简单的单机运行模式的话，看LocalBackend.scala 2.如果是集群模式，看源文件 SparkDeploySchedulerBackend 初始化过程步骤详解步骤1：根据初始化入参生成SparkConf，再根据SparkConf来创建SparkEnv, SparkEnv中主要包含以下关键性组件 1. BlockManager 2. MapOutputTracker 3. ShuffleFetcher 4. ConnectionManager private[spark] val env = SparkEnv.create( conf, "", conf.get("spark.driver.host"), conf.get("spark.driver.port").toInt, isDriver = true, isLocal = isLocal) SparkEnv.set(env) 步骤2：创建TaskScheduler,根据Spark的运行模式来选择相应的SchedulerBackend，同时启动taskscheduler，这一步至为关键 private[spark] var taskScheduler = SparkContext.createTaskScheduler(this, master, appName) taskScheduler.start() TaskScheduler.start目的是启动相应的SchedulerBackend，并启动定时器进行检测 overridedef start() { backend.start() if (!isLocal && conf.getBoolean("spark.speculation", false)) {

虚拟机器人仿真软件使用使用说明

热博机器人3D仿真系统用户手册

杭州热博科技有限公司 1.软件介绍 RB-3DRSS是热博科技有限公司新近推出的一款以.NET平台为基础，在Microsoft Windows平台上使用3D技术开发的3D机器人仿真软件。用户通过构建虚拟机器人、虚拟环境，编写虚拟机器人的驱动程序，模拟现实情况下机器人在特定环境中的运行情况。 RB-3DRSS与市面上的同类产品相比，它具有如下的特点： 1．全3D场景。用户可自由控制视角的位置，角度。 2．先进的物理引擎技术，引入真实世界的重力、作用力、反作用力、速度、加速度、摩擦力等概念，是一款真正意义上的仿真软件。 3．逼真的仿真效果。采用虚拟现实技术，高度接近实际环境下的机器人运动状态，大大简化实际机器人调试过程。

4．实时运行调试。运行时，依据实际运行情况，调整机器人参数，帮助用户快速实现理想中的效果。 5．自由灵活的机器人搭建与场地搭建。用户可自由选择机器人及其配件，进行机器人搭建，可自行编辑3D训练比赛场地，所想即所得。 6．单人或多人的对抗过程。用户可添加多个机器人，自由组队进行队伍间对抗。7．与机器人图形化开发平台无缝连接。其生成的控制程序代码可在虚拟仿真系统中直接调用，大大节省编程时间。

系统配置要求操作系统:win98,win2000全系列,winXp,win2003 server 运行环境:.Net Framework v2.0,DirectX 9.0c 最低硬件配置： 2.0GHz以上主频的CPU,512M内存,64M显存以上的3D显卡.支持1024×768分辨率,16bit颜色的监视器，声卡推荐配置： 3.0G以上主频的CPU,1G内存,128M显存的3D显卡，支持1024×768分辨率,16bit 颜色监视器，声卡

基于Spark的机器学习资料43、其它SparkML算法简单介绍

Spark ML算法简单介绍一、线性回归算法线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，e为误差服从均值为0的正态分布，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。这个例子中近简化使用房屋面积一个因子作为自变量，y轴对应其因变量房屋价格。所以我们机器学习的线性回归就变为对于给定有限的数据集，进行一元线性回归，即找到一个一次函数y=y(x) + e，使得y满足当x={2104, 1600, 2400, 1416, 3000, ... }, y={400, 330, 369, 232, 540, ... } 如下图所示：至于公式的求解，大家可以自己去看一下源码或者方程求解，这里就不讲解了。二、逻辑回归算法 logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这个范围还有个很好的好处，就是可以消除特别冒尖的变量的影响。

三、贝叶斯分类算法贝叶斯定理贝叶斯定理解决的是这样一个问题：已知在事件B发生的条件下，事件A的发生概率P(A|B)，怎样得到事件A发生的条件下，事件B的发生概率P(B|A)？贝叶斯定理为我们打通了从P(A|B) 到P(B|A) 的道路。 P(B|A) = P(A|B) ×P(B) / P(A) 举例说明，假设已经有了100个email，其中：垃圾邮件占比60%，即P(Spam) = 0.6 80%的垃圾邮件包含关键字“buy”，即P(Buy|Spam) = 0.8 20%的垃圾邮件不包含关键字“buy” 正常邮件占比40%，即P(NotSpam) = 0.4 10%的正常邮件包含关键字“buy”，即P(Buy|NotSpam) = 0.1 90%的正常邮件不包含关键字“buy” 现在，第101个email 进来了，它包含关键字“buy”，那么它是垃圾邮件的概率P(Spam|Buy) 是多少？ P(Spam|Buy) = P(Buy|Spam) ×P(Spam) / P(Buy) P(Buy) = P(Buy|Spam) ×P(Spam) + P(Buy|NotSpam) ×P(NotSpam) P(Spam|Buy) = (0.8 ×0.6) / (0.8 ×0.6 + 0.1 ×0.4) = 0.48 / 0.52 = 0.923 由此得出，这个email 有92.3%的可能是一个垃圾邮件。四、SVM支持向量机算法支持向量机是一个类分类器，它能够将不同类的样本在样本空间中践行分割，其中生成的分隔面叫作分隔超平面。给定一些标记好的训练样本，SVM算法输出一个最优化的分隔超平面。五、决策树算法决策树就是通过一系列规则对数据进行分类的一种算法，可以分为分类树和回归树两类，分类树处理离散变量的，回归树是处理连续变量。样本一般都有很多个特征，有的特征对分类起很大的作用，有的特征对分类作用很小，甚至没有作用。如决定是否对一个人贷款是，这个人的信用记录、收入等就是主要的判断依据，而性别、婚姻状况等等就是次要的判断依据。决策树构建的过程，就是根据特征的决定性程度，先使用决定性程度高的特征分类，再使用决定性程度低的特征分类，这样构建出一棵倒立的树，就是我们需要的决策树模型，可以用来对数据进行分类。决策树学习的过程可以分为三个步骤：1）特征选择，即从众多特征中选择出一个作为当前节点的分类标准； 2）决策树生成，从上到下构建节点；3）剪枝，为了预防和消除过拟合，需要对决策树剪枝。六、Kmeans聚类算法聚类（clustering）与分类（classification）的不同之处在于：分类是一种示例式的有监督学习算法，它要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应，很多时候这个条件是不成立的，尤其是面对海量数据的时候；而聚类是一种观察式的无监督学习算法，在聚类之前可以不知道类别甚至不给定类别数量，由算法通过对样本数据的特征进行观察，然后进行相似度或相异度的分析，从而达到“物以类聚”的目的。七、LDA主题模型算法隐含狄利克雷分配（LDA，Latent Dirichlet Allocation）是一种主题模型(Topic Model，即从所收集的文档中推测主题)。甚至可以说LDA模型现在已经成为了主题建模中的一个标准，是实践中最成功的主题模型之一。那么何谓“主题”呢？，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说，我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。也就是说在主题模型中，主题表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。 LDA可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词

高校工业机器人虚拟仿真实训中心建设方案

工业机器人教学实训室方案 1、XS-XN虚拟工业机器人教学实训系统技术指标: （可对FANUC、ABB、KUKA、MOTOMAN（安川）等工业机器人进行现场示教编程学习）1.1、虚拟工业机器人教学实训系统组成：虚拟机器人教学实训系统单元是在计算机中构造虚拟的六自由度工业机器人应用环境，学员可以使用真实的手持盒，操作虚拟工业环境中的虚拟机器人，包括示教、再现编程等。都能在系统中通过工业机器人的三维图形仿真出来。

1.2、虚拟工业机器人教学实训系统功能要求： ★该实训系统需采用真实的工业机器人控制系统和真实手持示教器控制虚拟的工业机器人完成工业机器人的现场示教编程教学要求。 ★该实训系统配两个不同工业机器人手持示教盒，通过更换手持示教器能够对ABB、FANUC两种品牌工业机器人进行现场示教编程训练；该实训系统能够支持外部三维模型的导入功能，增加教学的多样性。 ★该实训系统具有工业机器人的理论考试考工及实践考试考工功能，能够自动出题、评分。该实训系统具有机器人碰撞检测功能，可以检测学示教过程中发生的碰撞错误。1.3虚拟工业机器人教学实训系统技术要求：

1.4、基本技术参数输入电源:AC220V±10%(单相三线)；配AC220V 三眼插座1个整体功率：<400VA；工作环境：温度-5oC～+40oC；湿度85%（25oC）；海拔＜4000m；安全保护：具有漏电保护，安全符合国家标准 1.5、能够开设的实验内容 A．原理性实验： 1.多自由度工业机器人关节运动控制底层算法实验 2.多自由度工业机器人直线运动轨迹控制底层算法实验 3.多自由度工业机器人圆弧运动轨迹控制底层算法实验 4.多自由度工业机器人加减速约束控制底层算法实验 B.应用性实验： 1.工业机器人手持示教器的认知及使用实验 2.工业机器人各类坐标系转换实验 3.工业机器人编程指令的学习实验 4.工业机器人工具坐标系和用户坐标系设置实验 5.工业机器人控制器IO信号设置和监控实验 6.工业机器人参数、变量的调整实验 7.工业机器人程序调用和自动运行实验 8.工业机器人机床上下料示教编程实验 9.工业机器人的搬运/堆垛示教编程实验 10.工业机器人的点胶/焊接示教编程实验 11.工业机器人装配示教编程实验 12.工业机器人碰撞实验 C.技能考核 1.工业机器人理论考试考工 2.工业机器人实践考试考工 1.6、配套资料工业机器人操作与编程理论教学大纲

Spark源码学习(4)——Scheduler

Spark源码学习（4）——Scheduler Scheduler的基本过程用户提交的Job到DAGScheduler后，会封装成ActiveJob，同时启动JobWaiter监听作业的完成情况。同时依据job中RDD的dependency和dependency属性(窄依赖NarrowDependency，宽依赖ShufflerDependecy)，DAGScheduler会根据依赖关系的先后产生出不同的stage DAG(result stage, shuffle map stage)。在每一个stage内部，根据stage产生出相应的task，包括ResultTask或是ShuffleMapTask，这些task会根据RDD中partition的数量和分布，产生出一组相应的task，并将其包装为TaskSet提交到TaskScheduler上去。 DAGScheduler DAGScheduler是高层级别的调度器。实现了stage-oriented调度。它计算一个DAG中stage 的工作。并将这些stage输出落地物化。最终提交stage以taskSet方式提交给TaskScheduler。DAGScheduler需要接收上下层的消息，它也是一个actor。这里主要看看他的一些事件处理。以下是的所处理的事件。 private[scheduler] case class JobSubmitted( jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite: CallSite, listener: JobListener, properties: Properties = null) extends DAGSchedulerEvent private[scheduler] case class StageCancelled(stageId: Int) extends DAGSchedulerEvent private[scheduler] case class JobCancelled(jobId: Int) extends DAGSchedulerEvent private[scheduler] case class JobGroupCancelled(groupId: String) extends DAGSchedulerEvent private[scheduler] case object AllJobsCancelled extends DAGSchedulerEvent private[scheduler] case class BeginEvent(task: Task[_], taskInfo: TaskInfo) extends DAGSchedulerEvent private[scheduler] case class GettingResultEvent(taskInfo: TaskInfo) extends DAGSchedulerEvent 还有很多，不一一罗列。

Scala从基础到开发实战

Scala从基础到开发实战对于进化缓慢的Java跟C++语言来说，目前Scala无疑更适应现代化特质的语言，语法简洁，同时兼备函数式编程与面向对象编程，具有令人耳目一新的编程范式。而运行在Java 虚拟机上的编译环境使得其具有很多的现有工具与类库，拥有快速的可靠的解释器和编译器。本课程是Scala语言基础课程，面向没有或仅有少量编程语言基础的同学，当然，具有一定的Java或C、C++语言基础将有助于本课程的学习。在本课程内，将更注重scala的各种语言规则和应用，通过学习本课程能具备初步的Scala语言实际编程能力。 Scala最近的红火也得益于Spark分布式内存计算平台的兴起，由于其惊人的计算速度，Spark将要革命Hadoop的说法尘嚣日上，但学习Spark的一项瓶颈是其原生语言Scala并不为大众所熟知，即使是资深程序员，从未听说过Scala者大有人在，于是本门课程也可以称为Spark系列的前置课程，供深入学习大数据技术的同仁们进行热身运动。课程大纲：第一课：Scala介绍——如何安装Scala REPL、SBT、IDE，编写简单的Scala程序；函数式编程简介第二课：Scala的class和object，Scala的变量、类的介绍第三课：Scala的基本数据类型、控制语句第四课：高阶函数、Currying、尾递归第五课：数据结构：List、Map、Set 第六课：组合和继承第七课：Trait 第八课：响应式编程介绍第九课：Akka框架（一）——akka的基本用法第十课：Akka框架（二）——actor的监控第十一课：Akka框架（三）——网络编程第十二课：Akka框架（四）——akka使用技巧

中学信息技术《机器人仿真系统》教案

中学信息技术《机器人仿真系统》教案第16课机器人仿真系统【教学目标】 .知识目标 ◆认识仿真下的虚拟机器人； ◆能用NSTRSS设计场地、构建机器人并利用仿真环境进行组队测试。 2．过程与方法 ◆通过教师演示在虚拟仿真环境下的机器人运行，激发学生兴趣； ◆通过教师讲解虚拟仿真软件，培养学生对新软件的兴趣； ◆通过让学生自己动手调试，体会学习新事物的乐趣。 3．情感态度与价值观 ◆使学生领悟“自由无限，创意无限，只有想不到，没有做不到”的道理； ◆培养学生积极探索、敢于实践、大胆创新的精神和意识。【教法选择】示例讲解、任务驱动、辅导答疑。【教学重点】．用NSTRSS仿真系统设计仿真场地；

2．搭建仿真机器人； 3．运行仿真。【教学难点】．设计场地； 2．搭建仿真机器人。【教学过程】一、巩固1日知，引入新知教师活动将上节课学生完成的在现实场地中运行的走迷宫机器人进行分组比赛，一是能够检验学生的学习情况，二是能调动起学生的积极性，三是为引入仿真系统做准备。学生活动小组合作，调试机器人程序，检查机器人的搭建，准备比赛。教师活动通过比赛，提出问题：同学们想不想经常地进行这样的比赛呢?但是在现实中调试，需要很多的时间，而且还需要固定的场地环境等等，非常不方便，我们有没有什么好办法解决这个问颢？引入纳英特的仿真模拟系统，展示它的特点，与现实情况做比较。教师给学生演示讲解：

．关于仿真系统什么是仿真系统?仿真系统是机器人的设计、实现，完全在虚拟的环境中，以虚拟的形式出现，它以优化机器人硬件和软件设计、缩短研发周期、节约成本为特色，解决机器人设计过程的不足。 2．初识NSTRSS软件 NSTRSS是NST科技新近推出的一款以．NET平台为基础，使用microsoftDirectX9．0技术的3D机器人仿真软件。用户通过构建虚拟机器人、虚拟环境，编写虚拟机器人的驱动程序，模拟现实情况下机器人在特定环境中的运行情况。 NSTRSS与市面上的同类产品相比，它具有如下的特点：全3D场景。用户可自由控制视角的位置及角度，甚至以第一人称方式进行场景漫游；逼真的仿真效果。采用虚拟现实技术，高度接近实际环境下的机器人运动状态，大大简化实际机器人调试过程；实时运行调试。运行时，依据实际运行情况，调整机器人参数，帮助用户快速实现理想中的效果；自由灵活的机器人搭建与场地搭建。用户可自由选择机器人及其配件，进行机器人搭建，可自行编辑3D训练比赛场地，所想即所得；单人或多人的对抗过程。用户可添加多个机器人，自由组队进行队伍间对抗；

大数据开发新手学习指南(经典)

上市公司，官网：https://www.wendangku.net/doc/2b10768069.html, 大数据开发初学者该如何学习导读：第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL 第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。先扯一下大数据的4V特征： ?数据量大，TB->PB ?数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

上市公司，官网：https://www.wendangku.net/doc/2b10768069.html, ?商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； ?处理时效性高，海量数据的处理需求不再局限在离线计算当中。现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：文件存储：Hadoop HDFS、Tachyon、KFS 离线计算：Hadoop MapReduce、Spark 流式、实时计算：Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库：HBase、Redis、MongoDB 资源管理：YARN、Mesos 日志收集：Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习：Mahout、Spark MLLib 数据同步：Sqoop 任务调度：Oozie 1.1 学会百度与Google

用Apache Spark进行大数据处理——第一部分：入门介绍

用Apache Spark进行大数据处理——第一部分：入门介绍什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。 Spark让开发者可以快速的用Java、Scala或Python编写程序。它本身自带了一个超过80个高阶操作符集合。而且还可以用它在shell中以交互式地查询数据。除了Map和Reduce操作之外，它还支持SQL查询，流数据，机器学习和图表数据处理。开发者可以在一个数据管道用例中单独使用某一能力或者将这些能力结合在一起使用。在这个Apache Spark文章系列的第一部分中，我们将了解到什么是Spark，它与典型的MapReduce解决方案的比较以及它如何为大数据处理提供了一套完整的工具。 Hadoop和Spark Hadoop这项大数据处理技术大概已有十年历史，而且被看做是首选的大数据集合处理的解决方案。MapReduce是一路计算的优秀解决方案，不过对于需要多路计算和算法的用例来说，并非十分高效。数据处理流程中的每一步都需要一个Map阶段和一个Reduce阶段，而且如果要利用这一解决方案，需要将所有用例都转换成MapReduce模式。在下一步开始之前，上一步的作业输出数据必须要存储到分布式文件系统中。因此，复制和磁盘存储会导致这种方式速度变慢。另外Hadoop解决方案中通常会包含难以安装和管理的集群。而且为了处理不同的大数据用例，还需要集成多种不同的工具（如用于机器学习的Mahout和流数据处理的Storm）。如果想要完成比较复杂的工作，就必须将一系列的MapReduce作业串联起来然后顺序执行这些作业。每一个作业都是高时延的，而且只有在前一个作业完成之后下一个作业才能开始启动。而Spark则允许程序开发者使用有向无环图（DAG）开发复杂的多步数据管道。而且还支持跨有向无环图的内存数据共享，以便不同的作业可以共同处理同一个数据。

《虚拟机器人》校本课程活动教案

课时：课时展示范例机器人激发学生搭建兴趣。师：同学们，上节课我们初步了解了虚拟机器人的平台，这节课，我们来试试搭建属于我们自己的第一个机器人。一、进入操作界面首先请大家陆平台，然后点击“搭建机器人”选项，进入机器人搭建操作界面。老师先来带着大家了解一下这一界面的基本功能划分。模型面板：包含机器人所有模型，有控制器、驱动、安装块、传感器和其它大类。模型列表：列出各个模型分类中所有模型。模板列表：用户创建的模板，模板可保存经常使用的模型组合。菜单工具栏：有文件、功能和操作个菜单，菜单下有相应的工具栏命令。属性面板：在属性面板中设置直流电机、伺服电机、传感器的属性。机器人信息：查看机器人零部件的数量，机器人的重量、尺寸等信息。机器人编辑区：用于构建机器人的操作区，完成机器人零部件的安装等操作。视角控制面板：调整查看编辑区的视角，完成视角旋转、缩放、移动等操作二、探索尝试通过老师的介绍后，大家应该对这些功能区有所了解了。现在请同学们动动脑，动动手，从模型面板中选择自己喜欢的模型，放到机器人编辑区，注意视角的控制和安装点的点选，看谁能组装出属于自己的第一台机器人！三、问题解决（一）、机器人搭建首先需要选择好控制器，这是机器人的主体，没有控制器，其他的零件是无法起作用的。（二）、控制器安放是有方向的，编辑区蓝色坐标轴的方向为机器人前方，学生容易出现错误。（三）、在旋转视角时，切忌用鼠标左键进行拖动，这会改变机器人零件的实际位置。而应该使用视角控制按钮或者鼠标的右键和滚轮来进行视角切换。（四）、轮子是和电机安装在一起，电机再和控制器连接起来，而不是直接把轮子安装到控制器上。教师在巡视指导过程中，发现问题，适时引导讲解。四、拓展延伸其实在机器人搭建的过程中，我们还可以使用一些小技巧来提高搭建的效率。教授“模板”的使用方法，把一些多次使用的零件组合创建为模板，可以直接拖出来重复使用。五、秀一秀通过电子教室“学生演示”的功能，请同学们来展示一下自己的个性机器人，大家来评评谁最有想象力和创造力。学生点评，教师总结。

Spark开发环境配置及流程(Intellij IDEA)

Spark开发环境配置及流程之前已经将集群配置完成（详见Hadoop2.6.0搭建过程.doc和Spark1.2搭建过程.doc文档），开发环境中的JDK，Scala部分就不介绍了，下面直接介绍我们用的开发工具Interlij IDEA。为什么选择Intellij IDEA？因为它更好的支持Scala 项目，目前Spark开发团队使用它作为开发环境。 1.下载直接到官方网站下载页面下载（https://www.wendangku.net/doc/2b10768069.html,/idea/download/）。有收费的完整版，也有免费的基本版本，收费的网上也有破解方案。 2.解压解压到/usr/local，这是因为之前的Scala和Spark都放这里，也可以根据自己喜好。 [hadoop@lenovo0 Downloads]$ sudo tar -vxzf ideaIC-14.1.tar.gz -C /usr/local/ 改个名字，然后授权给hadoop用户。 [hadoop@lenovo0 local]$ cd /usr/local/ [hadoop@lenovo0 local]$ sudo mv ideaIC-14.1 ideaIC14 [hadoop@lenovo0 local]$ sudo chown -R hadoop:hadoop ideaIC14/ 3.启动在解压的文件夹下有个文件介绍怎么打开应用，还有一些设置信息，大家可以看一看：通过cat命令可以查看，我只截了一些关键的：

根据提示，我们直接进入到文件夹bin目录下执行./idea.sh即可启动：之后便可以根据UI提示界面创建快捷方式，方便下次启动。 4.在IDEA中安装Scala插件在IDEA的设置里面，直接搜索“plugins”，在右边的展开中搜索“scala”，点击相应的按钮添加插件即可： 5.配置Spark应用开发环境这里以SparkPi程序为例子。 5.1创建Scala Project，设置名称，JDK和Scala路径：

利用Scala语言开发Spark应用程序

利用Scala语言开发Spark应用程序 park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 AD： Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark 的三种典型应用。 1. WordCount编程实例 WordCount是一个最简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的总次数，编写步骤如下：步骤1：创建一个SparkContext对象，该对象有四个参数：Spark master位置、应用程序名称，Spark安装目录和jar存放位置，对于Spark On Y ARN而言，最重要的是前两个参数，第一个参数指定为yarn-standalone ，第二个参数是自定义的字符串，举例如下： valsc=newSparkContext(args(0), WordCount ,System.getenv( SPARK_HOME ),Seq(System.getenv( SPARK_TEST_JAR ))) 步骤2：读取输入数据。我们要从HDFS上读取文本数据，可以使用SparkCon valtextFile=sc.textFile(args(1)) 当然，Spark允许你采用任何Hadoop InputFormat，比如二进制输入格式SequenceFileInputFormat，此时你可以使用SparkContext中的hadoopRDD函数，举例如下： valinputFormatClass=classOf[SequenceFileInputFormat[Text,Text]]varhadoopRdd=sc.hadoopRDD(c onf,inputFormatClass,classOf[Text],classOf[Text]) 或者直接创建一个HadoopRDD对象： varhadoopRdd=newHadoopRDD(sc,conf,classOf[SequenceFileInputFormat[Text,Text,classOf[Text],c lassOf[Text]) 步骤3：通过RDD转换算子操作和转换RDD，对于WordCount而言，首先需要从输入数据中每行字符串中解析出单词，水草玛瑙 https://www.wendangku.net/doc/2b10768069.html,然后将相同单词放到一个桶中，最后统计每个桶中每个单词出现的频率，举例如下： valresult=hadoopRdd.flatMap{case(key,value)= value.toString().split( \\s+ }.map(word= (word,1)).reduceByKey(_+_) 其中，flatMap函数可以将一条记录转换成多条记录（一对多关系），map函数将一条记录转换为另一条记录（一对一关系），高山茶 https://www.wendangku.net/doc/2b10768069.html, reduceByKey函数将key相同的数据划分到一个桶中，并以key为单位分组进行计算，这些函数的具体含义可参考：Spark Transformation。步骤4：将产生的RDD数据集保存到HDFS上。可以使用SparkContext中的saveAsTextFile哈数将数据集保存到HDFS目录下，默认采用Hadoop提供的TextOutputFormat，每条记录以（key,value）的形式打印输出，你也可以采用saveAsSequenceFile函数将数据保存为SequenceFile格式等，举例如下： result.saveAsSequenceFile(args(2)) 当然，一般我们写Spark程序时，需要包含以下两个头文件： importorg.apache.spark._importSparkContext._ WordCount完整程序已在Apache Spark学习：利用Eclipse构建Spark集成开发环境一文中进行了介绍，在次不赘述。需要注意的是，指定输入输出文件时，需要指定hdfs的URI，比如输入目录是hdfs:hadoop-testtmpinput，输出目录是hdfs:hadoop-testtmpoutput，其中，hdfs:hadoop-test 是由Hadoop配置文件core- site.xml中参数https://www.wendangku.net/doc/2b10768069.html,指定的，具体替换成你的配置即可。 2. TopK编程实例

spark-Bench环境搭建文档

Spark-Bench运行环境搭建按照官方文档进行第3.1步系统环境配置的时候会出现几个错误，在这里一一解决 1、首先是wikixmlj的编译和安装问题，这个wikixmlj工程经过maven编译（即直接执行 mvn package命令，我觉得-Dmaven.test.skip=true应该是不需要的）后会在其target 目录下生产一个wikixmlj-1.0-SNAPSHOT.jar文件，接下来执行mvn install命令去安装这个jar包时就会报错。所以我通过以下命令手动安装jar的方式在maven的本地仓库中安装wikixmlj-1.0-SNAPSHOT.jar： mvn install:install-file -DgroupId=edu.jhu.nlp -DartifactId=wikixmlj

-Dversion=1.0-SNAPSHOT -Dpackaging=jar -Dfile=.\classes\artifacts\wikixmlj_.jar\wikixmlj.jar 注：因为在后面编译SparkBench工程中，需要依赖wikixmlj-1.0-SNAPSHOT.jar，所以必须在maven仓库中先安装这个jar包。而这个jar在网上是下载不到的，所以我只能把它github上的源码工程clone下来，然后再用idea编译，然后再打包jar包 2、第一步搞定后，在编译整个SparkBench工程（即直接在工程根目录执行./build-all.sh 命令）时也会出错，首先是在编译第一个子工程Common工程时出现问题: 其实这个问题是由于你的Spark-Bench工程是由jdk-1.8.0编译，而现在你本地只有jdk-1.7.0，所以就报了这个错，我通过将父工程的pom.xml文件中的jdk编译原版本和目标版本版本全部由1.8换成1.7后，这个问题得以解决。

机器人系统常用仿真软件介绍

1 主要介绍以下七种仿真平台(侧重移动机器人仿真而非机械臂等工业机器人仿真)： 1.1 USARSim-Unified System for Automation and Robot Simulation USARSim是一个基于虚拟竞技场引擎设计高保真多机器人环境仿真平台。主要针对地面机器人，可以被用于研究和教学，除此之外，USARSim是RoboCup救援虚拟机器人竞赛和虚拟制造自动化竞赛的基础平台。使用开放动力学引擎ODE(Open Dynamics Engine)，支持三维的渲染和物理模拟，较高可配置性和可扩展性，与Player兼容，采用分层控制系统，开放接口结构模拟功能和工具框架模块。机器人控制可以通过虚拟脚本编程或网络连接使用UDP协议实现。被广泛应用于机器人仿真、训练军队新兵、消防及搜寻和营救任务的研究。机器人和环境可以通过第三方软件进行生成。软件遵循免费GPL条款，多平台支持可以安装并运行在Linux、Windows和MacOS操作系统上。 1.2 Simbad Simbad是基于Java3D的用于科研和教育目的多机器人仿真平台。主要专注于研究人员和编程人员热衷的多机器人系统中人工智能、机器学习和更多通用的人工智能算法一些简单的基本问题。它拥有可编程机器人控制器，可定制环境和自定义配置传感器模块等功能，采用3D虚拟传感技术，支持单或多机器人仿真，提供神经网络和进化算法等工具箱。软件开发容易，开源，基于GNU协议，不支持物理计算，可以运行在任何支持包含Java3D库的Java客户端系统上。 1.3 Webots Webots是一个具备建模、编程和仿真移动机器人开发平台，主要用于地面机器人仿真。用户可以在一个共享的环境中设计多种复杂的异构机器人，可以自定义环境大小，环境中所有物体的属性包括形状、颜色、文字、质量、功能等也都可由用户来进行自由配置，它使用ODE检测物体碰撞和模拟刚性结构的动力学特性，可以精确的模拟物体速度、惯性和摩擦力等物理属性。每个机器人可以装配大量可供选择的仿真传感器和驱动器，机器人的控制器可以通过内部集成化开发环境或者第三方开发环境进行编程，控制器程序可以用C，C++等编写，机器人每个行为都可以在真实世界中测试。支持大量机器人模型如khepera、pioneer2、aibo等，也可以导入自己定义的机器人。全球有超过750个高校和研究中心使用该仿真软件，但需要付费，支持各主流操作系统包括Linux, Windows和MacOS。 1.4 MRDS-Microsoft Robotics Developer Studio MRDS是微软开发的一款基于Windows环境、网络化、基于服务框架结构的机器人控制仿真平台，使用PhysX物理引擎，是目前保真度最高的仿真引擎之一，主要针对学术、爱好者和商业开发，支持大量的机器人软硬件。MRDS是基于实时并发协调同步CCR(Concurrency and Coordination Runtime)和分布式软件服务DSS(Decentralized Software Services)，进行异步并行任务管理并允许多种服务协调管理获得复杂的行为，提供可视化编程语言(VPL)和可视化仿真环境(VSE)。支持主流的商业机器人，主要编程语言为C#，非商业应用免费，但只支持在Windows操作系统下进行开发。 1.5 PSG-Player/Stage/Gazebo

Spark源码学习(4)——Scheduler

spark+openfire 源代码部署

Apache_Spark源码走读系列篇二

虚拟机器人仿真软件使用使用说明

基于Spark的机器学习资料43、其它SparkML算法简单介绍

高校工业机器人虚拟仿真实训中心建设方案

Spark源码学习(4)——Scheduler

Scala从基础到开发实战

中学信息技术《机器人仿真系统》教案

大数据开发新手学习指南(经典)

最新利用虚拟仿真技术辅助机器人

用Apache Spark进行大数据处理——第一部分：入门介绍

《虚拟机器人》校本课程活动教案

Spark开发环境配置及流程(Intellij IDEA)

利用Scala语言开发Spark应用程序

spark-Bench环境搭建文档

机器人系统常用仿真软件介绍