51Dev开发社区
登录 注册
为你推荐

【Spark】RDD的依赖关系和缓存相关知识点
文章目录RDD的依赖关系宽依赖窄依赖血统RDD缓存概述缓存方式RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrowdependency）和宽依赖（widedependency）。宽依赖宽依赖指的是子RDD中的数据来源于父RDD中的多个分区，其实就是产生了shuffle窄依赖窄依赖指的是子RDD中的数据...
代码星球·2020-08-09

【Spark】如何用Spark查询IP地址？
文章目录需求思路ip地址转换为Long类型的两种方法ip地址转换数字地址的原理第一种方法第二种方法步骤一、在mysql创建数据库表二、开发代码日常生活中，当我们打开地图时，会通过地图道路颜色获取当前交通情况，也可以通过地图上经常网购的IP地址热力图得出哪些地区网购观念更发达，还有当前疫情的情况，各个地区疫情的热力图可以...
代码星球·2020-08-09

【Spark】通过Spark实现点击流日志分析
文章目录数据大致内容及格式统计PV(PageViews)统计UV(UniqueVisitor)求取TopN194.237.142.21--[18/Sep/2013:06:49:18+0000]"GET/wp-content/uploads/2013/07/rstudio-git3.pngHTTP/1.1"3040"-"...
代码星球·2020-08-09

Spark离线日志分析，连接Spark出现报错
首先，我的代码是这样的importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectPvCount{defmain(args:Array[String]):Unit={//获取SparkConfvalsparkCon...
代码星球·2020-08-09

【Scala】利用akka实现Spark启动通信
文章目录思路分析步骤一、创建maven工程，导包二、master进程代码开发三、worker进程代码开发1.首先启动master，然后依次启动worker2.启动worker时，向master发送注册信息（使用caseclass封装注册信息——workerID,memory,cores）3.接收注册信息，保存注册的wo...
代码星球·2020-08-09

【Scala】利用Akka的actor编程模型，实现2个进程间的通信
文章目录步骤一、创建maven工程，导入jar包二、master进程代码开发三、worker进程代码开发四、控制台结果一、创建maven工程，导入jar包<properties><maven.compiler.source>1.8</maven.compiler.source><...
代码星球·2020-08-09

【Scala】用实例弄清楚scala几种函数的定义和特点
文章目录作为参数的函数匿名函数柯里化函数(currying)闭包函数scala>vala1=Array(1,2,3,4)//这是一个数组a1:Array[Int]=Array(1,2,3,4)scala>valf1=(x:Int)=>x*2//这是一个函数，命名f1f1:Int=>Int=<...
代码星球·2020-08-09

【Scala】什么是隐式转换？它又能用来干嘛？该怎么用
文章目录定义隐式参数隐式转换隐式值：给方法提供参数隐式视图将Int和Double类型转换为String狗狗学技能(使用别的类中的方法)使用规则隐式参数隐式参数指在函数或者方法中，定义一个用implicit修饰的参数，此时Scala会尝试找到一个指定类型的，用implicit修饰的参数，即隐式值，并注入参数。Scala会...
代码星球·2020-08-09

【Scala】Actor并发编程实现单机版wordCount
文章目录对单个文本文件进行单词计数对多个文本文件进行单词计数importscala.actors.Actorimportscala.io.Source//读取文件名称样例类caseclassSubmitTask(fileName:String)classActor2WordCountextendsActor{overr...
代码星球·2020-08-09

【Scala】代码实现Scala的各种模式匹配操作
文章目录内容匹配类型匹配s表达式caseclass样例类偏函数importscala.util.RandomobjectTestMatch{defmain(args:Array[String]):Unit={//创建一个Int数组valarray=Array(12,34,56,78)//随机生成数组中的元素并赋值给常量...
代码星球·2020-08-09

【Scala】代码实现Actor多种需求
文章目录简单实现Actor并发编程使用Actor实现发送没有返回值的异步消息使用Actor实现不间断消息发送用react方法替代receive方法接收消息结合caseclass，通过匹配不同的样例类执行不同操作importscala.actors.Actor//todo使用actor实现并发编程classActor1e...
代码星球·2020-08-09

【Scala】isInstanceOf 与 classOf的对比，代码+注解简洁明了
classAnimal{}classCatextendsAnimal{}objectCat{defmain(args:Array[String]):Unit={//新创建一个Cat对象valcat1:Cat=newCat//创建另一个Cat对象valcat2:Animal=newCat//因为Cat继承了Animal类...
代码星球·2020-08-09

【Scala】scala的继承能干嘛？这段简单的代码或许能帮你梳理
packagecn.itcast.scala.demo2classPerson{//private关键字和final关键字修饰的常量无法被继承重写valid:Int=1varname:String="zhangsan"defsayHello=println("hello")}//子类可以使用extends继承父类，这么...
代码星球·2020-08-09

【Scala】通过简洁代码搞明白伴生关系、主构造器和辅助构造器的关系
/***主构造器直接定义在类名称的后面，参数列表和类名写在一起*主构造器的参数会自动提升为对象的属性，不需要在对象中重新定义一遍*/classStudent(valid:Int,name:String){println("主构造器开始执行")//Student类的私有属性privatevalcity="beijing"...
代码星球·2020-08-09

【Scala】看代码，初步了解Apply方法
classApplyTest(valname:String){/***apply源码*defapply(x:Int,xs:Int*):Array[Int]={*valarray=newArray[Int](xs.length+1)*array(0)=x*vari=1*for(x<-xs.iterator){arr...
代码星球·2020-08-09
首页上一页...50815082508350845085...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他