51dev.com IT技术开发者社区

51dev.com 技术开发者社区

link

npm link的用法

npm link的用法

将npm模块链接到对应的运行项目中去,在本地对模块进行调试:1.项目和模块在同一个目录下npmlink../module2.项目和模块不在同一个目录下cd到模块目录,npmlink,进行全局linkcd到项目目录,npmlink模块名(package.json中的name)3.解除link解除项目和模块link,项目目...

Linker Special Section Types

Linker Special Section Types

转载自http://processors.wiki.ti.com/index.php/Linker_Special_Section_Types#NOLOAD_Sections_2ThelinkerallowsyoutocreatedifferentkindsofsectionscalledNOLOAD,DSECT,an...

linkscrpit

linkscrpit

一section是什么?好吧,我们需要解释一下平时编译链接生成的二进制可执行程序(比如说ELF,EXE也行),so或者dll,内核(非压缩的,参加本系列第一节内容、vmlinux),或者ko是怎么组织的。其实,大家或多或少都知道这些二进制中包括有什么text/bss/data节(也叫section)。text节存储的是...

Linux中link,unlink,close,fclose详解

Linux中link,unlink,close,fclose详解

每一个文件,都可以通过一个structstat的结构体来获得文件信息,其中一个成员st_nlink代表文件的链接数。      当通过shell的touch命令或者在程序中open一个带有O_CREAT的不存在的文件时,文件的链接数为1。  ...

基于 Flink 构建 CEP 引擎的挑战和实践

基于 Flink 构建 CEP 引擎的挑战和实践

奇安信集团作为一家网络安全公司,专门为政府、企业,教育、金融等机构和组织提供企业级网络安全技术、产品和服务,奇安信的NGSOC产品的核心引擎是一个CEP引擎,用于实时检测网络攻击,其技术演进过程如下图所示。2015年开始使用基于Esper的CEP方案,但是当时遇到了很多问题,其中最显著的是性能问题,因为Esper对于规...

阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

众所周知Flink是当前广泛使用的计算引擎,Flink使用checkpoint机制进行容错处理[1],Flink的checkpoint会将状态快照备份到分布式存储系统,供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS,当同一个集群的Job到达一定数量后,会对HDFS造成非常大的压力,本文将介绍一种大幅度...

一个 Blink 小白的成长之路

一个 Blink 小白的成长之路

写过blinksql的同学应该都有体会,明明写的时候就很顺滑,小手一抖,洋洋洒洒三百行代码,一气呵成。结果跑的时候,吞吐量就是上不去。导致数据延迟高,消息严重积压,被业务方疯狂吐槽。这时候,老鸟就会告诉你,同学,该优化优化你的代码了,再丢过来一个链接,然后留下一脸懵逼的你。笔者就是这么过来的,希望本文能帮助到跟我有过同...

在 Flink 算子中使用多线程如何保证不丢数据?

在 Flink 算子中使用多线程如何保证不丢数据?

笔者线上有一个Flink任务消费Kafka数据,将数据转换后,在Flink的Sink算子内部调用第三方api将数据上报到第三方的数据分析平台。这里使用批量同步api,即:每50条数据请求一次第三方接口,可以通过批量api来提高请求效率。由于调用的外网接口,所以每次调用api比较耗时。假如批次大小为50,且请求接口的平均...

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

/导读:当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业App中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构...

State Processor API:如何读取,写入和修改 Flink 应用程序的状态

State Processor API:如何读取,写入和修改 Flink 应用程序的状态

过去无论您是在生产中使用,还是调研ApacheFlink,估计您总是会问这样一个问题:我该如何访问和更新Flink保存点(savepoint)中保存的state?不用再询问了,ApacheFlink1.9.0引入了状态处理器(StateProcessor)API,它是基于DataSetAPI的强大扩展,允许读取,写入和...

Flink SQL 如何实现数据流的 Join?

Flink SQL 如何实现数据流的 Join?

无论在OLAP还是OLTP领域,Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言,经过数据库领域多年的积累,Join语义以及实现已经十分成熟,然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集,而Streami...

仅1年GitHub Star数翻倍,Flink 做了什么?

仅1年GitHub Star数翻倍,Flink 做了什么?

ApacheFlink是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink已成为Apache基金会和GitHub社区最为活跃的项目之一。在FlinkForwardAsia2019上,阿里巴巴资深技术专家,实时计算负责人王峰(莫问)总结了2019年Flink在中国的...

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

/摘要:如何基于Flink搭建大规模准实时数据分析平台?在FlinkForwardAsia2019上,来自Lyft公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了Lyft基于ApacheFlink的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面:Lyft的流数据与场景准实时数据分析平台和...

在 Cloudera Data Flow 上运行你的第一个 Flink 例子

在 Cloudera Data Flow 上运行你的第一个 Flink 例子

ClouderaDataFlow(CDF)作为Cloudera一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:图中4个功能模块从左到右分别解释如下:ClouderaEdgeManagement(CEM),主要是指在边缘设备如传感器上部署MiNiFi的agent后用于采...

Apache Flink CEP 实战

Apache Flink CEP 实战

本文根据ApacheFlink实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分:FlinkCEP概念以及使用场景。如何使用FlinkCEP。如何扩展...