/摘要： 开发者分会场致力于帮助开发者学习了解阿里云最新技术，为开发者设计全方位的技术成长与进阶之路。2019阿里云云上Hi购季活动已经于2月25日正式开启，从已开放的活动页面来看，活动分为三个阶段：2月25日-3月04日的活动报名阶段、3月04日-3月16日的新购满返+5折抢购阶段、3月16日-3月31日的...

您可能有大量应用程序产生的JSON数据，您可能需要对这些JSON数据进行整理，去除不想要的字段，或者只保留想要的字段，或者仅仅是进行数据查询。那么，利用阿里云DataLakeAnalytics或许是目前能找到的云上最为便捷的达到这一目标的服务了。仅仅需要3步，就可以完成对海量JSON数据的处理，或者更为复杂的ETL流程...

气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到上百TB的规模，且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题。传统的方案常常采用关系型数据库加文件系统的...

在刚刚过去的2018年，“毒疫苗”事件再次触及了大众的敏感神经，因为十年前的“毒奶粉”事件还历历在目。我们急需创建一个全国性的药品(食品)监控追踪体系。与此同时，近年来随着国家对医药行业的大力支持，中国的医疗事业也出现了跨越式的发展，大量的新型药品上市，极大的丰富了患者和消费者的选择范围。大量的药品在市面上流通，产生了...

近期，阿里云安全团队观察到数十起大规模的应用层资源耗尽式DDoS攻击（应用层CC攻击）。阿里云DDoS高防实现智能防护全程自动化检测并清洗，未对用户侧业务产生任何影响，这类攻击存在一些共同的特征，阿里云安全团队对此做了跟踪分析。几经溯源发现，这些攻击事件源于大量用户在手机上安装了某些伪装成正常应用的恶意APP，该APP...

有两个海量日志文件存储在hdfs上，其中登陆日志格式：user，ip，time，oper（枚举值：1为上线，2为下线）；访问之日格式为：ip，time，url，假设登陆日志中上下线信息完整，切同一上下线时间段内是用的ip唯一，计算访问日志中独立user数量最多的前10个url，用MapReduce实现。提示：1、要统计...

日志分析平台，架构图如下:架构解读:（整个架构从左到右，总共分为5层）第一层、数据采集层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务。第二层、logstash服务把接受到的日志经过格式处理，转存到本地的kafkabroker+zookeeper集群中...

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s遍历文件a，对每个url求取，然后根据所取得的值将url分...

1，在海量数据中找中位数：题目如下：　　只有2G内存的pc机，在一个存有10G个整数的文件，从中找到中位数，写一个算法。　　解答：http://www.cnblogs.com/youxin/archive/2013/08/26/3281775.html2，...

10w条记录的数组，一次性渲染到页面上，如何处理可以不冻结UI？  页面上有个空的无序列表节点ul，其id为list-with-big-data，现需要往列表插入10w个li，每个列表项的文本内容可自行定义，且要求当每个li被单击时，通过alert显示列表项内的文本内容。<!DOCTYPEht...

https://github.com/Tim9Liu9/TimLiu-iOS https://github.com/coderyi/Monkey/blob/master/github_top_users_repositories/github_top_users_objective-c_world.md&nb...

给上博客链接：https://blog.csdn.net/xlgen157387/article/details/53230138  ...

本文将介绍如何在Spark上使用Scala编写快速导入数据到Hbase中的方法。这里将介绍两种方式：第一种使用Put普通的方法来倒数；第二种使用BulkLoadAPI。  使用 org.apache.hadoop.hbase.client.Put 将数据一条一条写入Hbase中，...

　　在之前我们知道处理xls的excel用的workbook是HSSFWorkbook，处理xlsx的excel用的是XSSFWorkbook。　　上面两个类导出excel的时候数据会驻留在内存中，所以当数据量大的时候容易造成内存溢出。SXSSFWorkbook是用来生成海量excel数据文件,主要原理是借助临时存储空...

作者简介：裴泽良，2010年加入架构平台部，一直从事运营系统相关的建设工作，历经了腾讯海量存储及CDN服务的运营体系从入门到初级再到较为完善的各个阶段，目前专注于提升腾讯云上业务的运营质量，以及建设新一代高效与安全的自动化运维体系。 在介绍我们的运营体系前，有必要先简单介绍下我们的业务及其特点，方便大家更好的...