[其它] Kylin在贝壳的性能挑战和HBase优化实践

说明：Kylin从2017年开始作为贝壳公司级OLAP引擎对外提供服务，目前有100多台Kylin实例；有800多个Cube；有300多T的单副本存储；在贝壳Kylin有两套HBase集群，30多个节点，Kylin每天的查询量最高2000+万。我们负责Kylin同事张如松在2018年KylinMeetup上分享过Kylin在贝壳的实践，当时每天最高请求量是100多万，两年的时间里请求量增加了19倍；我们对用户的查询响应时间承诺是3秒内的查询占比要达到99.7%，我们最高是达到了99.8%。在每天200
<weixin_38637918> 上传 | 大小：1mb

[其它] 基于种群熵的多粒子群协同优化

说明：基于种群熵的多粒子群协同优化
<weixin_38515362> 上传 | 大小：399kb

[其它] HBase技术原理

说明：BigTable是一个分布式存储系统，BigTable起初用于解决典型的互联网搜索问题。BigTable是一个分布式存储系统。利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据。使用谷歌分布式文件系统GFS作为底层数据存储。采用Chubby提供协同服务管理。可以扩展到PB级别的数据和上千台机器，具备广泛应用性、可扩展性、高性能和高可用性等特点。谷歌的许多项目都存储在BigTable中，包括搜索、地图、财经。HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigT
<weixin_38713717> 上传 | 大小：1mb

[其它] 一种新的基于对象的分形视频序列压缩系统

说明：提出了一种基于对象的基于四叉树的运动和视差补偿的分形单眼和立体声视频压缩方案。 分形编码被采用，并且每个对象由在先图像分割alpha平面独立编码，该平面精确定义为MPEG-4。 右视频序列的前n个帧通过使用循环预测映射（CPM）进行编码，其余帧通过使用非收缩帧间映射（NCIM）进行编码。 CPM和NCIM方法可完成右视频序列的运动估计/补偿。 根据不同的编码或用户要求，可以通过部分或完全基于仿射变换基于四叉树的视差估计/补偿，或仅通过在左视频序列上应用CPM / NCIM，来探索左右帧之间的空间
<weixin_38612909> 上传 | 大小：905kb

[其它] HBase主要运行机制（物理存储和逻辑架构）

说明：HBase表中的所有行都是按照行键的字典序排列的。因为一张表中包含的行的数量非常多，有时候会高达几亿行，所以需要分布存储到多台服务器上。因此，当一张表的行太多的时候，HBase就会根据行键的值对表中的行进行分区，每个行区间构成一个“分区（Region）”，包含了位于某个值域区间内的所有数据，如图1所示。图1HBase的Region存储模式图Region是按大小分割的，每个表一开始只有二个Region，随着数据不断插入到表中，Region不断增大，当增大到一个阈值的时候，Region就会等分为两个
<weixin_38661939> 上传 | 大小：201kb

[其它] 大鼠下丘神经元对重复刺激适应性的时频表征

说明：自由声场下，通过给大鼠不同刺激呈现率（presentation rate，PR）的重复声刺激，用钨丝单电极记录神经元的放电信号，系统分析了下丘神经元对重复刺激的表征特性。作为发放率表征的刺激后脉冲发放数（spike count，SC）随着刺激重复不断减少，作为时间表征的首次发放潜伏期（first spike latency，FSL）逐渐延长，时间过程均呈指数形式变化。起始型神经元FSL 的时间常数大于SC，在FSL上呈现慢适应；持续性神经元FSL 的时间常数小于SC，在SC 上呈现慢适应。随着刺
<weixin_38741101> 上传 | 大小：1mb

[其它] 通过空间点重构的基于模型的步态表示

说明：本文提出了一种新颖的基于模型的特征表示方法，用于表征人的步态特征，以实现步态下的个体识别。 首先，提出了一种新的空间点重构方法，该方法通过相关坐标转换因子（CCF）从2D图像中恢复3D点的坐标。 图像由单眼相机捕获。 其次，人体由连接的三杆模型表示。 然后，使用相关CCF，通过射影几何方法恢复人体模型的参数。 最后，定义了由这些参数组成的步态特征，并通过实验证明，这些特征可以部分避免摄像机光轴与被摄体步行方向之间的视角影响。
<weixin_38621150> 上传 | 大小：210kb

[其它] 数据分析必备思维之结构思维

说明：结构化分析的主要工具之一是逻辑树。这是麦肯锡公司的咨询顾问分析问题时最常使用的工具。逻辑树有三种类型，分别是：问题树、假设树、是否树。问题树也有翻译成议题树的。网上搜索逻辑树一般会默认是问题树，往往忽略了后两种。这三种逻辑树结构类似，但是有不同的使用前提，合理的使用它们，对于我们分析问题和制定解决方案能起到事半功倍的效果。当对问题不了解，或者需要对问题进行全面的分解以确保不遗漏任何一个方面时，可以使用问题树。即：在解决问题的初始阶段使用问题树。问题的同一层级必须遵循MECE原则。MECE（Mut
<weixin_38742453> 上传 | 大小：555kb

[其它] 图像校正和位平面融合在基于广义PCA的人脸识别中的应用

说明：提出了一种基于广义PCA的新型人脸识别算法。 提出了两种提高算法的光照鲁棒性的方法：对称图像校正（SIC）和位平面特征融合（BPFF）。 具体来说，对于假定的胸膜面部图像，SIC首先将一个像素与该像素的均值及其对称像素进行比较，并使用该差值构造权重，然后通过将权重图像添加到该脸部图像以减少亮斑来校正脸部图像。和过度照明造成的阴影。 BPFF将人脸图像分解为八个位平面，并分别从中提取轮廓特征和纹理特征，然后通过组合这两个特征来构造新的虚拟人脸。 最后，将通用PCA应用于虚拟面部以实现面部识别。 实
<weixin_38715879> 上传 | 大小：576kb

[其它] 基于大数据的舆情分析系统架构-架构篇

说明：互联网的飞速发展促进了很多新媒体的发展，不论是知名的大V，明星还是围观群众都可以通过手机在微博，朋友圈或者点评网站上发表状态，分享自己的所见所想，使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦，传播速度远超我们的想象。可以在短短数分钟内，有数万计转发，数百万的阅读。如此海量的信息可以得到爆炸式的传播，如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代，除了媒体信息以外，商品在各类电商平台的订单量，用户的购买评论也都对后续的消费者产生很大的影响。商家的产品设计者需
<weixin_38592420> 上传 | 大小：392kb

[其它] 基于FFT计算α平稳过程概率密度的改进算法

说明：在网络流量建模和参数估计的过程中,α平稳过程的概率密度计算是一项重要的基础工作。结合α平稳过程特征函数的数学特性,在以往基于FFT求解α平稳过程概率密度函数算法的基础上做出如下改进:通过计算自动选择合适的采样区间和采样间隔;引入扩频进一步降低计算复杂度。实验表明,改进算法比传统算法计算复杂度更低,并可以有效控制计算误差。
<weixin_38636671> 上传 | 大小：714kb

[其它] 高并发场景下的Linux系统调优

说明：究竟什么样的系统算是高并发系统？秒杀就是典型的高并发业务，何谓秒杀场景呢，简单的来说就是一件商品的购买人数远远大于这件商品的库存，而且这件商品在很短的时间内就会被抢购一空。比如每年的618、双11大促，小米新品促销等业务场景，就是典型的秒杀业务场景。Linux系统在默认的参数下对高并发支持不好，主要瓶颈在于单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制等。所以下面我们从这几方面进行调优，使Linux系统能够更好的支持高并发环境。如果不是必须使用，建议关掉或卸载iptables防火
<weixin_38713306> 上传 | 大小：142kb