文章目录前言表格机器学习的4类特征text 特征组数据处理载入数据数据清洗分词删除低频词建模sklearnTF-IDFNMFTruncatedSVDgensimLDALSIRPHDP
前言
表格机器学习的4类特征
最近在思考表格机器学习,或者说对表格数据、结构化数据的有监督机器学习的工作流。
我认为在大部分场景下,大概有4类特征:
categorical
numerical
date
text
text 特征组
最近在调研text特征组。如果一个表格中有一列全是文本,其实这个文本是可以包含很多信
用SQL来描述ReactorAPI进行数据处理
+ = ReactorQL
场景
规则引擎,在线编写SQL来定义数据处理规则。
实时统计每分钟平均温度。
统计每20条滚动数据平均值。
........
特性
支持扩展映射select name username from user 。
支持聚合函数count , sum , avg , max , min 。
支持运算select val/100 percent from cpu_usage 。
支持select sum(val) sum