Executor 是一款可以让你自由折腾的免费快速启动软件 —— 它能用来代替 Windows 自带的坑爹的运行功能,软件体积小巧,使用超级便捷,只要热键呼出输入框之后,输入想要启动的软件关键字如“Subli”即可快速匹配出“Sublime Text 2”并启动,不需要到处去找图标,绝对是键盘流的神器!相信很多用过的朋友都再也离不开它了……
用户应用new SparkContext后,集群就会为在Worker上分配executor,但是增加executor的时候需要考虑好内存消耗,因为一台机器的内存分配给越多的executor,每个executor的内存就越小,以致出现过多的数据spill over甚至out of memory的情况。CPU的core数量,每个executor可以占用一个或多个core,可以通过观察CPU的使用率变化来了解计算资源的使用情况,如此根据CPU的使用情况来分配executor数量,没有固定分配数量模式