多核 CPU 和众核（ manycore ） GPU 尔性定的应律用，其软并件行，以性利还用会日不益断增扩加展的。处这理给器的我内出们核现带数意来量味了着，严这主峻种流的情处挑况理战正器—如芯片我已们进需入要并开行发时出代可。透此明外地扩，展根并 据行摩 3D 行以支持配备各种数量的内核众核图形应用程序其GPU 。 CUDA 是一种并行编程模型和软件环境，用于应对这种挑战。而对于熟悉 C 程序员来说，迅速掌
前言
深度学习涉及很多向量或多矩阵运算，如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法，如BP，Auto-Encoder，CNN等，都可以写成矩阵运算的形式，无须写成循环运算。然而，在单核CPU上执行时，矩阵运算会被展开成循环的形式，本质上还是串行执行。GPU（Graphic Process Units，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着NVIDIA、AMD等公司不断推进其GPU的大规模并行架构，面向通用计算的GPU已成为加速可并
近期看见一篇来自Intel的很有意思的分析文章，作者提到在他向45名与会的各公司程序员/开发经理/战略师提问“什么是实施并行编程的大障碍”时，下面五个因素被提及的次数多：遗留代码(legacy code)、教育(education)、工具(tools)、对众核趋势的恐惧(fear of many cores)以及可维护性(maintainability)。文章虽然是一篇Intel Parallel Studio的软文，但是其中提及的这五大障碍却非常值得讨论，下面是我对这五大障碍的一些粗浅看法，希
