针对词对齐算法在处理大规模平行语料时计算时间复杂度较高的问题,提出一种基于图形处理器(GPU)的词对齐并行计算方法。首先分析了大规模语料中句对长度的分布特征,结合现代GPU的体系架构,提出基于预排序的任务分配策略;然后基于统一计...针对词对齐算法在处理大规模平行语料时计算时间复杂度较高的问题,提出一种基于图形处理器(GPU)的词对齐并行计算方法。首先分析了大规模语料中句对长度的分布特征,结合现代GPU的体系架构,提出基于预排序的任务分配策略;然后基于统一计算设备架构(CUDA)完成对词对齐算法中的期望计算、期望最大化两个核心步骤的并行实现。在NVIDIA Tesla K40M图形处理器上进行了实验,结果表明,该方法与GIZA++相比最高达到246的加速比。展开更多
文摘针对词对齐算法在处理大规模平行语料时计算时间复杂度较高的问题,提出一种基于图形处理器(GPU)的词对齐并行计算方法。首先分析了大规模语料中句对长度的分布特征,结合现代GPU的体系架构,提出基于预排序的任务分配策略;然后基于统一计算设备架构(CUDA)完成对词对齐算法中的期望计算、期望最大化两个核心步骤的并行实现。在NVIDIA Tesla K40M图形处理器上进行了实验,结果表明,该方法与GIZA++相比最高达到246的加速比。
