您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. 面向视觉智能的知识蒸馏和Student-Teacher方法(综述论文)

  2. 这篇论文主要介绍了知识蒸馏和student-teacher学习模型。首先,我们对于KD是什么,它是如何工作的提供了一个解释和描述。然后,我们对近些年知识蒸馏方法的研究进展和典型用于视觉任务的S-T学习框架进行了一个全面的调研。最后,我们讨论了知识蒸馏和S-T模型未来的发展方向和研究前景,以及目前这些方法所面临的开放性挑战。
  3. 所属分类:机器学习

    • 发布日期:2020-04-17
    • 文件大小:1mb
    • 提供者:syp_net
  1. 知识蒸馏概念与发展【附上8篇经典的相关paper】.zip

  2. Hinton在NIPS 2014workshop中提出知识蒸馏(Knowledge Distillation,下面简称KD)概念: 把复杂模型或者多个模型Ensemble(Teacher)学到的知识 迁移到另一个轻量级模型( Student )上叫知识蒸馏。使模型变轻量的同时(方便部署),尽量不损失性能。
  3. 所属分类:机器学习

    • 发布日期:2019-12-28
    • 文件大小:6mb
    • 提供者:syp_net
  1. 中文-ELECTRA:训练有素的中文ELECTRA(中文ELECTRA预训练模型)-源码

  2. | 谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展,哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相符美,而参数量仅为BERT-base的1 / 10。本项目基于谷歌&斯坦福大学官方的ELECTRA: : 其他相关资源: MacBERT预训练模型: : 中文BERT-wwm预训练模型: : 中文XLNet预训练
  3. 所属分类:其它

    • 发布日期:2021-02-03
    • 文件大小:314kb
    • 提供者:weixin_42136365
  1. Chinese-BERT-wwm:汉语BERT的全字掩蔽预训练(EnglishBERT-wwm系列模型)-源码

  2. | 在自然语言处理领域中,预训练语言模型(预训练语言模型)已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展,我们发布了基于全词遮罩(Whole Word Masking)技术的中文预训练模型BERT-wwm,以及更多技术相关的模型:BERT-wwm-ext,RoBERTa-wwm-ext,RoBERTa-wwm-ext-large,RBT3,RBTL3。 崔一鸣,车万祥,刘婷,秦兵,杨自清,王世进,胡国平 本项目基于谷歌官方BERT: : 其他相关资源: MacBERT预训练模
  3. 所属分类:其它

    • 发布日期:2021-02-03
    • 文件大小:15mb
    • 提供者:weixin_42099530
  1. 中文-XLNet:预训练中文XLNet(中文XLNet预训练模型)-源码

  2. | 本项目提供了针对中文的XLNet预训练模型,扩展了丰富的自然语言处理资源,提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用,并共同促进和发展中文资源建设。 本项目基于CMU /谷歌官方的XLNet: : 其他相关资源: MacBERT预训练模型: : 中文ELECTRA预训练模型: : 中文BERT-wwm预训练模型: : 知识蒸馏工具TextBrewer: : 查看更多哈工大讯飞联合实验室(HFL)发布的资源: : 新闻 2021年1月27日所有模型已支持Te
  3. 所属分类:其它

    • 发布日期:2021-02-03
    • 文件大小:227kb
    • 提供者:weixin_42174176
  1. 高效深度神经网络综述

  2. 近年来,深度神经网络(DNN)在计算机视觉、自然语言处理等AI领域中取得了巨大的成功。得益于更深更大的网络结构,DNN的性能正在迅速提升。然而,更深更大的深度神经网络需要巨大的计算和内存资源,在资源受限的场景中,很难部署较大的神经网络模型。如何设计轻量并且高效的深度神经网络来加速其在嵌入式设备上的运行速度,对于推进深度神经网络技术的落地意义巨大。对近年来具有代表性的高效深度神经网络的研究方法和工作进行回顾和总结,包括参数剪枝、模型量化、知识蒸馏、网络搜索和量化。同时分析了不同方法的优点和缺点以及
  3. 所属分类:其它

    • 发布日期:2021-01-19
    • 文件大小:158kb
    • 提供者:weixin_38608866