文件名称:
InstaDeep-Enzyme-Classification-Challenge:https-源码
开发工具:
文件大小: 6kb
下载次数: 0
上传时间: 2021-03-06
详细说明：我的模型是经过微调的预训练模型，该模型经过数十亿的蛋白质序列数据（BFD）训练。 它基于Transformers架构-尤其是BERT。 预训练的模型可以在这里找到。 我不需要使用给定的未标记序列。 在较少的数据上也有类似的预训练模型。 两者都给出良好的结果。 由于它已集成到HuggingFace库中，因此可以像BERT这样的其他流行模型一样轻松地使用它们。
无需进行太多微调，因为几乎不需要调整就可以得到大约90％以上的精度。 数据也足够大，可以从各种模式中学习。
设置
由于模型参数的数量（〜420M），大数据量和高最大序列长度（384），我不得不使用TPU（v3-8）进行快速模型训练。 1个历时约60分钟。
型号参数
最大序列长度-为了提高得分，我使用了384。 256及以下也可以得到很好的结果。
纪元-1个纪元足以达到合理的收敛和概括。 我训练的不止于此。
AdamW优化器。
5
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
