imtoken安卓最新版本下载|aft

首页
aft

imtoken安卓最新版本下载|aft

作者： imtoken安卓最新版本下载

2024-03-07 16:56:42

钙矾石_百度百科

百度百科网页新闻贴吧知道网盘图片视频地图文库资讯采购百科百度首页登录注册进入词条全站搜索帮助首页秒懂百科特色百科知识专题加入百科百科团队权威合作下载百科APP个人中心收藏查看我的收藏0有用+10钙矾石播报讨论上传视频钙铝硫酸盐矿物本词条由“科普中国”科学百科词条编写与应用工作项目审核。钙矾石（Ettringite）是一种无色到黄色的钙铝硫酸盐矿物，通常为无色柱状晶体，部分脱水会变白。中文名钙矾石外文名Ettringite 定义一种钙铝硫酸盐矿物晶体形态无色柱状晶体特点部分脱水应用学科矿物学目录1简介2混凝土中的钙矾石3钙矾石的制备方法▪第一种方法▪第二种方法▪第三种方法4混凝土中钙矾石形成▪三种类型的反应▪三步骤5钙矾石的特性▪膨胀性▪稳定性6钙矾石的生长规律简介播报编辑钙矾石（ettringite）是一种无色到黄色的钙铝硫酸盐矿物，其化学分子为3CaO·Al2O3·3CaSO4·32H2O，其中结晶水的数量与所处环境有关。 [1]混凝土中的钙矾石播报编辑混凝土中的钙矾石是由水泥水化产物C—A—H(水化铝酸钙)和硫酸根离子结合产生的结晶物水化硫铝酸钙(简称AFt)。AFt与天然矿物钙矾石的化学组成及晶体结构基本相同。钙矾石的制备方法播报编辑通过实验手段制备纯钙矾石的方法主要有以下3种：第一种方法反应溶液法。以AR级Ca(OH)2，Al2(SO4)3·18H2O为原料，按下列反应方程合成：Al2(SO4)·18H2O+6Ca(OH)2－3CaO·Al2O3·3CaSO4·32H2O第二种方法AFm转化法。先是合成AFm，1步用自蔓延(SHS)法合成CA，第2步合成AFm，称取适量CaO·CaSO4·12H2O和CA湿磨(WPC=0.14)，置于密封瓶中，在40℃下水化7d，每天定时碾磨，水化后样品经60℃烘干，产物为AFm;然后由AFm转化成AFt，AFm加水和足量石膏转化为AFt，反应方程为：C3A·CaSO4·12H2O+2CaSO4+20H2O－C3A·3CaSO4·32H2O第三种方法铝酸钙(CA)转化法。按1∶1的摩尔比将Al2O3和CaO混匀，并在1200℃烧结反应完全(矿物主要为CA)，研磨后再与适量的CaO和CaSO4·2H2O配合加水反应120h，即得所需的钙矾石样品，反应满足下列方程：CaO·Al2O3+2CaO+3CaSO4·2H2O+26H2O－3C3A·3CaSO4·32H2O混凝土中钙矾石形成播报编辑三种类型的反应混凝土中形成钙矾石的反应既包含液相反应，也包含固相反应。工程领域中使用的各种膨胀剂和膨胀水泥，在它们的水化过程中，形成钙矾石的反应主要有下列3种：3C3A+3(CaSO4·2H2O)+26H2O－3CaO·Al2O3·3CaSO4·32H2OC3A+3(CaSO4·2H2O)+2Ca(OH)2+24H2O－3CaO·Al2O3·3CaSO4·32H2O3C3A·CaSO4+8CaSO4+6CaO+96H2O－3(3CaO·Al2O3·3CaSO4·32H2O)上述3种类型的反应，都经历相同的反应过程——水泥加水后，其矿物与石膏快速溶解产生Ca、SO4、OH等离子，形成钙矾石过饱和溶液三步骤这些离子通过浓差扩散聚集在一起，按照下列3步反应过程形成钙矾石：第一步：AlO2+2OH+2H2O－[Al(OH)6]第二步：2[Al(OH)6]+6Ca+24H2O{Ca6[Al(OH)6]·24H2O}第三步：{Ca6[Al(OH)6]·24H2O}+3SO4+2H2O{Ca6[Al(OH)6]·24H2O]2·24H2O}(SO4)·2H2O钙矾石的特性播报编辑膨胀性膨胀性是钙矾石最大的特性，水泥中CaO、Al2O3和CaSO4水化形成钙矾石能使固相体积增大约120%。稳定性混凝土中钙矾石的稳定性取决于以下两个方面：a）水泥水化过程中离子成分及浓度；b）温度70℃是一个关键温度，AFt大约在70℃分解。钙矾石的生长规律播报编辑混凝土中水化形成的钙矾石的生长速率和最终的长度受3个因素影响：化学因素、浆体微观结构以及混凝土或砂浆的微观结构。研究表明水灰比对钙矾石的生长有显著的影响。在相同条件下，水灰比越大，水泥石结构越疏松，钙矾石的生成就有空间。水灰比小，水泥石结构较紧密，孔隙较小，生成的钙矾石数量较少，晶体产生各向异性生长而呈针状。 [2]新手上路成长任务编辑入门编辑规则本人编辑我有疑问内容质疑在线客服官方贴吧意见反馈投诉建议举报不良信息未通过词条申诉投诉侵权信息封禁查询与解封©2024 Baidu 使用百度前必读 | 百科协议 | 隐私政策 | 百度百科合作平台 | 京ICP证030173号京公网安备110000020000

AFT Fathom 11（动态模拟分析软件）中文版分享 - 知乎

AFT Fathom 11（动态模拟分析软件）中文版分享 - 知乎首发于软件游戏分享切换模式写文章登录/注册AFT Fathom 11（动态模拟分析软件）中文版分享林木木但行好事，莫问前程AFT Fathom 11是一款功能强大的动态模拟分析软件，由国外AFT公司全新打造而成。该软件采用业绩领先仿真技术，能够计算不可压缩流体和低速气体管网的压降和流量分配，并且支持水、汽油和精炼油品、化工产品、冷冻剂、制冷剂等等多种液体的真实模拟分析，被广泛运用于化工、石化、电力、造船、航空、制药等行业。除此之外，这款软件可以准确地模拟各个系统组件和交互，将设备特性，分析和输出与系统原理图表示紧密集成，大大提高了用户的系统工程质量，从而降低成本，提高效率并提高管道系统的可靠性。与之前版本相比较，全新的AFT Fathom 11进行了许多改进和升级，例如：增添了多场景对比工具，支持快速对同一模型下的多个场景进行对比，得出对比结果；新增了多次撤销功能，现在用户在模型创建过程中，可以进行多次撤销操作，以便于对模型的更改；增加放大器功能，便于对模型的查看和浏览；加入管道融合功能，可以把多个管道和连接件进行融合以简化模型；支持选择最短路径，能够自动在两个连接件间选择最短路径，是帮你设计高效和可靠的管网系统必不可少的工具。ps:今天给大家带来的是AFT Fathom 11中文版，内置补丁，可激活AFT Fathom的使用限制，亲测可用。其下文附有详细的图文教程，希望对用户有所帮助。AFT Fathom 11安装教程：下载地址：http://www.32r.com/soft/69081.html1、下载软件压缩包文件，首先点击install文件夹下的“FthFullz.exe”安装原版程序2、阅读并同意软件安装协议3、填入用户名、公司信息，序列号01110-543214、选择第一项，默认即可5、设置软件安装根目录6、确认信息无误后即可点击【Install】安装7、等待AFT Fathom安装完毕，点击【Finish】按钮即可8、软件安装完毕，先不要运行程序，同样点击软件包install文件夹下的AFTCopyProtectionSetup.exe程序安装9、选择第三项CrypKey License10、选择第一个选项Install the CrypKey License，点击next11、设置安装目录，默认即可12、安装完毕，点击【Finish】按钮结束13、将keygen文件夹中的文件复制到AFTCopyProtectionSetup.exe安装目录中注意：这里是AFTCopyProtectionSetup.exe的根目录，不是AFT Fathom 11的根目录！默认位置为：C:\AFT Products\CrypKey14、运行安装目录中的AFTCrypkeyManagementUtility.exe程序，获取Site Code15、双击运行 ckInfo+.exe ，如图所示，在打开的窗口中选择 aft.ckinfo15、将刚才复制的Site Code粘贴到窗口中，点击回车键，生成一组注册信息，将Encrypting Key复制到AFTCrypkeyManagementUtility.exe的site key输入框中，点击【Validate】按钮即可完成注册破解注意：Encrypting Key不能带有多余的空格！16、运行AFT Fathom 11破解版，默认为英文界面，用户可以通过Tools-Output Language，选择Chinese，将软件更改为中文版！软件特色1、管径计算,压降计算，流量分配计算2、泵选型（可加入泵的粘度修正），调节阀选型3、热传递及温降计算，换热器设计（计算换热面积）4、模拟系统操作（快速改变系统参数如：泵几运几备，阀门开度等装置调节），针对变工况进行系统模拟分析（可以将不同工况分别建立Senario场景并使其进行同时分析计算，最后比较结果，避免了重复建模）5、可模拟开式和闭式系统6、模拟传热和系统能量平衡7、提供图文，曲线报告形式，用户可以定制报告8、提供用户化的元件和性质数据库（可为用户加入自己的管道库、阀门库、弯头、大小头……等，可以建立自己的流体库便于精确计算）9、附加模块（用户付费自选模块，方便用户提高工作效率）10、XTS延时分析模块–求解和控制目标.分析储罐液位，阀门开闭，泵起停等随时间变化的事件带给管网流量/压力/液位等变化11、GSC目标搜寻模块–计算为达到某一各设计目标（如液位，温度，压力，流量等），需要调整的阀门开度，泵的转速的调整等AFT Fathom 11新功能1、多场景对比工具快速对同一模型下的多个场景进行对比，得出对比结果2、不同场景下的泵曲线和系统曲线的输出可以将不同场景下的泵曲线和系统曲线同时输出到同一图形中，便于对结果的比较和分3、可视化报告中针对连接件一些特殊参数的显示比如可以将泵的最佳效率点或调阀的CV值显示在可视化报告中4、输出报告中注释的添加可以在输出报告中的任意单元格内添加注释信息5、工作空间的新增功能多次撤销功能-在模型创建过程中，允许工程师进行多次撤销操作，以便于对模型的更改工作空间放大器-增加放大器功能，便于对模型的查看和浏览连接件的自动旋转功能-根据相邻管道的方向，自动旋转连接件，与其对齐管道融合功能-可以把多个管道和连接件进行融合以简化模型，融合过程会自动计算总的局部阻力和管道标高变化基于管道标高进行打断-可以基于管道的标高变化自动进行打断，并添加branch连接件选择最短路径-在两个连接件间选择最短路径6、诊断窗口增加用于模型检查的诊断窗口7、其他新增功能和软件优化整体的软件性能增加模型的加载速度改善语言的刷新速度新的主题界面工作空间当未定义元件窗口打开时，仍可编辑管道和连接件双击连接件可以实现多次添加连接件在等轴测绘图模式打开时，可以关闭网格捕捉输出报告输出参数的控制窗口，增加过滤功能，以便选择输出报告可以显示平均导热系数可视化报告重新设计了可视化报告窗口便于筛选参数管道伴热传热模型增加新的定义数据来计算热流密度连接件更新三通的输入窗口，可以自动实现与管道的对齐增加r/D=0.5或1时，弯头的阻力系数K连接件的注释信息可以实现全局编辑设计预警可以把设计预警信息进行保存，以便后续重复使用增加从外部文件导入元件局部阻力的功能发布于 2020-03-29 16:15仿真模拟仿真计算流体力学（CFD）赞同 53 条评论分享喜欢收藏申请转载文章被以下专栏收录软件游戏分享每日推荐实用软件与游

Home 主页 | AFT Group

Kontakt (chin)

简体中文

Deutsch

English

Deutsch 德语 de English 英语 en 简体中文简体中文 zh-hans

主页

联系

关于AFT

我们如何工作

AFT咨询

AFT在哪里

AFT的由来

AFT简讯

AFT工业解决方案

AFT物流

AFT自动化

AFT医疗保健

AFT 产品范围

摩擦线输送机

EMS

链式环形输送系统

手动高架传输系统

积放链

地面输送系统

宽推板线系统

滑撬输送机

地面EMS系统

链式输送/带式输送

电动托盘输送

皮带输送

AGV小车

立体库系统

存储技术

自动订单拣选和包装

医院物料的自动输松

白色家电

AFT服务

维保服务

设备和备件

改造

咨询服务

AFT团队

成功的输送选择…

我们认为这是成功的开端因为只有客户愿意了解才我们，最终才会产生订单。对我们来说关键的是在这一基础上再接再厉，并与您一起实施正确的、定制化的输送解决方案。

自 1985 年以来，AFT 集团一直致力于自动化输送技术的发展：

运输、存储和检索、码垛、订单拣选、升降、倾斜和放置。然而，我们认为这不仅仅是物理过程。在 AFT 集团，您可以和与您一样致力于持续成功的人交谈，无论是物流、汽车还是医疗解决方案。

自 1985 年以来，AFT 集团一直致力于自动化输送技术的发展：

AFT 工业解决方案

物流汽车医疗保健对你来说一切都可以更好，

这也是我们出现的原因。点击了解更多自1985年以来各大知名品牌一直信赖AFT的汽车输送解决方案。点击了解更多当分秒必争时，AFT可以提供现代化定制方案。点击了解更多

Link to: AFT Intralogistik

当您的物料流的数量或性能突然增加时，当您现有的内部物流系统无法应对时，或者当您需要从手动系统切换到自动系统时，我们为您提供跨部门解决方案。

点击了解更多详情

Link to: AFT Automotive

从奥迪的 A 到ZF的 Z：多年来，AFT 集团已与几乎所有主要汽车制造商和供应商多次成功合作！

点击了解更多详情

Link to: AFT Healthcare

每天要照顾数百甚至数千名患者时，食物、衣物和废物的运输必须顺利进行。为确保这一点，诊所的各个部分通常由数公里长的地下走廊连接起来，整个货物运输都在地下走廊进行 – 公众不可见。当然是全自动的。

点击了解更多详情

你的成功是衡量我们的标准

我们的解决方案根据您的特定要求量身定制，旨在改进您的业务流程、提高性能和优化产量。毕竟，我们的成功只能由您来衡量。

AFT您的业务伙伴

AFT产品及业务范围

数字层面的AFT集团

8全球成立了7家子公司

9000全球实施了8500个项目

35超过35年的行业经验

成功的品牌信赖AFT

简讯

用于生产燃油车和电动汽车的定制输送技术

Panem Backstube冷冻区立体库

大众安徽MEB总装工艺设备项目

与日本Daifuku的业务合作

Ford Otosan V710 E-Transit福特Otosan V710 E-Transit

信息联系

服务条款

法律告知

隐私政策声明

搜索

CONTACT AFT Automatisierungs- und Fördertechnik GmbH & Co. KG

An der Wiese 14

79650 Schopfheim, Germany

Phone: +49 7622 3998-0

info@aft-group.de

LinkedInXingMail

Scroll to top

11-AFT-新华三集团-H3C

欢迎user新华三退出

已有账号登录

还没有账号？注册

国家 / 地区

China - 简体中文

Global - English

Russia - Русский

Japan - 日本語

导航

产品与解决方案

行业解决方案

服务

支持

合作伙伴

新华三人才研学中心

关于我们

新华三商城

产品与解决方案

< 返回

云与智能

虚拟化

超融合

桌面云

分布式云存储

大数据

数据库

人工智能

智慧城市

工业互联网

热门推荐

2023新华三绿洲平台3.0发布会

从云优先到数优先，构筑领先的用数底座，发布全新用数方案和全栈用数服务，绿洲平台3.0激活数据要素潜能。

即刻专享一步上云

极致超融合，打造稳定高效全新IT架构；极简云桌面，畅享安全流畅办公全新体验。

智能联接

应用驱动数据中心网络

应用驱动广域网

应用驱动园区网

新华三全光解决方案

路由器

交换机

无线局域网

物联网

移动通信

智能管理与运维

传输产品

操作系统

热门推荐

《融合全光网络白皮书》限时下载

全光网络解决方案

面向未来的网络架构，覆盖校园、医院、企业等多个行业应用场景，随需而变，满足当下及未来十年的园区业务演进。

智能联接使能智慧未来

围绕云智原生、开放生态、绿色低碳三大创新理念，以应用驱动网络为核心中枢，为园区、数据中心、广域网三大场景应用打造智能、融合、极简、可信、超宽的网络底座。

智慧计算

H3C服务器

通用计算

人工智能计算

边缘计算

弹性塑合计算

关键业务计算

服务器智能管理平台

HPE服务器

通用计算

人工智能计算

边缘计算

关键业务计算

弹性塑合计算

服务器智能管理平台

热门推荐

全栈式体验环境让AI触手可及

中小型企业一站式计算存储解决方案

想要IT资金投入回报高、想要业务连续不间断、想要IT维护简单省心，新华三计算存储一站式解决方案，全面应对数据库、共享存储、虚拟化等各类业务应用需求。

智能存储

H3C存储

企业级智能全闪存存储

企业级智能混合闪存存储

分布式存储

超融合系统

入门级智能存储

数据备份与保护

存储网络设备

HPE存储

企业级智能全闪存存储

企业级智能混合闪存存储

超融合系统

入门级智能存储

数据备份与保护

高密度存储型服务器

存储网络设备

热门推荐

H3C UniStor X10000 G3系列分布式融合存储

HPE Nimble HF系列智能存储

HPE Primera 600系列智能存储

中小型企业一站式计算存储解决方案

智慧医院存储解决方案

全面覆盖医疗细分场景

以智能存储解决方案助力智慧医院建设升级

商用PC

商用台式机

H3C D5-030s

H3C D5-030t

H3C X5-030s

H3C X5-030t

H3C X5-020s

H3C X5-020t

H3C X7-030s

H3CDesk X700s

H3CDesk X700t

H3CDesk X500s

H3CDesk X500t

H3CDesk D500s

H3CDesk D500t

H3CDesk X500H

商用笔记本

H3CBook Ultra 14T

H3CBook Ultra 14

H3CBook Pro 14

H3CBook Pro 14 G2

H3CBook 14

H3C Z6-410

商用显示器

H3C M4-271F

H3C M4-242F

H3C M4-221F

H3C M8-341Q

H3C M4-245F

H3C M4-242FD

配件

H3C M721W轻音无线双模鼠标

H3C M521W无线双模鼠标

H71P USB-C多功能扩展坞

H3C 100W快速充电器

主动安全

AD-WAN安全解决方案

零信任安全解决方案

云安全解决方案

商用密码应用安全性评估解决方案

数字安全仿真平台

数据安全解决方案

监管行业态势感知解决方案

安全大脑解决方案

视频物联安全解决方案

边界安全

应用安全

数据安全

密码安全

工控安全

终端安全

安全管理

安全检测与审计

云安全

热门推荐

M9000系列多业务安全网关

新华三结合云计算、IPv6、大数据及高性能计算的发展趋势，针对云计算数据中心、运营商CGN、大型企业及园区网出口等市场推出推出多款高性能多业务安全网关。

商用密码应用安全性评估解决方案

新华三密码应用安全性评估解决方案针对密码应用相关标准规范，基于物理和环境安全、网络和通信安全、设备和计算安全、应用和数据安全、密钥管理安全角度进行统一规划设计。

统一运维

IT服务管理咨询

AIO一站式运维服务

U-Center统一运维平台

业务运维服务

安仔远程运维服务

热门推荐

数据中心绿色节能

TMMi咨询认证服务

维保服务

业务连续性和容灾

数据中心迁移服务

AIO一站式运维管理外包服务

面向异构ICT基础架构提供一站式运维管理外包服务，为客户承担对应的IT服务质量和管理绩效，带动客户全面提升IT的整体服务管理水平。

智能终端

明星产品

新华三云屏

Magic家用网络

Magic家用摄像机

Magic全屋网络

Mini商用网络

百业灵犀私域大模型

技术解决方案

SeerFabric智能无损数据中心解决方案

隐私计算解决方案

场站边缘解决方案

计算存储企业级解决方案

微模块解决方案

查看所有

行业解决方案

< 返回

行业解决方案

运营商

零碳智慧园区

政府

制造

金融

教育

医疗

电力能源

交通

广电

互联网

中小企业

热门推荐

如何快速有效提升县域医疗水平?

从县域医院数字化转型需求出发，新华三推出与实际应用场景紧密结合的智慧医院解决方案，提升县医院综合能力，助力县域内医疗资源整合共享。

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

服务

< 返回

技术服务解决方案

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

面向ICT基础设施提供的一款采用通道封闭，包含工程预制的机柜、配电、制冷、监控等功能单元的独立的小型数据中心，为客户提供数据中心整体产品及交付，全面提升客户IT服务管理水平。

架构咨询

IT基础架构咨询

网络架构咨询

数据中心迁移

业务连续性/容灾咨询

容灾管理系统

轻量化服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

H3C TaaS服务

测试体系咨询

测试平台建设

专业测试服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

统一运维

IT服务管理咨询

AIO一站式运维服务

U-Center统一运维平台

业务运维服务

安仔远程运维服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

数据中心

微模块解决方案

数字化数据中心（BIM）

咨询

设计

实施

验证及运维

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

云与智能服务

行业云服务解决方案

大数据增值服务

云定制开发服务

赋能运营云服务

云运维服务

云迁移服务

云集成服务

云软件部署服务

云规划设计服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

安全服务与运营

专业安全服务

教育培训

攻防对抗

工程实施

咨询规划

风险评估

安全运营服务

威胁检测与响应服务MDR

安全托管服务MSS

安全SaaS服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

产品支持服务

技术维护服务

基础技术维护服务

主动式技术维护服务

工程服务

ICT专业技术运维服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

云软件技术支持服务

大数据软件技术支持服务

云计算软件技术支持服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

智能终端服务

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

商用终端服务（台式机笔记本显示器）

更多服务支持

产品资料下载

驱动程序下载

服务政策查询

服务产品查询

服务网点查询

热门推荐

数据中心绿色节能

维保服务

AIO一站式运维管理外包服务

微模块解决方案

支持

< 返回

服务支持中心

在线技术支持(服务器及存储)

保修期查询

条码防伪查询

授权业务

产品生命周期

知了社区

智能终端在线客服

HPE产品支持中心

新华三服务APP

安全通告

已知问题查询

iService

商用终端在线客服（台式机及笔记本）

软件授权有效期文件

设备升级码查询

文档中心

高级搜索

工具专区

云计算

大数据

人工智能

路由器

交换机

无线

物联网

安全

光模块

智能联接AD-NET

管理软件

移动通信

服务器

存储

PON

ICG信息通信

EPCN网关

License Server

其它产品

智能终端

传输产品

云简网络

商用终端

软件下载

政策动态

服务公告

服务政策

服务新闻

维保服务说明

合作伙伴服务标准

新华三服务APP

合作伙伴

< 返回

成为合作伙伴

加盟新华三

星级服务资质认证标准

售前资质认证标准

合作伙伴手册

热门推荐

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

已成为合作伙伴

合作伙伴查询

政策与公告

合作伙伴业务管理

订单供货查询

快易通

稽核反馈

热门推荐

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

合作伙伴资源中心

产品与方案中心

营销资料下载中心

技术服务BOM产品说明书

技术资料查询

人才直通车

配置器(iConfig)

智能工具盒(iBox)

热门推荐

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

合作伙伴培训与认证

生态赋能

售前能力认证

H3C技术认证

新华三大讲堂

热门推荐

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

解决方案联盟

解决方案合作伙伴认证申请

技术方案联盟

数字化创新实验室

热门推荐

合作伙伴营销资料平台上线

最新最全的营销资料，千份营销资料，快速获取！

合作伙伴官网

新华三人才研学中心

< 返回

商学管理

领导力训战院介绍

培训产品

热门推荐

2023-2024年“新华三杯”

IT管理

IT管理研修院介绍

培训课程

热门推荐

2023-2024年“新华三杯”

生态赋能

学习产品与服务

热门推荐

2023-2024年“新华三杯”

技术认证

H3C认证在线

热门推荐

2023-2024年“新华三杯”

ICT技术

ICT技术研修院

培训课程

热门推荐

2023-2024年“新华三杯”

智能技术

智能技术研修院介绍

培训课程

热门推荐

2023-2024年“新华三杯”

安全技术

安全技术研修院介绍

培训课程

热门推荐

2023-2024年“新华三杯”

校企合作

校企合作介绍

校企合作模式

人才输出计划

热门推荐

2023-2024年“新华三杯”

查看所有

关于我们

< 返回

公司概况

公司简介

总裁寄语

管理团队

发展历史

焦点时刻

企业社会责任

领航者文化

公司视频

公司动态

公司新闻

媒体播报

品牌活动

数字化领航直播间

云上新华三

公司刊物

《数字化领航》

联系我们

公司总部

集团代表处

媒体联络

意见反馈

采购公告

如何购买

在线举报

加入我们

新华三集团招聘

紫光集团招聘

紫光西数招聘

查看所有

如何购买

数字化领航直播间

云上展厅

新华三商城 New

欢迎user

退出

China - 简体中文

Global - English

Russia - Русский

Japan - 日本語

国家/地区

03-策略

首页支持文档与软件文档中心H3C SecPath 防火墙产品 Web配置指导(V7)-6W40303-策略

03-策略

打印

Attention Free Transformer(AFT) - 知乎

Attention Free Transformer(AFT) - 知乎首发于transformer切换模式写文章登录/注册Attention Free Transformer(AFT)莫叶何竹非淡泊无以明志，非宁静无以致远。paper: An Attention Free Transformerdate: 2021-05org: Apple1 Motivation原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。2 Method2.1 Multi-Head Attention回顾首先回顾一下经典的Multi-Head Attention(MHA)，每一个head的计算如下f _ { i } ( X ) = \sigma ( \frac { Q _ { i } ( K _ { i } ) ^ { T } } { \sqrt { d _ { k } } } ) V _ { i } , \ \mathrm { s . t . } \ Q _ { i } = X W _ { i } ^ { Q } , K _ { i } = X W _ { i } ^ { K } , V _ { i } = X W _ { i } ^ { V } , \tag{1}其中： W _ { i } ^ { Q } \; \in \; R ^ { d \times d _ { k } } , W _ { i } ^ { K } \; \in \; R ^ { d \times d _ { k } } , W _ { i } ^ { V } \; \in \; R ^ { d \times d _ { \upsilon } } 。 \sigma 是非线性函数，默认为softmax。通常情况下 d_v = d_k, h = \frac{d}{d_k} 。假定输入 X \in \mathbb {R}^ {T \times d} , 经过 f_i 转化后的输出 f_i{(X)} \in \mathbb{R} ^{T \times d_v} 。将所有head的结果拼接起来得到最后的输出 \mathbb{R} ^{T \times d} 。单头Attention的时间复杂度计算：Q,K,V 的计算,此处有3个矩阵乘法，计算量为 d \times d_k \times T \times 3 ，时间复杂度为： \mathcal{O}(\frac{1}{h}Td^2) QK^T 的计算,计算量为： d_k \times T \times T ，时间复杂度为： \mathcal{O}(\frac{1}{h}T^2d) scale 的时间复杂度为： \mathcal{O}(T^2) softmax的时间复杂度为： \mathcal{O}(T^2) 最后加权乘法计算量为 d_k \times T \times T ，时间复杂度为： \mathcal{O}(\frac{1}{h}T^2d) 对于MHA，时间复杂度为 \mathcal{O}(T^2d) 2.2 Attention Free Transofrmer(AFT)2.2.1 AFT full第一步和MHA一样，输入 X 经过三个linear transfer得到QKV，3个矩阵，维度为 \mathbb{R}^{T \times d} 。AFT引入了一个新的可训练参数矩阵 w \in \mathbb{R}^{T \times T} ，论文将其称之为可学习的一对一位置偏置（learned pair-wise position biases）。我们以 y_t 为视角看每一步的具体流程。SETP1: 求 \mathrm{weighted}(K^{(t)}) 。从 w 取 t=t 的向量, 和 K 做加法后以列方向进行 \mathrm{softmax} 。该步骤的计算复杂度为 \mathcal{O}(T \times d) \mathrm{Weighted}(K^{(t)}) = \frac{\exp (K + w_t ) }{\sum_{i=1}^{T} \exp (k_i + w_{ti}) } \tag{2}STEP2: 求 \mathrm{Attention}^{(t)} 矩阵。将 q_t 用sigmoid变换后，点乘wighted(K)。该步骤的计算复杂度为 \mathcal{O}(T \times d) \mathrm{Attention^{(t)}} = \sigma(q_t) \odot \mathrm{Weighted}(K^{(t)})= \frac{\sigma(q_t) \odot \exp (K + w_t ) }{\sum_{i=1}^{T} \exp (k_i + w_{ti}) } \tag{3}STEP3: 计算 y_t 。该步骤的计算复杂度为 \mathcal{O}(T \times d) y_t = \sum_{i=1}^{T}(\mathrm{Attention^{(t)}}_i \odot v_i) = \sum_{i=1}^{T} \frac{\sigma(q_t) \odot \exp (k_i + w_t ) }{\sum_{i=1}^{T} \exp (k_i + w_{ti}) } \odot v_i \tag{4}对式（4）稍做变形，可得论文中的计算公式 y_t = \sigma(q_t)\odot \frac{ \sum_{i=1}^{T}\exp (k_i + w_t ) \odot v_i}{\sum_{i=1}^{T} \exp (k_i + w_{ti}) } \tag{5}将所有的步骤串起来的流程如下。可以看到AFT其实也用到了attention的思想。但AFT中的Attention Score的计算并没有用到矩阵乘法，只用到了向量点乘。虽整体的计算复杂度仍然是 \mathcal{O}(T^2d) ，但计算量已有所下降。式（4）计算pipeline式（5）计算pipeline2.2.1 AFT local在许多情况下，局部性是一个很重要的归纳偏置（inductive bias），而标准的Transformer的计算中没有引入局部信息。因此，作者提出AFT-local。其形式与AFT-Full一致。区别在于，引入了下式限制w_{t, t'} = \begin{cases} w_{t, t'}, \quad \mathrm{if} |t - t'| < s \\ 0, \quad \mathrm{otherwise.}\end{cases} \tag{6}式中的s就是定义的局部窗口大小（local window size）。它进一步降低了计算量。变换后的 w 如下图所示（此时 s=2 ，黑色方块为 0 ）。2.2.2 AFT simpleAFT simple是AFT local当s = 0时的特殊形式。此时没有位置偏置。可将式5化简为，因为对不同的t， \sum_{i=1}^{T} (\mathrm{softmax}(K) \odot V)_{i} 都是相同的。AFT simple的时间复杂度为 \mathcal{O}(Td) y_t = \sigma(q_t)\odot \frac{ \sum_{i=1}^{T}\exp (k_i) \odot v_i}{\sum_{i=1}^{T} \exp (k_i) } = \sigma(q_t)\odot \sum_{i=1}^{T} (\mathrm{softmax}(K) \odot V)_{i}\tag{6}详细的计算流程和复杂度计算可参考下图：2.2.3 AFT conv作者进一步将局部性的思想扩展到空间权重共享（如卷积），提出AFT-conv。具体来说，让 w_{t,t'} 的值仅依赖 t 和 t' 的相对位置。为了考虑参数数量随着head数增加而增长的情况，作者采用了一个设计选择，将K的维度与head数绑定在一起（MHA的思路）。这使得AFT-conv可以采用深度可分离卷积、全局池化和element-wise操作的实现方式。可以看到与AFT simple相比，AFT conv引入了head思想，并通过1维卷积的计算结果引入局部信息。其形式与式(6)相比分子分母中新增了 \mathrm { c o n v 1 d } ( \exp ( K ^ { j } ) \odot V ^ { j } , \; \exp ( w ^ { j } ) \, - 1 )，\mathrm { c o n v 1 d } ( \exp ( K ^ { j } ) , \; \exp ( w ^ { j } ) \; - 1 ) 。（上标j表示第j个head）。此时的w为conv1d的filter。y _ { t } ^ { j } = \sigma _ { q } ( q _ { t } ^ { j } ) \odot \frac { \mathrm { c o n v 1 d } ( \exp ( K ^ { j } ) \odot V ^ { j } , \; \exp ( w ^ { j } ) \, - 1 ) + \sum _ { i = 1 } ^ { T } \exp ( k _ { i } ^ { j } ) \odot v _ { i } ^ { j } } { \mathrm { c o n v 1 d } ( \exp ( K ^ { j } ) , \; \exp ( w ^ { j } ) \; - 1 ) + \sum _ { i = 1 } ^ { T } \exp ( k _ {i } ^ { j } ) } \tag{7}从ViT可视化attention map中可以看出（横轴为head，纵轴为layer）。原本的ViT（左边）的不同层，head的attention map的响应最大区域基本都是中心区域。而用了AFT-conv后，不同层、head的attention都有所不同，有助于模型捕获不同尺度的特征。3 小结本文提出了一种Dot Product Attention Free的Transformer，最多能将transofmer的时间复杂度从 \mathcal{O}(T^2d) 降低到 \mathcal{O}(Td) （AFT-simple）。编辑于 2024-01-31 08:34・IP 属地江苏深度学习（Deep Learning）Transformer赞同 813 条评论分享喜欢收藏申请转载文章被以下专栏收录transformertransformer相关技

AFT中文(简体)翻译：剑桥词典

词典

翻译

语法

同义词词典

+Plus

剑桥词典+Plus

Shop

剑桥词典+Plus

我的主页

+Plus 帮助

退出

剑桥词典+Plus

我的主页

+Plus 帮助

退出

中文 (简体)

查找

英语-中文（简体）

aft 在英语-中文（简体）词典中的翻译

aftadjective, adverb

sailing

specialized uk

Your browser doesn't support HTML5 audio

/ɑːft/ us

Your browser doesn't support HTML5 audio

/æft/

Add to word list

in or towards the back part of a boat

在船尾（的）;向船尾（的）

(aft在剑桥英语-中文（简体）词典的翻译 © Cambridge University Press)

aft的例句

aft

To achieve the large spans demanded by the clients for shop and restaurant, deep solid laminated beams were needed running fore and aft, with plywood-web beams spanning between them crossways.

来自 Cambridge English Corpus

Her total draught aft does not appear from the records to have exceeded 34 feet 6 inches.

来自 Hansard archive

该例句来自Hansard存档。包含以下议会许可信息开放议会许可v3.0

An application of (36) is when the body has fore and aft symmetry.

来自 Cambridge English Corpus

The column is composed of descending motor nerves and ascending sensory nerves which exist, respectively, to the fore and aft of the vertebrae.

来自 Cambridge English Corpus

Stochastic mapping and a single aft thruster for propulsion, moving at a nominal forward speed of 2.5 m/s.

来自 Cambridge English Corpus

For example, in the previous work /two arms were constrained to move fore and aft with the opposite leg to increase the resistance to yaw.

来自 Cambridge English Corpus

The data show that two pairs of co-rotating vortices appear aft of the perforation.

来自 Cambridge English Corpus

He said that many of them are equipped fore and aft.

来自 Hansard archive

该例句来自Hansard存档。包含以下议会许可信息开放议会许可v3.0

示例中的观点不代表剑桥词典编辑、剑桥大学出版社和其许可证颁发者的观点。

aft的翻译

中文（繁体）

在船尾（的）, 向船尾（的）…

查看更多内容

西班牙语

en la popa, a popa…

查看更多内容

葡萄牙语

na popa, para a popa…

查看更多内容

需要一个翻译器吗？

获得快速、免费的翻译！

翻译器工具

aft的发音是什么？

在英语词典中查看 aft 的释义

浏览

Afro-Caribbean

Afrocentric

Afrocentrism

Afrofuturism

aft

after

after a fashion phrase

after all idiom

after hours idiom

“每日一词”

veggie burger

Your browser doesn't support HTML5 audio

/ˈvedʒ.i ˌbɜː.ɡər/

Your browser doesn't support HTML5 audio

/ˈvedʒ.i ˌbɝː.ɡɚ/

a type of food similar to a hamburger but made without meat, by pressing together small pieces of vegetables, seeds, etc. into a flat, round shape

关于这个

博客

Forget doing it or forget to do it? Avoiding common mistakes with verb patterns (2)

March 06, 2024

新词

stochastic parrot

March 04, 2024

已添加至 list

回到页面顶端

内容

英语-中文（简体）例句翻译

©剑桥大学出版社与评估2024

学习

新词

帮助

纸质书出版

Word of the Year 2021

Word of the Year 2022

Word of the Year 2023

开发

词典API

双击查看

搜索Widgets

执照数据

关于

无障碍阅读

剑桥英语教学

剑桥大学出版社与评估

授权管理

Cookies与隐私保护

语料库

使用条款

京ICP备14002226号-2

©剑桥大学出版社与评估2024

剑桥词典+Plus

我的主页

+Plus 帮助

退出

词典

定义

清晰解释自然的书面和口头英语

英语

学习词典

基础英式英语

基础美式英语

翻译

点击箭头改变翻译方向。

双语词典

英语-中文（简体）

Chinese (Simplified)–English

英语-中文（繁体）

Chinese (Traditional)–English

英语-荷兰语

荷兰语-英语

英语-法语

法语-英语

英语-德语

德语-英语

英语-印尼语

印尼语-英语

英语-意大利语

意大利语-英语

英语-日语

日语-英语

英语-挪威语

挪威语-英语

英语-波兰语

波兰语-英语

英语-葡萄牙语

葡萄牙语-英语

英语-西班牙语

西班牙语-英语

English–Swedish

Swedish–English

半双语词典

英语-阿拉伯语

英语-孟加拉语

英语-加泰罗尼亚语

英语-捷克语

英语-丹麦语

English–Gujarati

英语-印地语

英语-韩语

英语-马来语

英语-马拉地语

英语-俄语

English–Tamil

English–Telugu

英语-泰语

英语-土耳其语

英语-乌克兰语

English–Urdu

英语-越南语

翻译

语法

同义词词典

Pronunciation

剑桥词典+Plus

Shop

剑桥词典+Plus

我的主页

+Plus 帮助

退出

中文 (简体)

Change

English (UK)

English (US)

Español

Русский

Português

Deutsch

Français

Italiano

中文 (简体)

正體中文 (繁體)

Polski

한국어

Türkçe

日本語

Tiếng Việt

हिंदी

தமிழ்

తెలుగు

关注我们

选择一本词典

详解AFT（Attention Free Transformer ） - 知乎

详解AFT（Attention Free Transformer ） - 知乎首发于深度学习高手笔记切换模式写文章登录/注册详解AFT（Attention Free Transformer ）大师兄京东算法专家前言Transformer[1]自从被提出之后，因为它的自注意力模块需要计算Query和Key的转置的矩阵乘法，因此关于Transformer的平方级的复杂度便成了一个热门的讨论方向。例如我们介绍过的Sparse Transformer[2]提出使用稀疏的矩阵代替Transformer的密集矩阵来降低矩阵乘法的计算量。Transforemer-XL[3]提出将一个长序列拆分成若干个片段（Segment），然后再同片段递归机制来建模片段之间的相互依赖性。这里我们介绍Apple提出的AFT（Attention Free Transformer）[4]，他没有使用矩阵乘法，而是使用一些点乘来实现自注意力模块的计算。此外AFT还提出了AFT-local、AFT-simple和AFT-conv，AFT-local的提出是作者发现注意力表现出明显的局部注意力模式，因此使用了更小的注意力窗口。AFT-conv则是作者借鉴了分组卷积的思想，让Transformer看做分组卷积的每个组，并且使用了一个共享的位置编码偏置。在这篇文章中，我们将带来AFT的详细介绍，并且将根据介绍使用PyTorch对AFT中涉及的重要模块进行实现。参考章节详解Transformer （Attention Is All You Need）Attention 图解详解Transformer-XLMobileNet v1 和 MobileNet v21. AFT的原理我们知道，注意力有多种不同的形式，例如Transformer的缩放点乘注意力，《Neural turing machines》[5]中提出的cosin相似性注意力，Bahdanau等人提出的加性注意力（Additive Attention）或者拼接注意力（Concat Attention）[6]。Transformer的高复杂度源自于它需要计算 \mathbf Q 和 \mathbf K^T 的矩阵乘运算，而这个矩阵的大小取决于输入文本的长度，因此Transformer的复杂度是输入长度的平方级复杂度。加性（拼接）注意力是将两个特征向量相加（拼接），然后使用一个权值矩阵得到权重系数。因此加性（拼接）注意力的复杂度取决于隐层节点数的数量而与序列长度无关。图1：常见的注意力计算方法注意力的本质就是为特征向量中每个特征计算一个权值，既然这些不同的注意力机制均可以起到这个作用，那么我们也没必要将注意力计算的方式固定在缩放点乘注意力上。只要我们能够以比Transformer更低的复杂度比较有效的计算出注意力权值，那么我们便可以解决缩放点乘自注意力带来的高复杂度问题。所以AFT最根本的原理便是如何设计一个高效的权值计算方式。AFT的论文中提出了四个不同的Attention Free的计算方式，分别是AFT-full，AFT-local，AFT-simple和AFT-conv，下面我们来分别介绍他们。2. AFT家族2.1 AFT Full2.1.1 基本原理当我们说起AFT时，一般是指的AFT-full。下面我们逐步来介绍AFT-full的计算方式：STEP 1: 和Transformer一样，对于输入特征 \mathbf X ，我们使用三个不同的线性层分别计算 \mathbf Q\in \mathbb R^{T\times d} = \mathbf X \mathbf W^Q ， \mathbf K \in \mathbb R^{T\times d} = \mathbf X \mathbf W^K ， \mathbf V\in \mathbb R^{T\times d} = \mathbf X \mathbf W^V 三个矩阵， T 是序列的最大长度， d 是隐层节点数。STEP 2: 在Transformer-XL中我们介绍过相对位置编码，接下来我们将一个可学习的位置编码 \boldsymbol w_{t',t} 与 \mathbf K_{t'} 相加，其中 1 \leq t' \leq T ：\mathbf K_{t'} + \boldsymbol w_{t,t'} \tag1STEP 3：使用softmax对加入了位置编码的\mathbf K进行归一化：\text{Weighted}(\mathbf K_{t'}) = \frac{\exp(\mathbf K_{t'} + w_{t,t'})}{\sum_{t'=1}^T\exp(\mathbf K_{t'} + w_{t,t'})} \tag2STEP 4：计算权值矩阵。AFT-full的方法是使用sigmoid激活函数对 \mathbf Q_t 进行归一化，然后再和 \text{Weighted}(\mathbf K_{t'}) 进行点乘运算：\alpha_t' = \sigma_Q(\mathbf Q_t) \odot \text{Weighted}(\mathbf K_{t'}) = \sigma_Q(\mathbf Q_t) \odot \frac{\exp(\mathbf K_{t'} + w_{t,t'})}{\sum_{t'=1}^T\exp(\mathbf K_{t'} + w_{t,t'})} \tag3 SETP 5：最后根据权值对\mathbf V进行加权运算。 \begin{aligned} \mathbf Y_t & = \sum_{t'=1}^T \alpha_{t'} \mathbf V_{t'} \\ & = \sum_{t'=1}^{T} \sigma_Q(\mathbf Q_t) \odot \frac{ \exp (\mathbf K_{t'} + w_{t,t'})}{\sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'})} \odot \mathbf V_{t'} \end{aligned}\tag4对式(4)进行等价变换后我们便可以得到论文中给出的式(5)的形式。Y_t = \sigma_Q(Q_t) \odot \frac{\sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'})\odot V_{t'}}{\sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'})} \tag5 从上面对AFT-full的计算过程拆解后的内容来看AFT-full本身并不复杂（图2），它最关键的改进是将Transformer的矩阵乘法修改为了按元素相乘。但是因为累加运算的出现，它的实现变得非常复杂，那么有没有一种AFT-full的简单的实现方式呢？图2：AFT的计算步骤2.1.2 PyTorch实现AFT-full的实现难点在于实现 \sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'}) ，这里我们可以用矩阵乘法来实现，推导过程如式(6)。我们我们需要注意式(5)中 \mathbf K_{t'} \in \mathbb R^{1 \times d} ，而\boldsymbol w_{t,t'} 是一个常量，因此它们两者的加法是一个广播加法。 \begin{aligned} & \sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'}) \\ = & \sum_{t'=1}^{T} \exp(\left[K_{t',1} + w_{t,t'}, K_{t',2} + w_{t,t'}, \cdots, K_{t',d}+ w_{t,t'}\right]) \\ = & \left[ \sum_{t'=1}^T \exp(K_{t',1} + w_{t,t'}), \sum_{t'=1}^T \exp(K_{t',2} + w_{t,t'}), \cdots, \sum_{t'=1}^T \exp(K_{t',d} + w_{t,t'})\right] \\ = & \left[ \sum_{t'=1}^T \exp(K_{t',1}) \cdot \exp(w_{t,t'}), \sum_{t'=1}^T \exp(K_{t',2} ) \cdot \exp( w_{t,t'}), \cdots, \sum_{t'=1}^T \exp(K_{t',d} ) \cdot \exp( w_{t,t'})\right] \\ = & \left[ \left[e^{w_{t,1}}, e^{w_{t,2}}, \cdots, e^{w_{t,T}} \right] \cdot \left[\begin{matrix} e^{K_{1,1}} \\ e^{K_{2,1}} \\ \cdots \\ e^{K_{T,1}}\end{matrix}\right], \left[e^{w_{t,1}}, e^{w_{t,2}}, \cdots, e^{w_{t,T}} \right] \cdot \left[\begin{matrix} e^{K_{1,2}} \\ e^{K_{2,2}} \\ \cdots \\ e^{K_{T,2}}\end{matrix}\right] , \cdots, \left[e^{w_{t,1}}, e^{w_{t,2}}, \cdots, e^{w_{t,T}} \right] \cdot \left[\begin{matrix} e^{K_{1,d}} \\ e^{K_{2,d}} \\ \cdots \\ e^{K_{T,d}}\end{matrix}\right] \right] \\ & = \exp([w_{t,1}, w_{t,2}, \cdots, w_{t,T}]) \times \exp \left( \left[ \begin{matrix} & K_{1,1}, & K_{1,2}, & \cdots, & K_{1,d} \\ & K_{2,1}, & K_{2,2}, & \cdots, & K_{2,d} \\ & \vdots & \vdots & \ddots & \vdots \\ & K_{T,1}, & K_{T,2}, & \cdots, & K_{T,d} \end{matrix} \right] \right) \\ & = \exp(\boldsymbol w_{t}) \times \exp(\mathbf K) \end{aligned} \tag6式(6)中 \times 表示矩阵乘法。同理，我们可以推导出式(5)的分子部分可以表示为式(7)的形式，这里就不再重复了。\sum_{t'=1}^{T}\exp (\mathbf K_{t'} + w_{t,t'})\odot V_{t'} = \exp(\boldsymbol w_t) \times (\exp(\mathbf K) \odot \mathbf V) \tag7 根据式(6)和式(7)的矩阵乘法的形式，我们便可以轻松的实现一个单头的AFT-full了，如下面代码片段。class AFTFull(nn.Module):

def __init__(self, max_len, dim, hid_dim=32):

super().__init__()

self.max_len = max_len

self.dim = dim # token的节点数

self.hid_dim = hid_dim # 隐层节点数

self.wq = nn.Linear(self.dim, self.hid_dim)

self.wk = nn.Linear(self.dim, self.hid_dim)

self.wv = nn.Linear(self.dim, self.hid_dim)

self.ffnn = nn.Linear(self.hid_dim, self.dim)

self.w = nn.Parameter(torch.Tensor(max_len, max_len))

nn.init.xavier_uniform_(self.w)

def forward(self, x):

B, T, _ = x.shape

Q = self.wq(x).view(B, T, self.hid_dim)

K = self.wk(x).view(B, T, self.hid_dim)

V = self.wv(x).view(B, T, self.hid_dim)

Q_sig = torch.sigmoid(Q)

temp = torch.exp(self.w) @ torch.mul(torch.exp(K), V)

weighted = temp / (torch.exp(self.w) @ torch.exp(K))

Yt = torch.mul(Q_sig, weighted)

Yt = Yt.view(B, T, self.hid_dim)

Yt = self.ffnn(Yt)

return weighted我们知道Transformer的复杂度是 O(T^2d) ，从式(5)以及AFT-full的实现方式我们也可以看出AFT-full的复杂度也是 O(T^2d) 。不同于Transformer的是，AFT-full的复杂度是因为 \boldsymbol w 参与到计算中带来的，因此我们可以调整 \boldsymbol w 的样式来提升AFT的速度。2.2 AFT-localAFT-local的改进是将位置编码中在窗口 s 之外的值均置0，其中 s \leq T 。 w_{t,t'} = \left\{ \begin{array}{ll} w_{t,t'}, & \text{if} \; |t-t'| < s \\ 0, & \text{otherwise} \end{array} \right. \tag8 因为AFT-local只是将窗口之外的位置编码的值置0，而这部分0仍要参与到完整的计算中，因此AFT-local并不会减少计算量。2.3 AFT-simpleAFT-simple的变化是将 \boldsymbol w 中的值全部置0，也就是 \boldsymbol w 不再参与到注意力的计算中，如式(9)，它的这个模式和Linear Attention[7][8]非常像。 \mathbf Y_t = \sigma_Q(\mathbf Q_t) \odot \frac{ \sum_{t'=1}^{T} \exp (\mathbf K_{t'}) \odot \mathbf V_{t'} }{\sum_{t'=1}^{T}\exp (\mathbf K_{t'})} = \sigma_Q(\mathbf Q_t) \odot \sum_{t'=1}^T (\text{softmax}(\mathbf K) \odot \mathbf V)_{t'} \tag92.4 AFT-conv局部感知和参数共享是CNN的两个重要特征，这两个特征是建立在图像数据分布的先验之上的。为了使得AFT在图像数据上也有不错的效果，作者提出了AFT-conv。在AFT-conv中， \boldsymbol w 学习的是 t 与 t' 的相对位置。在Transfomer中，我们有多头注意力（Mulithead Attention，MHA）的思想，而在CNN中，我们有通道数的思想。这两个思想的共同点是都是通过多个并行的相同计算流程的模块来学习特征的多样性。在AFT中，作者通过在Q，K和V添加一个维度来实现多头注意力或者说是CNN的多通道。类似于MobileNet[9]等分组卷积算法，AFT-conv的通道之间也是没有交互计算的。因此我们拿第i个头为例，AFT-conv的计算方法如式(10)。 Y_t^i=\sigma_q\left(Q_t^i\right) \odot \frac{\operatorname{conv1d}\left(\exp \left(K^i\right) \odot V^i, \exp \left(w^i\right)-1\right)+\sum_{t^{\prime}=1}^T \exp \left(K_{t^{\prime}}^i\right) \odot V_{t^{\prime}}^i}{\operatorname{conv1d}\left(\exp \left(K^i\right), \exp \left(w^i\right)-1\right)+\sum_{t^{\prime}=1}^T \exp \left(K_{t^{\prime}}^i\right)} \tag{10} AFT-conv的位置编码被 \boldsymbol w 设置为局部位置编码，在这里可以通过分组一维卷积的卷积核来实现。最终AFTConv的实现方式如下面的代码片段：class AFTConv(nn.Module):

def __init__(self, heads, max_len, dim, hid_dim, window_size):

super().__init__()

self.heads = heads

self.max_len = max_len

self.dim = dim # token的节点数

self.hid_dim = hid_dim # 隐层节点数

self.window_size = window_size

self.wq = nn.Linear(self.dim, self.hid_dim * self.heads)

self.wk = nn.Linear(self.dim, self.hid_dim * self.heads)

self.wv = nn.Linear(self.dim, self.hid_dim * self.heads)

self.kernel_size = self.window_size

self.pad_size = int((window_size - 1)/2)

self.conv = nn.Conv1d(in_channels = heads,

out_channels = heads,

kernel_size = window_size,

padding=self.pad_size,

groups=heads)

self.ffnn = nn.Linear(self.hid_dim, self.dim)

def forward(self, x):

B, T, _ = x.shape

Q = self.wq(x).view(B, T, self.hid_dim, self.heads)

K = self.wk(x).view(B, T, self.hid_dim, self.heads)

V = self.wv(x).view(B, T, self.hid_dim, self.heads)

Q_sig = torch.sigmoid(Q)

KV = torch.mul(torch.exp(K), V)

KV_tmp = KV.view(B, self.heads, T * self.hid_dim)

KV_conv = self.conv(KV_tmp).view(B, T, self.hid_dim, self.heads) + KV

K_tmp = K.view(B, self.heads, T * self.hid_dim)

K_conv = self.conv(K_tmp).view(B, T, self.hid_dim, self.heads) + K

weighted = KV_conv / K_conv

Yt = torch.mul(Q_sig, weighted)

Yt = Yt.view(B, T * self.heads, self.hid_dim)

Yt = self.ffnn(Yt)

Yt = Yt.view(B, T, self.dim, self.heads)

return Yt3. \boldsymbol w 的重参数化论文中指出，通过对AFT-full和AFT-local中使用的位置偏置 \boldsymbol w 进行参数化可以提升模型的效果，具体来讲， \boldsymbol w 可以分析为式(11)的形式。 w_{t, t^{\prime}}=u_t^T v_t^{\prime}, u \in R^{T \times d^{\prime}}, v \in R^{T \times d^{\prime}} \tag{11} 其中d'是一个比较小的数。因此可以进一步提高AFT的速度。但是对于AFT-conv来说， \boldsymbol w 是一个一维卷积的卷积核，他们使用了重参数化的技巧，如式(12)。其中 \gamma \in \mathbb R^h ， \beta \in \mathbb R^h 是两个可以学习的参数。 w^i = \gamma^i \frac{w^i - \text{mean}(w^i)}{\text{std}(w^i)} + \beta^i \tag{12} 4. 总结AFT取名Attention Free其实并不严谨，因为它并没有抛弃注意力模块。更严格的说它是通过矩阵的逐元素乘法替代了Transformer的矩阵乘法。但是在实现时我们发现AFT的运算中仍然有计算矩阵乘法的步骤，不过它计算的矩阵从 \mathbf Q \mathbf K^T 改成了 \boldsymbol w \mathbf Q ，而 \boldsymbol w 的大小是还是取决于设置的句子的长度，因此算法的复杂度并没有降低，但是我们可以通过调整w的大小来一定程度上提升AFT的速度，这也就是为什么作者在这篇文章里提出AFT-full，AFT-local，AFT-simple和AFT-conv四个模型。不过AFT的设计思想还是很巧妙的，至于它的效果可能就需要更多的实验去验证参考^Vaswani, Ashish, et al. "Attention is all you need." *Advances in neural information processing systems* 30 (2017).^Child, Rewon, et al. "Generating long sequences with sparse transformers." *arXiv preprint arXiv:1904.10509* (2019).^Dai, Zihang, et al. "Transformer-xl: Attentive language models beyond a fixed-length context." *arXiv preprint arXiv:1901.02860* (2019).^Zhai, Shuangfei, et al. "An attention free transformer." *arXiv preprint arXiv:2105.14103* (2021).^Graves, Alex, Greg Wayne, and Ivo Danihelka. "Neural turing machines." *arXiv preprint arXiv:1410.5401* (2014).^Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).^Choromanski, Krzysztof, et al. "Rethinking attention with performers." *arXiv preprint arXiv:2009.14794* (2020).^Katharopoulos, Angelos, et al. "Transformers are rnns: Fast autoregressive transformers with linear attention." International conference on machine learning. PMLR, 2020.^Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." *arXiv preprint arXiv:1704.04861* (2017).编辑于 2024-02-02 14:59・IP 属地北京TransformerNLPAttention赞同 16添加评论分享喜欢收藏申请转载文章被以下专栏收录深度学习高手笔记深度学习经典算法，高star源码，热门论

aft是什么意思_aft的翻译_音标_读音_用法_例句_爱词霸在线词典

什么意思_aft的翻译_音标_读音_用法_例句_爱词霸在线词典首页翻译背单词写作校对词霸下载用户反馈专栏平台登录aft是什么意思_aft用英语怎么说_aft的翻译_aft翻译成_aft的中文意思_aft怎么读,aft的读音,aft的用法,aft的例句翻译人工翻译试试人工翻译翻译全文简明柯林斯牛津aft英 [ɑːft]美 [ æft]释义adv.在船尾; 近船尾大小写变形:AFTAft点击人工翻译，了解更多人工释义实用场景例句全部在船尾Clark shook hands with the pilot and walked aft to find his way off the ship.克拉克与舵手握手后向艉部走去，打算下船。柯林斯高阶英语词典Getting into the aft cabin involves a slight step down from saloon level.去后舱需要从餐厅的位置略微往下迈一小步。柯林斯高阶英语词典Element check is a key part in the implementation of AFT.在AFT方法实现中,对新生成单元的检查是关键过程.期刊摘选She came alongside and raked him fore and aft.她倒对他展开近战,全面开火.辞典例句At the end, an adaptive mesh generation scheme is proposed by combining AFT and Background method.最后, 将改进AFT方法和背景网格法相结合,提出了可应用于二维平面和三维实体自适应有限元网格生成的方法.期刊摘选The captain ordered two flags to be placed fore and aft.船长命令在船首船尾都挂旗.辞典例句Steering gear room located at the aft as is shown on the general arrangement plan.舵机房位于船尾,参见总布置图.期刊摘选Graham sat aft , looking steadily out to the horizon.格雷厄姆坐在船尾, 凝望着地平线.《简明英汉词典》A three tier accommodation block fitted above poop deck aft.三层起居区位于艉楼甲板上.期刊摘选The colleges of unit in Poject of Modern Distance Education develop the online instruction one aft.现代远程教育工程的各试点院校纷纷开展网上教学,网上教学实践得到了飞速的发展.期刊摘选His body was protected by armour and aft.他的身体“前前后后”都有盔甲保护.期刊摘选The slosh mass locations move considerably aft of the c . g . of the vehicle.晃动质量位置移至飞行器重心之后很多了.辞典例句By the way, you have to stow the pieces of frozen pork and aft, not crosswise.顺便说一下, 你们最好把冻猪肉片前后直装, 不要横装.期刊摘选Bewildered and half drowned as I was, I had the sense to rush aft.我已被淹得半死不活, 昏头昏脑了,但还知道往船尾跑.辞典例句Here are photographs of both the forward ( bottom ) and aft ( top ) deck manifolds.这里的照片都向前 ( 底部 ) 和尾部 ( 顶部 ) 甲板流形.期刊摘选You should stow the frozen pork pieces fore and aft not crosswise.你们要把冻猪肉前后堆放,不要交错.期刊摘选The captain ordered two flags to is placed fore and aft.船长命令船头船尾各插一面旗子.期刊摘选Balanced angulation fore and aft combined with powerful muscles and good condition produce smooth, efficient action.前后角度平衡,配合上有力的肌肉,和良好的条件,形成了平顺、有效的动作.期刊摘选I walked aft until I reached the mainmast.我向船尾走去,来到了主桅前.英汉文学 - 金银岛Getting into the aft cabin involves a slight step down from saloon level.去后舱需要从餐厅的位置略微往下迈一小步。柯林斯例句Our yacht was well equipped with two double cabins fore and aft.我们的游艇设施完备，首尾有两个双人舱。柯林斯例句He loosened his very strong hold on the ship's rail and glanced fore and aft.他松开紧紧抓住护栏的手，往船的两头扫了一眼。柯林斯例句Clark shook hands with the pilot and walked aft to find his way off the ship.克拉克与舵手握手后向艉部走去，打算下船。柯林斯例句收起实用场景例句英英释义Adjective1. (nautical, aeronautical) situated at or toward the stern or tailAdverb1. at or near or toward the stern of a ship or tail of an airplane;"stow the luggage aft""ships with square sails sail fairly efficiently with the wind abaft""the captain looked astern to see what the fuss was about"收起英英释义反义词adv.在船尾;向船尾fore其他释义fore行业词典体育靠近船尾在船尾航海科技后释义实用场景例句英英释义反义词行

AFT中文(繁體)翻譯：劍橋詞典

詞典

翻譯

文法

同義詞詞典

+Plus

劍橋詞典+Plus

Shop

劍橋詞典+Plus

我的主頁

+Plus 幫助

退出

劍橋詞典+Plus

我的主頁

+Plus 幫助

退出

登錄

註冊

正體中文 (繁體)

查找

英語-中文（繁體）

aft 在英語-中文（繁體）詞典中的翻譯

aftadjective, adverb

sailing

specialized uk

Your browser doesn't support HTML5 audio

/ɑːft/ us

Your browser doesn't support HTML5 audio

/æft/

Add to word list

in or towards the back part of a boat

在船尾（的）;向船尾（的）

aft的例句

aft

There are two stagnation points on the nearer wall in the plane y = 0, one fore and one aft of the sphere.

來自 Cambridge English Corpus

The column is composed of descending motor nerves and ascending sensory nerves which exist, respectively, to the fore and aft of the vertebrae.

來自 Cambridge English Corpus

During the course of these latter trials trouble was experienced with certain engine couplings and some slight leaks developed in two unimportant compartments aft.

來自 Hansard archive

該例句來自Hansard存檔。包含以下議會許可信息開放議會許可v3.0

Two fixed-pitch propellers, two semi-balanced rudders, and three forward and three aft thrusters provide high manoeuvrability.

來自 Cambridge English Corpus

He said that many of them are equipped fore and aft.

來自 Hansard archive

該例句來自Hansard存檔。包含以下議會許可信息開放議會許可v3.0

The vessels were equipped with a whaling cannon bolted on the foredeck and two bottlenose cannons fitted aft.

來自 Cambridge English Corpus

Before this problem can be considered further, it is necessary to investigate what happens fore and aft of the ship as the water is piled up.

來自 Cambridge English Corpus

They have to see it—armed convoys, with troops before and aft.

來自 Hansard archive

該例句來自Hansard存檔。包含以下議會許可信息開放議會許可v3.0

示例中的觀點不代表劍橋詞典編輯、劍橋大學出版社和其許可證頒發者的觀點。

aft的翻譯

中文（簡體）

在船尾（的）, 向船尾（的）…

查看更多內容

西班牙語

en la popa, a popa…

查看更多內容

葡萄牙語

na popa, para a popa…

查看更多內容

需要一個翻譯器嗎？

獲得快速、免費的翻譯！

翻譯器工具

aft的發音是什麼？

在英語詞典中查看 aft 的釋義

瀏覽

Afro-Caribbean

Afrocentric

Afrocentrism

Afrofuturism

aft

after

after a fashion phrase

after all idiom

after hours idiom

「每日一詞」

veggie burger

Your browser doesn't support HTML5 audio

/ˈvedʒ.i ˌbɜː.ɡər/

Your browser doesn't support HTML5 audio

/ˈvedʒ.i ˌbɝː.ɡɚ/

a type of food similar to a hamburger but made without meat, by pressing together small pieces of vegetables, seeds, etc. into a flat, round shape

關於這個

部落格

Forget doing it or forget to do it? Avoiding common mistakes with verb patterns (2)

March 06, 2024

新詞

stochastic parrot

March 04, 2024

已添加至 list

回到頁面頂端

內容

英語-中文（繁體）例句翻譯

學習

新詞

幫助

紙本出版

Word of the Year 2021

Word of the Year 2022

Word of the Year 2023

開發

詞典API

連按兩下查看

搜尋Widgets

執照資料

關於

無障礙閱讀

劍橋英語教學

劍橋大學出版社與評估

授權管理

Cookies與隱私保護

語料庫

使用條款

京ICP备14002226号-2

劍橋詞典+Plus

我的主頁

+Plus 幫助

退出

詞典

定義

清晰解釋自然的書面和口頭英語

英語

學習詞典

基礎英式英語

基礎美式英語

翻譯

點選箭頭改變翻譯方向。

雙語詞典

英語-中文（簡體）

Chinese (Simplified)–English

英語-中文（繁體）

Chinese (Traditional)–English

英語-荷蘭文

荷蘭語-英語

英語-法語

法語-英語

英語-德語

德語-英語

英語-印尼語

印尼語-英語

英語-義大利語

義大利語-英語

英語-日語

日語-英語

英語-挪威語

挪威語-英語

英語-波蘭語

波蘭語-英語

英語-葡萄牙語

葡萄牙語-英語

英語-西班牙語

西班牙語-英語

English–Swedish

Swedish–English

半雙語詞典

英語-阿拉伯語

英語-孟加拉文

英語-加泰羅尼亞語

英語-捷克語

英語-丹麥語

English–Gujarati

英語-印地語

英語-韓語

英語-馬來語

英語-馬拉地語

英語-俄語

English–Tamil

English–Telugu

英語-泰語

英語-土耳其語

英語-烏克蘭文

English–Urdu

英語-越南語

翻譯

文法

同義詞詞典

Pronunciation

劍橋詞典+Plus

Shop

劍橋詞典+Plus

我的主頁

+Plus 幫助

退出

登錄 /

註冊

正體中文 (繁體)

Change

English (UK)

English (US)

Español

Русский

Português

Deutsch

Français

Italiano

中文 (简体)

正體中文 (繁體)

Polski

한국어

Türkçe

日本語

Tiếng Việt

हिंदी

தமிழ்

తెలుగు

關注我們！

選擇一本詞典

Follow

imtoken安卓最新版本下载|aft

imtoken安卓最新版本下载|aft

钙矾石_百度百科

AFT Fathom 11（ 动态模拟分析软件 ）中文版分享 - 知乎

Home 主页 | AFT Group

11-AFT-新华三集团-H3C

Attention Free Transformer(AFT) - 知乎

AFT中文(简体)翻译：剑桥词典

详解AFT（Attention Free Transformer ） - 知乎

aft是什么意思_aft的翻译_音标_读音_用法_例句_爱词霸在线词典

AFT中文(繁體)翻譯：劍橋詞典

最近的新闻

您可能喜欢的文章

比特派app官方地址|abn

比特派钱包手机版|alicia怎么读

TP钱包币丢失问题解决方法及相关注意事项

云钱包比特币：简便安全的数字货币存储方式

如何在TP钱包中查看加密货币价格

以太坊中心化钱包源码探索

中国数字货币测试最新消息

AFT Fathom 11（动态模拟分析软件）中文版分享 - 知乎