人工智能、自动化等颠覆性技术的迅速发展正在改变现代企业。这些技术为企业提高效率、提高生产率铺平了道路。大多数企业将人工智能和自动化视为一种变革的驱动力,可以带来业务的增长。通过利用它们,公司,无论是小型、中型还是大型,都将使其营销活动的投资回报最大化。例如,使用一个与用户直接交互的人工智能聊天机器人可以成为商业领袖体验人工智能力量的一个很好的切入点。

自动化和人工智能有可能帮助企业逐渐培养敏捷性、响应能力和节俭,使它们能够更好地适应快速变化的情况,即使在诸如COVID-19出现这样的恶劣环境中也是如此。自动化可以根据不断变化的业务场景变量实施战略计划和工作流,从而促进组织内的转型。同时,机器学习的使用使企业主管能够收集大量的信息,不间断地综合信息,并根据需要进行部署。

精通技术的公司利用一切可以帮助他们保持创新领先的优势。通过使用人工智能系统,他们甚至可以探索成功所需的人才库。这项技术还可以帮助查询组织内部的数据,为选择能够在公司中有所作为的候选人提供正确的输入。

不可否认,技术对企业的运营和生产活动有着重大影响。随着先进自动化等技术的不断发展,企业获得无数利益已变得至关重要。今天的组织通常都在寻求加强收入流,这样的人工智能系统可以处理数据并自动提醒,以确保最大限度的流动性。这将对交易历史和一周、月或季度中最有可能收回付款的时间进行处理。

利用先进的自动化和人工智能解决方案获益

高级自动化解决方案采用高级业务模型设计,例如SaaS(软件即服务)、六西格玛和精益生产等。这些解决方案在降低运营成本方面发挥了相当大的作用。有效的业务流程和自动化技术得到了广泛的认可。通过六西格玛等方法,企业可以确保在指定的预算和时间内完成任务;将成品和其他服务的变化保持在最低水平,最重要的是,它支持降低错误率。

在大多数组织中,IT和HR支持通常位于已定义的物理空间或呼叫中心。然而,随着大多数员工开始远程工作,他们必须相互联系以回答与IT和HR相关的问题。通过这种方式,自动化和人工智能能够帮助有效地管理这些交互,并提高涉众的体验。

颠覆性技术可以以惊人的速度改变企业,让高管获得更广泛的市场份额。虽然人工智能系统可以自动生成关于数据可访问性的报告,但先进的自动化解决方案可帮助领导者为客户创建一个交互式和参与式的平台。通过使用销售和市场营销等自动化流程,公司甚至可以确保客户及时了解销售、折扣和其他促销优惠。通过这些流程,业务主管可以通过部署高级度量来回答客户的查询。这将鼓励客户保持忠诚,同时也在很大程度上影响他们的购买决策。

此外,应用人工智能可以优化路由客户流量,从而改善客户关系和整体效率,减少服务交付时间。这些应用程序还允许企业在一个集成的系统中存储和分析所有数据,以帮助更好地了解客户、产品或服务、支持、潜在客户开发、销售、会计、财务和业务运营。当人工智能系统配备了高质量的数据时,这就可以用来精确地设想事物。

综上所述,人工智能和自动化解决方案的使用将通过增强灵活性,最小化系统的复杂性以及不断尝试新产品和服务的能力,使企业进行创新和发展。

 

自 2017 年诞生以来,Transformer 模型在自然语言处理、计算机视觉等多个领域得到广泛应用,并出现了大量变体。近期涌现的大量 Transformer 变体朝着更高效的方向演化,谷歌研究者对这类高效 Transformer 架构进行了综述。

Transformer 是现代深度学习领域一股令人敬畏的力量,它广泛应用于语言理解、图像处理等多个领域,并产生了极大的影响。过去几年,大量研究基于 Transformer 模型做出基础性改进。人们对此的巨大兴趣也激发了对更高效 Transformer 变体的研究。

近期涌现了大量 Transformer 模型变体,研究者和从业者可能难以跟上创新的节奏。在该论文写作时(2020 年 8 月),之前的半年出现了十多个新的高效 Transformer 模型。因此,对已有文献进行综述对于社区而言是有益和及时的。

自注意力机制是 Transformer 模型的核心典型特征。该机制可被看作是一种类似图的归纳偏置,将序列中的所有 token 与基于相关性的池化操作连接起来。对于自注意力的一个担忧是其时空复杂度都是平方级的,这妨碍模型在多种环境下的可扩展性。最近出现了大量试图解决该问题的 Transformer 模型变体,本文将这类模型称作「高效 Transformer」(efficient Transformer)。

基于此,模型的效率有了不同的诠释。效率可能指模型的内存占用,当模型运行的加速器内存有限时这尤为重要;效率也可能指训练和推断过程中的计算成本,如 FLOPs 数。尤其对于设备端应用而言,模型应在有限的计算预算下运行。该综述论文从内存和计算两个角度来考虑 Transformer 的效率。

高效自注意力模型对于建模长序列的应用很关键,如通常包括较多像素或 token 的文档、图像和视频。因此,广泛采用 Transformer 优先考虑的是处理长序列的效率。

该论文旨在对这类模型的近期发展进行综述,主要聚焦于通过解决自注意力机制的平方级复杂度来提升 Transformer 效率的建模发展和架构创新,同时该论文还简要探讨了通用改进和其他效率改进。

该论文提出了一种针对高效 Transformer 模型的分类法,按照技术创新和主要用途进行分类。具体而言,该论文综述了在语言和视觉领域均有应用的 Transformer 模型,并为其中的部分模型提供了详细的解读。

高效Transformer层出不穷,谷歌团队综述文章一网打尽

论文链接:https://arxiv.org/pdf/2009.06732.pdf

关于 Transformer

Transformer 是将 Transformer 块一个个堆叠而成的多层架构,标准 Transformer 的架构如下图所示:

高效Transformer层出不穷,谷歌团队综述文章一网打尽

Transformer 块的特征是多头自注意力机制、position-wise 前馈网络、层归一化模块和残差连接。Transformer 模型的输入通常是形状为 R^B × R^N 的张量,B 表示批大小,N 表示序列长度。

输入首先经过嵌入层,嵌入层将每个 one-hot token 表示转换为 d 维嵌入,即 R^B × R^N × R^D 。然后将这个新的张量与位置编码(positional encoding)相加,并输入到多头自注意力模块中。位置编码可以采用正弦输入的形式,或者可训练嵌入。

多头自注意力模块的输入和输出由残差连接和层归一化层来连接。将多头自注意力模块的输出传送至两层前馈网络,其输入 / 输出通过残差和层归一化来连接。子层残差连接与层归一化可表示为:

其中 F_S 是子层模块,它要么是多头自注意力,要么是 position-wise 前馈层。

高效 Transformer 模型综述

这部分对高效 Transformer 模型进行了综述。首先我们来看不同模型的特点,表 1 列出了目前发布的高效 Transformer 模型,图 2 展示了多种重要高效 Transformer 模型的图示。

高效Transformer层出不穷,谷歌团队综述文章一网打尽

图 2:高效 Transformer 模型的分类,分类标准是模型的核心技术和主要应用场景。

高效Transformer层出不穷,谷歌团队综述文章一网打尽

表 1:按发布时间顺序整理的高效 Transformer 模型。

此外,这部分还详细介绍了多个重要的高效 Transformer 模型,并分析了它们的优缺点和独特之处。这些模型包括:Memory Compressed Transformer、Image Transformer、Set Transformers、Sparse Transformers、Axial Transformers、Longformer、ETC、BigBird、Routing Transformers、Reformer、Sinkhorn Transformers、Linformer、Synthesizers、Performer、Linear Transformers、Transformer-XL和 Compressive Transformers。

具体细节此处不再赘述,详情参见原论文第三章。

论文最后讨论了这些模型的评估情况和设计趋势,并简要概述了可以提高 Transformer 效率的其他方法,如权重共享、量化 / 混合精度、知识蒸馏、神经架构搜索(NAS)和 Task Adapter。

 

【TechWeb】9月27日消息,据国外媒体报道,周六,中国电动汽车初创企业小鹏汽车在北京汽车展上发布了超充免费加电计划和电池租赁计划。

小鹏P7

小鹏汽车宣布,首次购车的车主将享受每辆车每年3000千瓦时的免费充电服务。该公司将与包括国家电网、南方电网、特来电、星星充电、小桔充电在内的充电供应商合作,扩大其超级充电网络。

该公司的超充免费加电计划将立即在24个城市的特定充电站对客户开放,2020年底前将扩展到60个城市,2021年第二季度末将覆盖200个城市。

至于电池租赁计划,用户可以仅在前期支付车辆车身部分的价款后,享受最长七年分期的电池租赁服务,每月仅需支付少量的电池租赁金额,即可获得车辆以及电池的所有权,这样有利于降低用户选择智能电动汽车的购车门槛。

除了发布超充免费加电计划和电池租赁计划外,小鹏汽车还在北京汽车展上展示了其电动飞行汽车原型。这款车被称为Kiwigogo,拥有8个螺旋桨,最多可以搭载两名乘客,被设计在离地面16到82英尺(5米到25米)的低空飞行。

据悉,这款车看起来更像无人机而不是汽车,目前仍处于开发阶段,所以目前还不清楚何时能上市。

小鹏汽车被认为是特斯拉在电动汽车市场上的新兴竞争对手,该公司在8月份的首次公开募股(IPO)中筹集了15亿美元资金。(小狐狸)

【TechWeb】中国北京——9月26日,全球领先的技术与服务供应商博世亮相2020北京国际车展。围绕“感质博世”主题,博世展示了一系列面向未来的电气化、自动化、互联化交通出行的创新性技术与前沿解决方案。在本次车展中,燃料电池电堆、碳化硅功率器件、智能驾舱将首次在中国展出。“疫情不会暂停汽车行业的转型变革。

尽管面临转型变革和严峻市场环境所带来的巨大挑战,博世仍将在燃料电池技术、自动驾驶和汽车电子电气架构等重要的业务增长领域继续进行投资和不断创新,”博世集团董事会成员、汽车与智能交通技术业务部门主席Stefan Hartung博士表示,“今年博世集团在电气化、自动化和互联化交通领域的投入仍将保持高位,预计超过10亿欧元。”

为新能源汽车提供全面的产品

中国是全球最大的新能源汽车市场。博世多年来在这一领域大力投入和开发,为混合动力和电动车提供全面的产品组合,包括电机、电桥、电力电子控制器、车载冲配电单元、48V系统、制动和转向系统等。

目前,博世在中国已经成为除主机厂外出货量最大的电机供应商。今年,博世的电桥和IGBT功率模块将率先实现批量生产,供应给在华客户。同时,为助力中国新能源汽车市场,博世推出了最新研发的碳化硅功率器件。与传统硅基材料产品相比,碳化硅功率器件在实现更高开关频率的同时,保持较低能量损耗和较小芯片面积,为电动汽车和混合动力汽车增加高达6%的续航里程。博世的碳化硅功率器件今年在北京车展首次展示,这也是其在全球范围内首次亮相。

以多样化动力总成技术方案服务中国商用车市场

针对商用车,博世提供多样化动力总成解决方案。一方面,博世继续投资研发高效内燃机技术。不久之前,博世和潍柴宣布成功将潍柴柴油卡车发动机的热效率提升至50%,这意味着发动机技术上的重大创新突破,由此在全球范围内树立了产业新标杆。博世为潍柴提供了最先进的2500巴模块化共轨系统和专业燃油系统技术支持。

此外,博世也正积极推进天然气技术的持续升级,首个天然气国六项目已于2019年实现批量生产,本土开发的大流量燃气喷嘴总成将于今年年底量产。另一方面,博世充分展开电气化布局,技术覆盖商用车电动化以及氢燃料电池等。在此次车展中,博世展出了燃料电池电堆,以及电子空气压缩机、氢气喷射器、氢循环泵等关键零部件,其中电堆是首次在中国展示。这进一步凸显了博世在中国发展氢燃料电池的战略,为此,博世不断投入并推动该技术的本土化发展,以及与本土客户合作。博世中国的燃料电池中心将于今年底建成,预计明年开始实现电堆的小批量生产。

集合专长,提供跨域软件和电子解决方案

随着汽车行业向数字化的转型,车载软件和电子系统正在迅速增长并成为未来汽车发展的关键。博世在汽车电子领域是领先者,并在车载软件领域积累了40年的研发经验,每年的支出达到30亿欧元。博世将于2021年初正式成立全新的智能驾驶与控制事业部,统一为现有客户和新客户提供电子系统和必备软件。该事业部专注于开发面向未来的汽车电子电气架构,统筹车辆计算机、控制单元和传感器。这三者的流畅交互,实现完美兼容并产生优势性的协同效应,在未来汽车发展中将产生决定性作用。应对集中处理车内信息,集成多个操作系统的需求,博世在此次车展上推出的创新产品座舱域控制器,可同时支持多个显示屏,并整合多种功能需求,帮助汽车制造商为用户提供连贯、舒适的驾驶体验。博世的车辆远程升级解决方案也在根据行业的需求持续演进,已经从信息娱乐系统的SOTA升级和全车ECU的FOTA升级,扩展到了支撑车辆全生命周期的远程测量、远程云诊断、大数据平台和算法的整体解决方案。此外,博世正在与中国移动合作孵化FOTA SaaS(Software as a Service),为中小客户提供了快速易用的解决方案。

自动驾驶:创新技术率先在华落地

博世在自动驾驶领域持续投入创新,并与本土伙伴积极推动最新技术在中国的量产和商业化应用。在过去近十年中,博世与本土主机厂在自适应巡航、自动紧急制动、车道保持、自动泊车辅助、交通拥堵辅助、高速公路辅助等诸多驾驶员辅助功能上开展大量本土应用合作。

今年,博世全球首个带自动变道的高速公路辅助增强功能以及依靠智能钥匙或手机实现的遥控泊车技术已经在中国市场实现量产。2021年,由中国本土主导、全球合作开发的全新高速公路辅助功能以及全球首个ADAS商用车项目(车道保持功能)也将在中国投入量产。

在高度自动驾驶方面,博世推进自动代客泊车技术在中国的场景化应用。此前与戴姆勒在北京落地相应的场景应用展示。与此同时,博世也正与广汽研究院等本土主机厂商密切合作,今年,博世进一步将EV机器人充电与自动代客泊车技术相结合,让电动汽车在无需人工干预即可自动完成泊车和充电过程,大幅提高电动车充电桩的利用效率,从而解决电动车里程焦虑。这一开创性技术并将率先在上海进行试点,满足中国用户对未来出行便捷性的需求。

深化中国战略布局:加大本土创新与研发

无论就业务增长或是转型变革而言,中国始终是博世的战略核心市场。在汽车行业面临经济挑战和变革重塑的当下,博世致力于抓住未来增长的市场机遇,为客户提供更有价值的创新产品和解决方案。“博世在中国将继续坚持‘根植本土、服务本土’的长期发展战略,加大本土化创新与研发,结合硬件和软件的优势,助力未来智能交通出行。”博世(中国)投资有限公司执行副总裁徐大全博士表示。

博世在中国目前拥有7800多名研发人员,比上一年增长300多名。博世中国创新与软件研发中心今年已经开始团队工作,其全新大楼不久就将在无锡建成启用,进一步整合并加强中国本土的软件开发能力。博世在上海建立了其全球第7个人工智能中心,推动本土人工智能前沿技术的研发。此外,长沙热管理系统实验室、宁波两轮车生产研发基地也将在今年投入使用。

【TechWeb】9月27日消息,据国外媒体报道,电动汽车制造商特斯拉正在德克萨斯州奥斯汀购买更多土地,以用于未来扩张。

特斯拉

据悉,该公司已经收购了另外一块381英亩的土地,这块土地毗邻该公司的奥斯汀超级工厂所在地。

今年7月份,特斯拉CEO马斯克表示,特斯拉的下一座超级工厂将建在德州奥斯汀。该工厂将是特斯拉继内华达州超级工厂、纽约超级工厂、上海超级工厂和柏林超级工厂之后的第五家工厂,也将是继弗里蒙特工厂、上海工厂和柏林工厂之后的第四家汽车组装工厂。

今年8月份,外媒称,特斯拉花了近1亿美元在奥斯汀买下了一块土地,以建造其德州超级工厂。

据悉,该工厂目前已开始动工建设,并且已开始招人。9月上旬,特斯拉发布了“特拉维斯县科罗拉多河项目合作伙伴资格预审报告”。报告显示,德州超级工厂的“首次试车”定于2020年12月30日,“首次实质性完工”定于2021年5月1日。

据悉,该工厂占地约2000英亩,是该公司迄今为止面积最大的地产,距离奥斯汀机场约5分钟路程,距离奥斯汀市中心约15分钟。

今年9月22日,特斯拉举办了“电池日”活动。在活动上,该公司概述了其生产一种新型电池组的计划。

现在,外媒报道称,特斯拉将在德州工厂所在地附近购买更多土地,这表明该公司可能正在为另一个电池生产厂做准备,这将增加该公司的电池总产量。

特斯拉要在德州工厂附近建一个电池厂的原因是,该公司将要在那生产的电动汽车需要大量电池。

马斯克称,特斯拉德州工厂除了生产其首款电动皮卡Cybertruck和Semi电动半挂卡车外,还将为东海岸的客户生产Model Y跨界车。(小狐狸)