聊聊CPU推理：AI算力配置新范式
在当前的人工智能领域，尤其是涉及到深度学习的推理阶段，行业普遍认为GPU是仅有的选择。然而，GPU的成本相对较高，且对于某些特定的应用场景，其高昂的价格和较高的能耗成为了一大负担。
相比之下，CPU作为一种性价比极高的推理硬件，逐渐进入了人们的视野，尤其是在对结果准确度有较高要求且需要考虑成本效益的行业中，如制造业、图像处理与分析等。经过数年的内部研究，阿丘科技的工业AI视觉算法平台软件AIDI已经成功验证了CPU推理的可行性，为行业提供了新的解决方案。
具体应用场景
01旧产线改造
许多制造企业的生产线启动时间较早，初期采用的传统算法并不过多依赖于GPU资源。随着时间的发展，这些产线的主板可能法支持新增的GPU、NPU、TPU等加速卡。
在这种情况下，如果企业希望在其生产线上添加AI检测功能，全面更换工控机会导致成本激增，并延长上线周期。通过使用AIDI提供的CPU推理模式，企业可以迅速现AI检测功能的上线，同时避免了高昂的硬件升级费用。
02轻量型项目
对于一些新的项目，尤其是那些算力需求较小的场景（如图像小于500万像素，仅需进行图像分类或单图推理，且可接受100毫秒的延迟），使用单个GPU卡往往法达到满负荷运行的状态，从而造成资源浪费。
这类项目非常适合采用CPU进行推理，训练阶段则可以利用GPU工控机或云端资源。这种方法不仅能够显著降低硬件采购成本，还能确保项目的顺利推进。
03旧产线改造的具体情形
如下图所示，通过传统算法进行项目的测量与检测，硬件配置主要为CPU+内存+主板。
目前，旧产线改造通常有以下两种情形。
情形一：硬件配置基本不变，即CPU+内存+主板，通过传统算法做测量，而利用AI算法做外观检测。
图：情形一
情形二：硬件配置基本不变，即CPU+内存+主板，通过传统算法做测量与外观检测，而利用AI算法做缺陷复判。
图：情形二
AIDI-CPU推理的势
01推理速度比肩GTX1060，500万图像像素级推理仅需50ms
AIDI的CPU推理在速度方面表现出色，其底层采用DefectNet络+Aqinfer推理引擎的创新模式。
DefectNet络专门针对工业数据的特性而设计，具备轻量且检测能力强的特点。Aqinfer自研推理引擎则针对工业场景中图像分辨率高、目标小的特点，在原本就较高的推理速度基础上，进一步化计算速度。
02节省硬件成本，降低耗能风险
CPU在市场上供应充足，价格相对更为亲民，相较于一些高性能GPU，CPU的获取成本更低。对于企业来说，尤其是预算有限的中小企业，选择CPU推理可以在不牺牲太多性能的前提下，大幅降低硬件采购成本。
以一家小型服装加工厂为例，在引入AI检测系统时，如果选择GPU方案，高昂的硬件成本可能使其望而却步；而采用CPU推理方案，仅需利用现有的工控机资源，就能现基本的质量检测功能。
同时，GPU的高功耗不仅增加了企业的用电成本，还会导致设备硬件容易因过热等问题而损坏。相比之下，CPU的功耗较低，运行更加稳定，能够有效降低企业的能耗风险和设备维护成本。在长期运行过程中，这一势将为企业节省大量的资金和人力投入。
03速验证，减少额外投资
利用CPU进行AI推理，企业可以充分挖掘既有平台的空闲算力，避免了为新的算力需求而进行大规模的额外投资。在项目的初期验证阶段，CPU推理能够速搭建起一个低成本的测试环境，帮助企业速验证AI算法的可行性和有效性。例如，视觉团队可以先在现有的服务器上利用CPU进行算法验证，根据验证结果再决定是否需要进一步投资更强大的GPU算力。
成功案例
在某胶体检测项目中，产品的检测项涵盖少胶、溢胶、断胶、漏胶等关键指标。老设备方案中，胶水识别采用的是传统算法，但在际应用中，偶尔会出现定位不准的问题，这对产品质量产生了一定的影响。为了提高检测精度，降低过检率，企业决定引入AI检测方案。
由于新增GPU需要对工控机配置进行复杂的修改，并且采购流程耗时较长，为了确保产线的正常运行，不耽误生产进度，项目团队比较终选择了CPU推理方案。经过际测试和验证，该方案能够直接上线，并且取得了令人满意的效果。
在此次项目中，图像分辨率为1000W，客户要求的CT（CycleTime，周期时间）为1000ms，而际CT时间仅为500ms，单图推理时间更是缩短至100ms，完全满足了上线要求。这一案例充分证明了阿丘科技AIDI的CPU推理在际工业场景中的可行性和有效性，为其他类似项目提供了宝贵的参考经验。
综上，CPU推理作为AI算力配置的新范式，在特定的应用场景中展现出了独特的势。随着技术的不断发展和化，相信阿丘科技AIDI的CPU推理将在更多领域得到广泛应用，为企业的智能化转型提供更加经济、高效的解决方案。
想要在市场上大有作为，电子元件缺陷检测就要在原有的基础上加大力度进行产品的升级换代以便适应消费者的消费需求。数之联专注于大数据与人工智能技术的研发和应用的企业数字化转型服务商,提供大数据审计分析云平台,全链路数据资产管理平台,助力客户提升管理和服务的智慧化水平,实现降本提质增效。https://www.unionbigdata.com/https://img.wds168.cn/comdata/85080/202412/2024120909491809ee72.jpg
页:
[1]