对于需要运行生成式 AI 工作负载的企业来说，基于英特尔至强处理器的 Aible 无服务器解决方案可帮助其降低成本、提高智能化，并有效提升 RAG 及微调效率
近日，英特尔与端到端 Serverless（无服务器）生成式 AI 和增强型分析方案提供商 Aible 合作，为企业客户提供了创新的解决方案，助力其在不同代际的英特尔 ® 至强 ® CPU 上运行生成式 AI 与检索增强生成（RAG）用例。此次合作包含了工程优化和基准测试项目，显著增强了 Aible 以低成本为企业客户提供生成式 AI 结果的能力，并帮助开发人员在应用中部署 AI。在双方的通力合作下，该可扩展、高效的 AI 解决方案可通过高性能硬件帮助客户迎接 AI 挑战。
英特尔至强处理器
英特尔数据中心与人工智能事业部高级首席工程师 Mishali Naik 表示：“现在，客户正在寻求高效的企业级解决方案以充分释放 AI 潜力。我们与 Aible 的合作，也表明了英特尔正与行业紧密协作，推动 AI 创新，降低客户使用英特尔至强处理器运行最新生成式 AI 工作负载的门槛。”
至强处理器的生成式 AI 性能：Aible 的解决方案展示了 CPU 如何显著提升从运行语言模型至 RAG 的一系列最新 AI 工作负载性能。基于针对英特尔处理器的优化，Aible 技术采用高效、智能的“端到端无服务器”方法，仅在产生用户请求时才会进行资源消耗。例如，基于用户查询，向量数据库仅需几秒即可激活并检索相关信息，而语言模型同样只需简单启动即可处理并响应用户请求，这种按需操作的运行模式有助于企业降低总拥有成本（TCO）。
虽然在多数情况下，RAG 功能需通过利用 GPU 和加速器的并行处理能力来实现，但 Aible 的无服务器技术与英特尔至强处理器相结合，可使 RAG 用例完全由 CPU 来驱动。性能数据显示，多款不同代际的英特尔至强处理器均可高效运行 RAG 工作负载。
配置详细信息如图，结果可能会有不同
重要意义：Aible 通过无服务器的方式使用 CPU，可在多个客户之间更为安全地共享底层计算资源，从而帮助客户有效降低生成式 AI 项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力，而非直接租赁发电机。此外，随着生成式 AI 需求的增长，性能优化和节能降耗变得愈发重要。Aible 所提供的基于 CPU 的服务，为客户提供了一种经济、高效的解决方案。
根据 Aible 的基准测试分析，当客户采用基于 CPU 的无服务器解决方案运行 RAG 模型时，成本节省可高达 55 倍 1。大幅降低的成本证明了 Aible 独家方法的有效性，同时这种无服务器的 CPU 采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于 GPU 的基础设施需求。
此次英特尔及英特尔实验室与 Aible 的合作，共同优化了至强处理器上的 AI 工作负载。值得一提的是，通过优化 Aible 针对 AVX-512 的代码，Aible 在至强处理器上实现了显著的性能及吞吐量提升，这也彰显了战略性的软件优化对于整体效率的影响。
在 Aible 平台的支持下，RAG 模型与英特尔至强处理器的结合可推动以下应用落地：
●自然语言处理（NLP）
●推荐系统
● 决策支持系统
●内容生成
英特尔与 Aible 的合作始于第四代至强处理器的发布。此后，双方针对至强处理器的 AI 工作负载、代码和库进行了一系列优化，并大幅提升了 Aible 的产品性能。
1 英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。
配置详情：
1 节点，2x 英特尔 ® 至强 ®Platinum 8280L CPU，2.70GHz, 28 核心，HT 开启，Turbo 开启，NUMA 2，集成加速器可用 [已使用]：DLB 0 [0]，DSA 0 [0]，IAA 0 [0]，QAT 0 [0]，总内存 384GB (12x32GB DDR4 2933 MT/s [2934 MT/s])，BIOS SE5C620.86B.02.01.0017.110620230543，微码 0x5003604，2x 以太网连接 X722 用于 10GBASE-T，1x 894.3G 英特尔 SSDSC2KB96，1x 1.8T 英特尔 SSDPE2KX020T8，2x 3.7T 英特尔 SSDPE2KX040T8，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible 端到端 RAG-LLM，模型 = Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI 基础容器 2024.0.1-devel-ubuntu22.04。基于英特尔 03/07/24 的测试。
1 节点，2x 英特尔 ® 至强 ®Platinum 8462Y+，32 核心，HT 开启，Turbo 开启，NUMA 2，集成加速器可用 [已使用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，总内存 512GB (16x32GB DDR5 4800 MT/s [4800 MT/s])，BIOS 05.12.00，微码 0x2b0004d0，2x BCM57416 NetXtreme-E Dual-Media 10G RDMA 以太网控制器，2x 以太网控制器 E810-C for QSFP，2x 3.5T 三星 MZQL23T8HCLS-00B7C，1x 1.8T 三星 MZ1L21T9HCLS-00A07，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible 端到端 RAG-LLM，模型 = Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI 基础容器 2024.0.1-devel-ubuntu22.05。基于英特尔 03/07/24 的测试。
1 节点，2x 英特尔 ® 至强 ®PLATINUM 8562Y+，32 核心，HT 开启，Turbo 开启，NUMA 2，集成加速器可用 [已使用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，总内存 512GB (16x32GB DDR5 5600 MT/s [5600 MT/s])，BIOS 3B05.TEL4P1，微码 0x21000161，2x 以太网控制器 X710 用于 10GBASE-T，2x 以太网控制器 E810-C for QSFP，1x 894.3G 英特尔 SSDSC2KG96，1x 3.5T 三星 MZQL23T8HCLS-00A07，3x 3.5T 三星 MZQL23T8HCLS-00B7C，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible 端到端 RAG-LLM，模型 = Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI 基础容器 2024.0.1-devel-ubuntu22.06。基于英特尔 03/07/24 的测试。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。