近日，在量子位“ MEET 2025 智能未来大会”上，「2024人工智能年度评选」结果正式揭晓。 PPIO派欧云凭借在算法、系统和硬件的协同创新，与无问芯穹、滴滴自动驾驶、思谋、星动纪元等 AI 创新公司共同入选了【2024人工智能年度潜力创业公司】榜单。 PPIO派欧云能够获此殊荣，源自其将人工智能前沿技术、创新商业模式与深刻行业洞察有机结合的卓越表现。随着大模型的兴起，智算中心建设迅速发展，但同时也面临着使用率较低的问题。 自 2023 年上半年大模型创业训练热潮逐渐降温以来，算力结构也随之发生了显著变化。当前，AI 应用需求正在经历深刻变迁。大模型正从以风险投资（VC）驱动的泡沫炒作阶段，逐步走向面向企业（To B）的实际落地阶段，未来有望进一步扩展到面向消费者（To C）的广泛应用。 尽管 AI 的推理成本正在快速下降，但仍 未达到足够低廉的水平，无法普遍覆盖所有应用场景。 PPIO派欧云通过 2024
近日，“第二届人工智能产业应用大会”在中关村国家自主创新示范区展示中心成功举办，大会由中关村智用人工智能研究院、新智引擎主办。 在大会颁奖典礼上，PPIO派欧云通过深入应用于智慧城市场景的“分布式AI智算云项目”，与百川智能、出门问问、作业帮等科技创新企业共同入选了新智引擎发布的“ 2024 人工智能应用标杆”。 “ 2024 人工智能应用标杆”是为了相应国家开展“人工智能+”行动号召，甄选具有高价值、标杆性、真落地的行业典型应用实践。该榜单更加关注 AI 在场景中的实效性和技术先进性，因此入选该榜单的行业应用更加注重实际应用，并且可以为本行业带来更多的经验借鉴。 PPIO派欧云借助已有算力供应商网络，整合和盘活广泛覆盖的分布式算力资源，面对跨区域、跨时间、跨场景的多样化需求，通过智能调度算法结合负载预测技术，实现任务需求与算力资源的动态匹配，显著提升系统资源利用效率。推动人工智能技术在科创园区、高校科研、大型商超、智慧社区、云游戏等场景的应用落地。 未来，PPIO派欧云将继续坚持以“汇聚全球计算资源，并为全世界提供服务”的使命，致力于为人工智能、音视频、元宇宙等新一代场景提供
近日，SegmentFault 思否发布“中国技术先锋年度评选 | 2024 中国新锐技术先锋企业榜单”。作为中国领先的新一代开发者社区，SegmentFault 思否依托上千万开发者用户数据分析，各科技企业在国内技术领域的行为及影响力指标，最终评选出 30 家新锐技术先锋企业。 PPIO派欧云作为中国领先的分布式智算云服务商，入选 30 强之列。 2024 中国新锐技术先锋企业榜隶属于中国技术先锋年度评选，旨在挖掘信奉技术力量、敢于技术创新、践行技术信仰，扎根行业、奋力探索的先锋企业。中国新锐技术先锋企业则面向高成长性的科技型初创公司，他们关注开发者生态、积极在社区贡献，在开发者群体中具备一定关注度及良好口碑，拥有较高成长性。 PPIO派欧云秉承“汇聚全球计算资源，并为全世界提供服务”的使命，致力于为人工智能、音视频、元宇宙等新一代场景提供高性价比、稳定可靠、高效弹性的一站式AI智算、模型及边缘计算服务，助力开发者专注应用创新与增长，推动下一个智能时代的加速到来。 2025 年，PPIO派欧云将继续加强开发者生态建设，服务广大开发者，进而推动企业数字化转型的步伐，与合作伙
https://mp.weixin.qq.com/s/bloe7ZJr1dqln3XHlCaDMA
technology
作者：PPIO派欧云算法专家 张青青 前言 近一年以来，自H2O起，关于KV稀疏的论文便百花齐放，而在实际应用中不得不面临的一个问题便是学术论文与实际应用之间的巨大鸿沟，例如，像vLLM等框架采用的是 PagedAttention 等分页内存，与大部分的稀疏算法都无法与之兼容或者本身性能不如 PagedAttention，类似的种种问题，导致了稀疏算法无法真正的在生产中应用。 我们参考KV稀疏这一方向最近一年的学术论文，结合vLLM框架本身的优化特性，例如 Continuous Batching、FlashAttention、PagedAttention 等，对vLLM框架进行基于KV稀疏的修改，最终基于线上最常用的模型、参数与硬件，与SOTA版本的推理框架进行对比，实现了1.5倍的推理加速。 说到KV稀疏之前，不得不说的便是LLM的 Massive Activations 特性，即在LLM中有很少数的激活值明显活跃于其他的激活，有时候高于其他激活100,000倍以上，换而言之，即少部分的token起到了至关重要的作用，因而可以通过KV稀疏方法（即保留重要的toke
近日，PPIO 派欧云联合创始人兼 CEO 姚欣参加由 CSDN 联合高端 IT 咨询与教育平台 Boolan 举办的「2024 全球产品经理大会」，以「生成式 AI 引领产品创新范式」为主题，分享了他在 AI 时代领悟的全新思考。 会上，姚欣发表名为《生成式AI的产业创新曲线》主题演讲。他指出：“并不会出现某类大模型一统天下。无论是 PC、互联网还是移动互联网，任何行业、产业均呈现一个产业分层结构——底层的基础设施、中层的平台工具、上层的应用服务，自底向上分阶段成熟。生成式人工智能的产业发展亦是如此。 过去几年间，我们亲证了生成式 AI 底层基础设施发展得如火如荼，包括英伟达以及诸多的云服务公司。直至今日，算力基础设施还处于一个大规模增长的过程中，只是下一阶段的发展重点，会从现在很热闹的训练逐渐转向推理。随着算力成本每年 10 倍速下降，会持续解锁应用新场景。
https://mp.weixin.qq.com/s/c430sWyXc2DRssMWX8_j1Q
media
https://www.infoq.cn/article/fhugtAQ12eTiU8uqGgCs
media
https://mp.weixin.qq.com/s/Mn0aK4Z66WMr3042zbLGRg
https://www.tmtpost.com/7240084.html
https://www.lieyunpro.com/archives/494390
recommend
2024年9月4日，由PPIO派欧云主办的“Power to Pioneers · 2024分布式云计算论坛暨 PPIO AI产品发布会”在上海召开。论坛聚焦于分布式云计算的技术创新、产业落地、市场趋势，及其对AIGC规模化应用的推动力。期间，PPIO推出全新的Serverless和模型API服务产品，进一步完善派欧算力云产品矩阵，标志着PPIO的分布式云服务从边缘云延伸到AI基础设施，将为AIGC创新企业和开发者带来更高性价比、弹性、易用的一站式AI基础设施产品和服务。 张江集团党委书记、董事长袁涛；华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授出席本次论坛并致辞。中国信通院云大所政企数字化转型部主任徐恩庆；上海交通大学特聘教授、中国计算机学会系统软件专委副主任、开源鸿蒙技术指导委员会主席陈海波教授分别发表精彩演讲，为分布式云产业发展贡献无尽灵感。 PPIO派欧云联合创始人、董事长兼 CEO姚欣在主题演讲中指出：“遵循尺度定律的基本原理，计算能力将决定大模型创新和应用的上限。在计算资源成本高昂而需求爆增的市场格局下，分布式算力将成为引领下一轮科技革命的重要推动