近日，“万千流变，一如既往” 2024 甲子引力年终盛典在北京中关村国家自主创新示范区展示中心举办。 70 多位科技行业重要嘉宾带来了关于人工智能、机器人、科学智能、新质生产力等领域的最新分享和深刻洞见，其中大量内容为行业首发。 现场，PPIO派欧云联合创始人兼CEO，姚欣为观众带来了主题为《PPIO派欧云实践与洞察：从算力过剩到推理制胜》的分享。 姚欣认为如今大模型虽点燃智算中心建设，但也面临使用率较低的问题，同时需求侧从 2023 年上半年的大模型创业训练热到后来热度降温，算力结构发生转变。 当前 AI 应用需求正在发生变迁，大模型正从 To VC 泡沫炒作阶段走向 To B 落地阶段，未来可能走向 To C 阶段，当前制约在于 AI 推理成本，成本降低后将迎来应用爆发。企业可以进行推理成本优化，包括硬件降本（如硬件梯次利用）、算力调度（按需求波峰波谷配置资源）和推理加速。 同时姚欣预计，2025 -
高校是原创性创新的核心源头，企业是检验和放大科研成果的舞台。 当“顶尖头脑”遇到“真实工况”，正碰撞出振奋人心的火花。 新技术成功转化并非一蹴而就，而是无数次的沟通、试验和改进的结果，也为其科学家们志于将科研成果“落地生根”的团队树立了范例。 随着更多高校与企业间的合作逐渐加深，越来越多的科学研发之花将为产业发展注入崭新活力，让智慧的种子在更广阔的土壤里茁壮成长。 近日，“万千流变，一如既往” 2024 甲子引力年终盛典在北京中关村国家自主创新示范区展示中心举办。 在圆桌对话《科技成果转化: 如何将科技创新带出高校》中，PPIO派欧云首席科学家（天津大学教授、博导）王晓飞，影眸科技联合创始人、CTO 张启煊，中科院计算所数字内容合成与伪造检测实验室主任、中科睿鉴创始人曹娟，西湖大学深度学习实验室成果转化负责人、西湖心辰 CEO 醒辰，清智资本创始合伙人张煜与主持人中国科学院大学金融校友联合会副秘书长兼 AI 专委会主任郭晓乐，分享了他们对于科技成果从学术到产业转化的见解和经验。 王晓飞谈到从学术到商业的转换必须伴随心态和战略的根本变化。 他分享了自己作为首席科学家在
近日，在量子位“ MEET 2025 智能未来大会”上，「2024人工智能年度评选」结果正式揭晓。 PPIO派欧云凭借在算法、系统和硬件的协同创新，与无问芯穹、滴滴自动驾驶、思谋、星动纪元等 AI 创新公司共同入选了【2024人工智能年度潜力创业公司】榜单。 PPIO派欧云能够获此殊荣，源自其将人工智能前沿技术、创新商业模式与深刻行业洞察有机结合的卓越表现。随着大模型的兴起，智算中心建设迅速发展，但同时也面临着使用率较低的问题。 自 2023 年上半年大模型创业训练热潮逐渐降温以来，算力结构也随之发生了显著变化。当前，AI 应用需求正在经历深刻变迁。大模型正从以风险投资（VC）驱动的泡沫炒作阶段，逐步走向面向企业（To B）的实际落地阶段，未来有望进一步扩展到面向消费者（To C）的广泛应用。 尽管 AI 的推理成本正在快速下降，但仍 未达到足够低廉的水平，无法普遍覆盖所有应用场景。 PPIO派欧云通过 2024
News
近日，“第二届人工智能产业应用大会”在中关村国家自主创新示范区展示中心成功举办，大会由中关村智用人工智能研究院、新智引擎主办。 在大会颁奖典礼上，PPIO派欧云通过深入应用于智慧城市场景的“分布式AI智算云项目”，与百川智能、出门问问、作业帮等科技创新企业共同入选了新智引擎发布的“ 2024 人工智能应用标杆”。 “ 2024 人工智能应用标杆”是为了相应国家开展“人工智能+”行动号召，甄选具有高价值、标杆性、真落地的行业典型应用实践。该榜单更加关注 AI 在场景中的实效性和技术先进性，因此入选该榜单的行业应用更加注重实际应用，并且可以为本行业带来更多的经验借鉴。 PPIO派欧云借助已有算力供应商网络，整合和盘活广泛覆盖的分布式算力资源，面对跨区域、跨时间、跨场景的多样化需求，通过智能调度算法结合负载预测技术，实现任务需求与算力资源的动态匹配，显著提升系统资源利用效率。推动人工智能技术在科创园区、高校科研、大型商超、智慧社区、云游戏等场景的应用落地。 未来，PPIO派欧云将继续坚持以“汇聚全球计算资源，并为全世界提供服务”的使命，致力于为人工智能、音视频、元宇宙等新一代场景提供
近日，SegmentFault 思否发布“中国技术先锋年度评选 | 2024 中国新锐技术先锋企业榜单”。作为中国领先的新一代开发者社区，SegmentFault 思否依托上千万开发者用户数据分析，各科技企业在国内技术领域的行为及影响力指标，最终评选出 30 家新锐技术先锋企业。 PPIO派欧云作为中国领先的分布式智算云服务商，入选 30 强之列。 2024 中国新锐技术先锋企业榜隶属于中国技术先锋年度评选，旨在挖掘信奉技术力量、敢于技术创新、践行技术信仰，扎根行业、奋力探索的先锋企业。中国新锐技术先锋企业则面向高成长性的科技型初创公司，他们关注开发者生态、积极在社区贡献，在开发者群体中具备一定关注度及良好口碑，拥有较高成长性。 PPIO派欧云秉承“汇聚全球计算资源，并为全世界提供服务”的使命，致力于为人工智能、音视频、元宇宙等新一代场景提供高性价比、稳定可靠、高效弹性的一站式AI智算、模型及边缘计算服务，助力开发者专注应用创新与增长，推动下一个智能时代的加速到来。 2025 年，PPIO派欧云将继续加强开发者生态建设，服务广大开发者，进而推动企业数字化转型的步伐，与合作伙
https://mp.weixin.qq.com/s/bloe7ZJr1dqln3XHlCaDMA
technology
作者：PPIO派欧云算法专家 张青青 前言 近一年以来，自H2O起，关于KV稀疏的论文便百花齐放，而在实际应用中不得不面临的一个问题便是学术论文与实际应用之间的巨大鸿沟，例如，像vLLM等框架采用的是 PagedAttention 等分页内存，与大部分的稀疏算法都无法与之兼容或者本身性能不如 PagedAttention，类似的种种问题，导致了稀疏算法无法真正的在生产中应用。 我们参考KV稀疏这一方向最近一年的学术论文，结合vLLM框架本身的优化特性，例如 Continuous Batching、FlashAttention、PagedAttention 等，对vLLM框架进行基于KV稀疏的修改，最终基于线上最常用的模型、参数与硬件，与SOTA版本的推理框架进行对比，实现了1.5倍的推理加速。 说到KV稀疏之前，不得不说的便是LLM的 Massive Activations 特性，即在LLM中有很少数的激活值明显活跃于其他的激活，有时候高于其他激活100,000倍以上，换而言之，即少部分的token起到了至关重要的作用，因而可以通过KV稀疏方法（即保留重要的toke
近日，PPIO 派欧云联合创始人兼 CEO 姚欣参加由 CSDN 联合高端 IT 咨询与教育平台 Boolan 举办的「2024 全球产品经理大会」，以「生成式 AI 引领产品创新范式」为主题，分享了他在 AI 时代领悟的全新思考。 会上，姚欣发表名为《生成式AI的产业创新曲线》主题演讲。他指出：“并不会出现某类大模型一统天下。无论是 PC、互联网还是移动互联网，任何行业、产业均呈现一个产业分层结构——底层的基础设施、中层的平台工具、上层的应用服务，自底向上分阶段成熟。生成式人工智能的产业发展亦是如此。 过去几年间，我们亲证了生成式 AI 底层基础设施发展得如火如荼，包括英伟达以及诸多的云服务公司。直至今日，算力基础设施还处于一个大规模增长的过程中，只是下一阶段的发展重点，会从现在很热闹的训练逐渐转向推理。随着算力成本每年 10 倍速下降，会持续解锁应用新场景。
https://mp.weixin.qq.com/s/c430sWyXc2DRssMWX8_j1Q
https://www.infoq.cn/article/fhugtAQ12eTiU8uqGgCs
media
https://mp.weixin.qq.com/s/Mn0aK4Z66WMr3042zbLGRg
media
https://www.tmtpost.com/7240084.html