对GPU进行性能优化时,cudagraph是绕不开的话题。
不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。
NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。
本文尝试从底层原理出发,根据文档 和 …。
看人。 像我老婆这种天生贤妻良母圣体+反应迟钝的人,请男私教...
一个2TB的移动硬盘,里面有6万张美女图片,好家伙居然有几十...
作为一个程序员,从amd zen第一代开始用,遇到过如下这些...
说句实话,没有搞懂小米做澎湃OS的技术原理。 我找了很多资...
我腰5骶1突出,脚麻退疼,五管齐下,两个多月(不含急性期),...
不好。 虽然我177高,但我胖啊,,最胖时候有87公斤吧,...