风花雪月

GPU programming learning resources collection, including NVIDIA GTC conference lectures, CUTLASS library tutorials, CUDA programming books and open source projects, covering from basic to advanced GPU development techniques.

GPU管理和监控命令大全，包括nvidia-smi详细参数说明、GPU状态监控、计算模式设置、功耗限制、时钟频率锁定、进程查询等实用命令和配置方法。

NVIDIA GPU新特性介绍，包括V100的Volta SIMT模型、Cooperative Groups，以及A100的异步拷贝、异步屏障、任务图加速和2:4结构化稀疏等先进技术。

GPU性能分析工具Roofline模型，用于评估GPU计算性能瓶颈，帮助开发者理解计算密度与内存带宽对性能的影响。

机器学习和并行计算相关课程资源汇总，包括MLSys系统课程、GPU并行编程课程链接，以及高性能计算实验室资源，涵盖CMU、EPFL、华盛顿大学等知名院校。

Flash Attention technology explained, including parallelization strategies, work partition optimization, supported head dimensions, and Flash Attention2's fused kernels, matrix tiling, causal masking, and other core optimization techniques.

深度学习归一化方法详解，包括Batch Norm、Layer Norm、Instance Norm、Group Norm四种归一化技术的原理、实现方法和PyTorch代码示例，帮助理解不同归一化策略的应用场景。

大语言模型量化技术综述，包括SmoothQuant、AWQ、LLM.int8、GPTQ、ZeroQuant、LUT-GEMM、SparseGPT等先进量化方法，以及weight-only量化在推理优化中的应用。