Performs element-wise addition of two tensors lhs and rhs and produces a result tensor. This operation is private to the XLA compiler, so it is does not yet have a specification. Informally, this operation two operands: a data operand and a token. The output of …

MHLO："meta"-HLO dialect，是HLO风格的MLIR dialect， 并且在IR上扩展支持了dynamic shape。 XLA HLO 的shape是静态不可变的，不同shape需要重新编译；MHLO支持动态shape，IR本身有能力表达shape计算和动态shape信息的传递。

MLIR-HLO aims to provide an end-to-end compiler for CPU and GPU, as well as building reusable blocks for other accelerators. This is heavily inspired by the success of XLA.

elementwise fusion是AI compiler backend非常重要的一个功能，chip-off hbm的memory访问，除此之外还能有效的降低hbm memory peak，这些稍后会给出例子。 目前我接触到的elementwise fusion的实现有三种：1.tensorflow xla后端基于hlo实现的fusion框架（毕竟tf工业级软件，这个框架及其易用并且具备良好的扩展性）。 2.mhlo中基于mhlo Dialect 实现的elementwise fusion，具体代码： github.com/tensorflow/m 这是阿里同学的一个实现，我有幸在其中修过一个bug，这也 …

2023年4月22日 · MHLO是HLO风格的MLIR方言，支持动态形状。 LMHLO是LHLO和MHLO的结合，用于代码生成。 整个过程包括HLO的优化、缓冲区分配、转换为LMHLO，最终生成LLVMIR。 xla基本编译流程如下： HLO（High Level Optimizer），是XLA IR。 XLA支持一组 正交 的基础operators（原子算子），其他的operators都可以由这组基础算子组合而成。 HLO IR是分层的嵌套结构，由以下三个层次组成： HloModule：HLO IR最高层的表示，可以理解成整个程序。 一 …

IREE-specific dialects 主要用于组织计算有效载荷，目前可以表示为MHLO、TOSA、Linalg-on-tensors等。 大多数转换都发生在 Linalg Dialect 中，在 tensor 或者 buffer 级别，以及 bufferization 过程(tensor向buffer转换)。

2023年8月15日 · MHLO、TOSA 层面是为了「屏蔽非常多的框架」信息，起到「沙漏」的作用，以形成某种协调的「规范」（个人理解类似ONNX角色，是第一层屏蔽的协议） 也对应于PaddleDialect，但仅对应于「规范的」Type和Operation子集。

StableHLO 是一个用于机器学习（ML）模型中高级操作（HLO）的操作集。 本质上，它是一个在不同 ML 框架和 ML 编译器之间的可移植层：生成 StableHLO 程序的 ML 框架与消费 StableHLO 程序的 ML 编译器兼容。 我们的目标是简化并加速 ML 开发，通过在各种 ML 框架（如 TensorFlow、JAX 和 PyTorch）和 ML 编译器（如 XLA 和 IREE）之间创建更多的互操作性。 StableHLO 基于 MHLO 方言，并通过包括序列化和版本控制在内的额外功能对其进行了增强。 …

2024年7月16日 · MHLO：”meta”-HLO dialect，是HLO风格的MLIR dialect， 并且在IR上扩展支持了dynamic shape。XLA HLO的shape是静态不可变的，不同shape需要重新编译；MHLO支持动态shape，IR本身有能力表达shape计算和动态shape信息的传递。 LMHLO：”late”-“meta”-HLO dialect。是LHLO风格的MLIR dialect。

StableHLO is an operation set for high-level operations (HLO) in machine learning (ML) models. Essentially, it's a portability layer between different ML frameworks and ML compilers: ML frameworks that produce StableHLO programs are compatible with ML compilers that consume StableHLO programs.