MULTIPLIER AND ADDER IN SYSTOLIC ARRAY

• Main Authors: NAI, Lifeng, YOON, Doe
• Format: Patent
• Language: English; French
• Published: 19.01.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

The subject matter described herein provides systems and techniques for the design and use of multiply-and- accumulate (MAC) units to perform matrix multiplication by systolic arrays, such as those used in accelerators for deep neural networks (DNNs). These MAC units may take advantage of the particular way in which matrix multiplication is performed within a systolic array. For example, when a matrix A is multiplied with a matrix B, the scalar value, a, of the matrix A is reused many times, the scalar value, b, of the matrix B may be streamed into the systolic array and forwarded to a series of MAC units in the systolic array, and only the final values and not the intermediate values of the dot products, computed for the matrix multiplication, may be correct. MAC unit hardware that is particularized to take advantage of these observations is described herein. La présente invention concerne des systèmes et des techniques pour la conception et l'utilisation d'unités de multiplication et d'accumulation (MAC) pour effectuer une multiplication matricielle au moyen de réseaux systoliques, tels que ceux utilisés dans des accélérateurs pour des réseaux de neurones artificiels profonds (DNN). Ces unités MAC peuvent tirer avantage de la manière particulière dans laquelle une multiplication matricielle est effectuée dans un réseau systolique. Par exemple, lorsqu'une matrice A est multipliée par une matrice B, la valeur scalaire, a, de la matrice A est réutilisée plusieurs fois, la valeur scalaire, b, de la matrice B peut être diffusée en continu dans le réseau systolique et transmise à une série d'unités MAC dans le réseau systolique, et seules les valeurs finales et non les valeurs intermédiaires des produits scalaires, calculées pour la multiplication matricielle, peuvent être correctes. L'invention concerne également un matériel d'unité MAC qui est conçu pour tirer parti de ces observations.