Abstract
State of the art convolutional neural networks provide high accuracy in solving a wide range of problems. Usually it is achieved by a significant increasing their computational complexity and the representation of the network parameters in single-precision floating point numbers. However, due to the limited resources, the application of networks in embedded systems and mobile applications in real time is problematic. One of the methods to solve this problem is to reduce the bit depth of data and use integer arithmetic. For this purpose, the network parameters are quantized. Performing quantization, it is necessary to ensure a minimum loss of recognition accuracy. The article proposes to use an optimal uniform quantizer with an adaptive step. The quantizer step depends on the distribution function of the quantized parameters. It reduces the effect of the quantization error on the recognition accuracy. There are also described approaches to improving the quality of quantization. The proposed quantization method is estimated on the CIFAR-10 database. It is shown that the optimal uniform quantizer for CIFAR-10 database with 8-bit representation of network parameters allows to achieve the accuracy of the initial trained network.
Highlights
Современные архитектуры сверточных нейронных сетей обеспечивают высокую точность при решении большого круга задач
Некоторые результаты проектирования сверточных нейронных сетей (СНС) [3,4,5] не только улучшили точность распознавания изображений, но и стали использоваться как генераторы признаков для других задач, таких как обнаружение объектов, локализация объектов [6] и задачи семантической сегментации [7]
New types of deep neural network learning for speech recognition and related applications: an overview
Summary
Современные архитектуры сверточных нейронных сетей обеспечивают высокую точность при решении большого круга задач. Это достигается за счет значительного увеличения их вычислительной сложности и представления параметров сети в числах с плавающей точкой одинарной точности. Что оптимальный равномерный квантователь на выборке CIFAR‐10 при 8-битном представлении параметров сети позволяет достичь точности исходной обученной сети. Относительно хорошо исследованным методом ускорения вычислений сверточных нейронных сетей является переход от вычислений с плавающей точкой к целочисленной арифметике. Исследования показывают [8], что для некоторых задач распознавания использование 8–16-битной целочисленной арифметики дает хороший прирост производительности без существенной потери точности. В то время как второй подход позволяет создавать сети с превосходной точностью, используя при этом, например, лишь бинарные веса [9], это требует более сложного процесса обучения и проектирования сетей и не всегда представляется возможным. Далее описаны общие подходы и рекомендации к построению оптимального равномерного квантователя для преобразования обученной модели, а также приведены результаты применения квантователя для модели CIFAR‐10
Sign-in/Register to view highlights & summary Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callDisclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
