La provincia de Grau fue creada por ley del 28 de abril de 1873, pero su actual nombre lo recibió en 1919 en recuerdo de Rafael Grau, diputado de la provincia que fue brutalmente asesinado por los caciques que desplazó durante su gestión en el Congreso.