According to Larousse, Collins and Academie-françiase, « serre-tête » is invariable. Word Reference and Robert list «serre-têtes», but it is not the 'official version' apparently.
From the Académie :SERRE-TÊTE. n. m.■ Ruban ou coiffe dont on se serre la tête. Des serre-tête.