Non, non, non, you cannot say -

ils ne sont pas des frères 

just like you cannot say 

il n'est pas mon oncle/mon père/mon frère etc.

because of the determiner 'des' 'mon' etc.

You could at a pinch say:

Ils ne sont pas frères 

but my instinct made me write:

ce ne sont pas des frères 

for they are not brothers.

In the case of a boy and girl cat or child, you could say -

Ils sont frère et sœur = They are brother and sister 

I wouldn't use 'ce sont' here.

This is an old chestnut that recurs time and time again and we are reviewing the appropriate lessons to try and clarify matters.

Hope this helps!