Нет, не правы. Вам нужно было аннулировать трудовой договор.
В соответствии со ст. 61 ТК РФ работник обязан приступить к исполнению трудовых обязанностей со дня, определенного трудовым договором, или на следующий день после его подписания. Если работник не приступил к работе в день ее начала, то работодатель имеет право аннулировать трудовой договор. Аннулированный трудовой договор считается незаключенным.