Puis son destin bascule en 1962 lorsque, sous la présidence de Léopold Sédar Senghor, il est accusé de complot contre l’État, aux côtés de Mamadou Dia, maître Ndiaye passe alors douze ans en prison, coupé de sa famille, sa femme et ses enfants sont expulsés sans ménagement du Sénégal vers la France.
Aujourd’hui encore, cet épisode dramatique de l’histoire du Sénégal reste un sujet sensible et certains continuent de s’interroger sur le sens de cette élimination dans un pays naissant qui était alors considéré comme un modèle de démocratie. Après sa libération en 1974, Valdiodio N’diaye reprend sa carrière d’avocat à Dakar. En 1981, il participe à la fondation du Mouvement démocratique populaire (MDP) avec Mamadou Dia, mais le quitte en 1983 et rejoint le Parti socialiste (PS).
Lors de l’élection présidentielle sénégalaise de 1983, il soutient le président sortant Abdou Diouf. Il décède l’année suivante, le 5 mai 1984, à l’hôpital principal de Dakar, il est inhumé à Kaolack, sa ville natale, dont il fut longtemps maire.
