Bien que le parti le plus indépendant, et donc celui qui a accès à la sphère publique et politique, soit responsable d’exprimer les revendications de l’ensemble de la communauté, la position sociale, le lieu de résidence et la couleur de peau créent alors un mélange explosif. Au début des années 1920, la rivalité entre les deux hommes fut caricaturée dans la presse comme une opposition entre Marcus Garvey, un Jamaïcain à la peau foncée, et W.E.B. Du Bois, un Afro-Américain à la peau claire. Plus tard, en réponse au linguiste français Roland Barthes, qui souhaitait remplacer le terme « Nègre » par « Personne de couleur », le linguiste afro-américain John Baugh cita Du Bois qui, en 1928, précisait que les noms ne sont que des signes conventionnels pour identifier les choses, mais que la réalité demeure : si les Noirs sont victimes de racisme, c’est en raison de leur couleur et non de leur appellation, laquelle peut d’ailleurs évoluer selon leur statut social.
Le débat peut paraître anecdotique, mais Booker T. Washington, malgré sa peau claire, et surtout Garvey, ont critiqué la prééminence d’une élite (à la peau plus claire) qui considérait cette carnation comme un signe de supériorité sur les autres Noirs, dont elle prétendait pourtant être la porte-parole. La position essentialiste de Garvey, pour qui race et culture sont liées de manière éternelle et immuable, diffère de l’interprétation de Du Bois, qui estime que l’identité africaine des Afro-Américains a été modifiée par le contact avec d’autres groupes ethniques et par l’intégration à la culture américaine. Pour Du Bois, le Noir est noir par origine et américain par nationalité ou culture, mais en cherchant l’intégration, il lutte pour surmonter le complexe imposé par le voile de la couleur qui recouvre cette double identité. Pour Garvey, en revanche, le Noir appartient à la race noire, et les Noirs/Africains du monde entier doivent affirmer fièrement leur appartenance commune à l’Afrique. En affirmant que leur seule nationalité est africaine, ils font du retour sur le continent d’origine une étape vers la reconquête de leur souveraineté.
Du Bois et Garvey incarnent deux manières d’être Noir/Africain. Là où le premier, arborant une moustache à la Bismarck, apparaît comme un dandy occidental, Garvey, paré de son légendaire chapeau à plumes et de sa tenue mussolinienne, projette, lors des défilés de l’UNIA, l’image d’une Afrique conquérante. Tandis que Du Bois semble chercher à mettre en valeur ses racines africaines en insistant sur ses origines familiales françaises et néerlandaises, Garvey fascine par sa capacité à mettre en scène la fierté noire. En fin de compte, Du Bois se demande : qu’est-ce qui me relie à l’Afrique ? La couleur est un élément de connexion, mais le fondement de l’identité noire est, selon lui, « L’héritage social de l’esclavage ; la discrimination et l’insulte ; et cet héritage nous relie non seulement aux enfants d’Afrique, mais s’étend à travers l’Asie et jusqu’aux mers du Sud. C’est cette unité qui m’attire vers l’Afrique ».
Pour l’historienne Ayodele Langley, « Il n’existe pas un seul mouvement panafricain, mais une série de mouvements panafricains qui prennent des formes différentes selon les régions et les dirigeants, mais qui sont largement unis par une idéologie de race et de couleur et par un sentiment d’injustice et d’infériorité ». Ainsi, derrière de nombreuses contradictions liées au fait que son message, de nature populiste, a été librement interprété par ses partisans :
- Garvey, qui présente régulièrement son mouvement comme un « Sionisme Noir », vise à transmettre aux personnes Noires/Africaines du monde entier le message panafricain de la libération de l’Afrique et de l’unité de la race;
- Quant à la pensée de Du Bois, toujours hostile à un mouvement de masse comme celui de Garvey, elle évolue du soutien à l’intégration sur le sol Américain à l’anticolonialisme sur le sol Africain, en passant par le nationalisme Afro-Américain et la lutte pour l’autodétermination des « Personnes de couleur ».
Plus tard, des penseurs critiques comme Padmore ont soutenu que Garvey et Du Bois s’accordaient sur de nombreux points, notamment sur l’idée que la conscience d’appartenir au même groupe ethnique, historiquement victime du racisme, ne devait pas conduire les personnes noires/africaines à un nationalisme étroit ou à un racisme inversé, mais plutôt à un projet politique clair de création d’un État en Afrique, soit dirigé par les personnes Noires/Africaines de la diaspora, soit en solidarité avec les personnes Noires/Africaines restées sur le continent. Sur ce dernier point, il convient de noter que le slogan de Garvey n’était pas « Retour en Afrique, mais l’Afrique aux Africains ». À une époque où le continent était colonisé par les puissances Européennes, cette distinction était cruciale : les personnes Noires/Africaines devaient non seulement retourner en Afrique, mais surtout y retrouver leur souveraineté. Cela explique la popularité de Garvey, dès l’entre-deux-guerres, sur le continent Africain, et particulièrement dans les colonies (Kenya, Ghana, Etc.).
Après avoir lu la Philosophie et les Opinions de Marcus Garvey (1926), le président ghanéen Kwame Nkrumah a précisé en avril 1960, au moment charnière où la plupart des pays Noirs/Africains accédaient à l’indépendance, que le concept Garveyiste d’une Afrique aux Africains ne signifiait pas l’exclusion des autres groupes ethniques, mais que ces derniers devaient se soumettre démocratiquement à la majorité Noire/Africaine.
