À cette époque, il était difficile pour les Noirs/Africains d’accéder à l’éducation aux États-Unis. Ses parents l’envoyèrent alors à Édimbourg, en Écosse, pour étudier le génie mécanique. À son retour en Amérique du Nord, il trouva un emploi de chauffeur de locomotive à la Michigan Railroad Company. Le chauffeur était chargé de pelleter le charbon pour alimenter la locomotive et de lubrifier les pièces mobiles lors des nombreux arrêts.
Elijah comprit rapidement qu’il pouvait mettre à profit ses connaissances et sa formation pour améliorer le processus de lubrification. Il conçut et breveta un godet de lubrification très spécial qui déposait de l’huile sur les pièces mobiles d’un train en marche. Bien que l’origine de l’expression soit probablement plus ancienne, il semblerait que les acheteurs du godet de lubrification aient spécifiquement demandé l’original (le « Vrai McCoy »), car ce produit était extrêmement fiable et ils ne voulaient aucune imitation.
Ce n’était là qu’un des produits qu’il a développés et brevetés. Par exemple, pour répondre au désir de sa femme de pouvoir repasser plus facilement ses vêtements, il a inventé et breveté la table à repasser portable. Elijah McCoy détenait plus de 50 brevets, non seulement au Canada et aux États-Unis, mais aussi en France, en Autriche, en Allemagne, en Grande-Bretagne et en Russie.
