Carmichael nació en Glasgow , hijo de George Carmichael, uno de los miembros fundadores del Partido Laborista Independiente , y Jane McCann Carmichael. se educó en el Scottish Labor College y trabajó como ingeniero constructor, agente de seguros y secretario. Durante catorce años, actuó como secretario de organización del Partido Laborista Independiente Escocés (ILP). Sirvió en el Ayuntamiento de Glasgow de 1939 a 1946.
Fue elegido por Glasgow Bridgeton en una elección parcial en 1946 , después de la muerte de James Maxton , líder del ILP. Era el candidato del ILP y venció por poco al candidato del Partido Laborista para ganar las elecciones parciales. Sin embargo, esta elección parcial fue el " canto del cisne " del ILP ; él y los otros dos diputados del ILP desertaron al Partido Laborista en varios momentos en 1947 y dejó de ser una fuerza electoral seria después de esto.
Carmichael se retiró como diputado en 1961. Los laboristas ganaron las elecciones parciales para reemplazarlo, pero fue una de las primeras elecciones en las que el Partido Nacional Escocés (SNP) ganó una votación significativa, anunciando nuevos avances en la década de 1960.
Su hijo era Neil Carmichael , quien también fue diputado laborista de Glasgow durante varios años, y más tarde fue nombrado compañero vitalicio como Lord Carmichael de Kelvingrove. Su yerno era el diputado laborista Hugh Brown . [1]