Carmack cresceu em Shawnee Mission, Kansas, parte da área metropolitana de Kansas City, e se interessou em computadores desde pequeno. Ele se formou no ensino médio em Shawnee Mission East High School. Depois ele estudou na Universidade de Missouri por dois semestres antes de sair para trabalhar como programador freelancer.

Softdisk em Shreveport, Louisiana contratou Carmack para trabalhar na Softdisk G-S (uma publicação sobre Apple IIGS), unindo ele com John Romero e outros futuros membors da id Software como Adrian Carmack (não tem nada a ver com John Carmack apesar do sobrenome). Mais tarde, esta mesma equipe seria encarregada de um novo produto chamado Gamer's Edge para a plataforma IBM-PC (MS-DOS). Em 1990, ainda na Softdisk, Carmack, Romero, e outros criaram o primeiro jogo da série Commander Keen. A série foi publicada pela Apogee Software, sob o modelo de distribuição shareware, de 1991 em diante. Logo depois, Carmack saiu da Softdisk para co-fundar a id Software, onde ele permanece até hoje.

As obras de programação mais notáveis de Carmack estão na área dos jogos de tiro em primeira pessoa. Sua habilidade de programação contribuiu para o desenvolvimento de jogos importantes deste gênero: Wolfenstein 3D, Doom, Quake, e também suas novas versões (incluindo Doom 3 e o resto da série Quake).

Ele foi pioneiro no uso de várias técnicas de gráficos de computador, incluindo partição binária do espaço (ou BSP) no qual Doom se tornou o primeiro jogo a usar, surface caching que foi inventado para o Quake, e Carmack's Reverse que foi planejado para o Doom 3 (este úlitmo não foi inventado por ele, ele descobriu por conta própria).

As engines de Carmack também foram licenciadas para serem usadas em outros jogos de tiro de primeira pessoa como Half-Life e Medal of Honor.

Carmack é um advogado famoso pelo open source software (software de código aberto) e já declarou várias vezes sua oposição às patentes de software. Ele também contribuiu para projetos open source, como o port do X Window System para o Mac OS X Server e o aperfeiçoamento dos drivers de OpenGL para o Linux pelo projeto Utah GLX.

Carmack lançou o código fonte do Wolfenstein 3D em 1995 e do Doom em 1997. Quando o código fonte do Quake vazou e circulou entre a comunidade underground do Quake em 1996, um programador não-afiliado à id Software o usou para fazer um port do Quake para o Linux e logo depois mandou os patches para Carmack. Ao invés de iniciar uma ação judicial, a id Software usou os patches para fundação de um port para Linux sancionado pela companhia, sob ordem de Carmack. Desde então, id Software lançou para o publico o código fonte de Quake assim como o de Quake 2 e mais recentemente Quake 3, todos sob a Licença Pública Geral GNU (GPL). O codigo fonte de Doom também foi relançado sob o GPL em 1999.

Carmack também é notado por suas contribuições generosas para instituições de caridade e comunidades de jogos. Alguns dos recipientes das contribuições são seu antigo colégio de ensino médio, promotores do software open source, oponentes das patentes de software e entusiastas de jogos. Em 1997 ele deu uma de suas Ferraris (um modelo 308) como prêmio para o vencedor do torneio Quake "Red Annihilation", Dennis Fong.

Embora Carmack seja famoso por suas inovações em gráficos 3D, ele também é entusiasta em foguetes e fundador da Armadillo Aerospace. Carmack conheceu Katherine Anna Kang depois de ela ter o visitado nos escritorios da id com um amigo durante o QuakeCon '96. Eles se casaram em janeiro de 2000 e seu filho, Christopher Ryan, nasceu em 13 de agosto de 2004. Carmack tem um weblog (antigamente um .plan), e de vez em quando posta comentários no Slashdot.

Em 1999, Carmack apareceu em 10º lugar na lista das 50 pessoas mais influentes da tecnologia, da revista TIME.

Em 22 de março de 2001, Carmack se tornou a 4ª pessoa a ser indicada ao Hall da Fama da Academia de Artes e Ciências Interativas, uma honra concedida àqueles que realizaram um feito revolucionário e inovador na industria de jogos de computador e video-games. Em 2003, Carmack foi um dos assuntos do livro Masters of Doom, uma crônica sobre a id Software e seus fundadores.

Em 2005, o filme Doom teve um personagem chamado Dr. Carmack, em homenagem à Carmack que foi um dos criadores do jogo.