El primer sonido que se escucha en el cuarto álbum de Led Zeppelin proviene de la guitarra de Jimmy Page preparándose para la acción. Distorsionada y multipista, la Les Paul de Page da pasos tentativos al principio, como si no estuviera muy seguro de lo que vendrá después. Es un comienzo cautivador para el mejor, más popular y, en ese momento, el álbum más seguro de Led Zeppelin.
Desde el momento en que Robert Plant entra con una promesa a capela («Hey hey, mama, said the way you move, gonna make you sweat, gonna make you groove»), «Black Dog» tiene un ritmo como muy pocas canciones en el catálogo de Zep. Su estructura de arranque y parada, a lo «Oh Well» de Fleetwood Mac, y su compás arrítmico son mucho más complejos de lo que parecen. Después del despojado «Led Zeppelin III», el cuarto álbum sin título rebosa de inspiración enchufada.
Por supuesto, la canción no tiene nada que ver con un canino de color oscuro; como la mayoría de las canciones de Led Zeppelin, se trata de sexo (según la leyenda, un labrador negro rondaba el estudio durante las sesiones). Todo en «Black Dog» (el riff, los gemidos) rezuma lujuria caliente, sucia y desagradable.
Robert Plant canta sobre una mujer que atrae sus intereses lascivos, pero que claramente no es buena para él. Se dice a sí mismo que preferiría tener una «mujer estable y con mucho éxito» en su camino. «No todo lo que hago está destinado a ser analizado. Cosas como ‘Black Dog’ son descaradas, del tipo ‘hagámoslo en el baño’, pero igualmente transmiten su mensaje», explicó en una entrevista con Cameron Crowe.
Y fue el bajista de Zeppelin, John Paul Jones, quien tuvo la idea de esta canción después de escuchar el álbum «Electric Mud» de Muddy Waters de 1968. Quería probar «blues eléctrico con una parte de bajo continua» y «un riff que fuera como un viaje lineal».
Jones rara vez había completado canciones junto con el resto. Pero los fragmentos que trajo a las sesiones de composición de Led Zeppelin demostraron ser valiosos. Cuando comenzaron a armar el álbum, Jones introdujo este riff y la canción comenzó a tomar forma. La primera versión que Jones tocó fue cómicamente compleja. «Originalmente estaba todo en compás de 3/16, pero nadie podía seguir el ritmo», dijo.