Né dans une famille très pauvre de huit enfants, Reverend Gary Davis fut élevé par sa grand-mère paternelle. Il devient aveugle dès son très jeune âge. Vers 1901, il commence à jouer de l'harmonica puis, deux ans plus tard, s'initie au banjo et à la guitare. Il se produit alors indifféremment pour un public blanc et noir, lors de pique-niques et de petites fêtes locales, où il joue des danses, seul à la guitare. Cette expérience lui permet de forger un style de guitare très syncopé, typique de cet East Coast blues mâtiné de ragtime et dans la lignée de celui de Blind Blake.

En 1912 et 1913, Reverend Gary Davis prend part à un string band, puis entame une vie itinérante de musicien des rues, tout au long de la côte est des Etats-Unis. Il fait la connaissance de celui qui deviendra son élève, Blind Boy Fuller, vers 1932, et devient pasteur baptiste à Washington (Caroline du Nord), en 1933.

Ce n'est qu'à partir de 1959, qu’il fut remarqué par de jeunes mélomanes issus du mouvement folk, il va de nouveau enregistrer de nombreux albums pour Prestige, Vanguard, Transatlantic et Kicking Mule. Bob Dylan reconnaît que Reverend Gary Davis eut une profonde influence sur sa musique, ainsi que The Grateful Dead, Wizz Jones, Keb Mo, Olabelle et Resurrection Band, qui reprennent une partie de son répertoire.