Miles werd geboren op 26 mei 1926 in Alton, een dorpje aan de Mississippi, een kilometer of 40 ten Noorden van St.Louis. Hij was genoemd naar zijn vader, die tandarts was, en die was weer genoemd naar zijn vader, de boekhouder Miles Dewey Lewis de Eerste. Het waren de jaren van de Depressie, maar arm hadden ze het niet bij Miles thuis. Zijn grootvader hield de boekhouding bij voor veel blanken en verdiende daar veel geld mee. Ze woonden in East St.Louis, aan 14th Street, waar tandarts Lewis een goedlopende praktijk had.
“Mijn vader was pro-zwart, erg pro-zwart. In die tijd werd zo iemand een race-man genoemd. Hij had college gehad aan de Lincoln Universiteit, samen met mannen N’krumah, die later president werd van Ghana. En zo had mijn vader relaties in Afrika. Hij had meer op met Marcus Garvey dan met de NAACP. Hij begreep dat Garvey goed was voor het zwarte ras omdat hij in de jaren 20 al de zwarten tot elkaar had gebracht. Hij had een hekel aan de manier waarop mensen als William Pickens van de NAACP over Garvey dachten en praatten. Pickens was familie, ik denk een oom van mijn moeder. En soms, als hij in St.Louis was, belde hij haar op en kwam langs.In die tijd was hij iets hoogs bij de NAACP. Toen hij een keer gebeld had om langs te komen zei mijn vader: “Opgesodemiterd met die Pickens want die klootzak heeft de pest aan Marcus Garvey.”
