O pai de Bruce, Lee Hoi Chuen foi um dos líderes da ópera cantonesa e um ator do cinema chinês, estava completando um ano de turnê com ópera cantonesa nas vésperas da invasão japonesa em Hong Kong durante a Segunda Guerra Mundial. Lee Hoi Chuen ficou em turnê nos Estados Unidos por muitos anos realizando apresentações em inúmeras comunidades chinesas. Lee Hoi Chuen decidiu voltar para Hong Kong depois que sua esposa deu à luz Bruce em 1940.
Dentro de poucos meses após retornarem, Hong Kong foi invadida e viveu 3 anos e 8 meses sob ocupação japonesa. A família Lee sobreviveu razoavelmente bem aos tempos de guerra, e após o fim da guerra, o pai de Bruce decidiu retomar sua carreira de ator e se tornou uma estrela ainda maior durante os anos de "reconstrução" de Hong Kong.
A mãe de Bruce Lee, Grace Ho pertencia a um dos clãs mais ricos e poderosos em Hong Kong, os Tungs Ho. Ela era a sobrinha de Sir Robert Ho Tung, o patriarca do clã. Com isso, o jovem Bruce Lee cresceu em um ambiente rico e privilegiado.