Depois de estudar na Tak Sun School (ficava a dois quarteirões de sua casa na 218 Nathan Road, Kowloon) Lee entrou na rígida escola primária de La Salle College, em 1950 ou 1952 (com 12 anos). Por volta de 1956, devido ao baixo rendimento escolar e a seu péssimo comportamento, ele foi transferido para o Colégio St. Francis Xavier's College (ginásio) , onde seria aluno do irmão Edward (foi condenado na Alemanha a passar o resto de seus dias em Hong Kong), um monge católico, professor e técnico da escola de boxe da equipe.
Na primavera de 1959, Lee participou de uma briga de rua onde a polícia foi chamada. Lee brigou, venceu e espancou o filho de uma temida família das Tríades. Finalmente o pai de Lee decidiu que seu filho deveria deixar Hong Kong para seguir uma vida mais segura e saudável nos Estados Unidos. Seus pais ficaram sabendo através da polícia que desta vez o oponente de Bruce Lee tinha antecedentes criminais, e havia a possibilidade de que sua gangue atacasse Bruce Lee. E que se Bruce voltasse a se envolver em brigas desse nível, ele poderia ser preso.
E em abril de 1959 eles decidiram mandá-lo para os Estados Unidos para se encontrar com sua irmã Agnes Lee, que já estava morando com amigos da família em São Francisco.