Фрейзер зробив блискучу кар’єру і як аматор, і як професіонал. У 1964-му він став чемпіоном Олімпійських ігор, а вже через шість років завоював титул чемпіона світу в суперважкій вазі серед професіоналів. 

 “Димучий Джо” увійшов в історію також як перший боксер, який зумів перемогти Мохаммеда Алі (1971 року). 

Джо Фрейзер тричі визнавався журналом “The Ring” й Американською асоціацією журналістів, які пишуть про бокс (BWAA), найкращим боксером року, а його поєдинки проти Джеррі Куорі, Мохаммеда Алі (двічі) і Джорджа Формана визнавалися боями року. У 1990 році його включили до Міжнародної зали боксерської слави.

Коли стало відомо, що Джо Фрейзер, чий стан уже кілька днів був  критичний, помер у філадельфійському госпісі, на його родину обрушилася хвиля співчуттів від різних людей, насамперед від  боксерів-професіоналів – Віталія й Володимира Кличків, Леннокса Льюїса, Флойда Мейвезера, Менні Пак’яо, Бернарда Гопкінса. Серед них були й двоє, з якими Фрейзера міцними узами пов’язала дивна історія – легенда про те, що майже в один час в Америці повинні народитися відразу три видатні темношкірі боксери надважкої категорії – люди, які назавжди вписали свої імена в історію боксу і битви яких за чемпіонський титул стали взірцем. 

“Спи спокійно, Джо Фрейзере. Я люблю тебе, дорогий друже”, – написав у Twіtter’і Джордж Формен. 

“Я завжди буду згадувати Джо з повагою “, – сказано у зверненні Мохаммеда Алі, що стало повною несподіванкою. Бо у Джо Фрейзера, навіть через багато років після завершення спортивної кар’єри, з Алі були досить погані стосунки. Коли Мохаммед, вже на той час хворий на недугу Паркінсона, запалив вогонь Олімпіади в Атланті, Джо Фрейзер сказав, що шкодує, що Алі не провалився в цю чашу. Потім з’ясувалося, що хвороба Алі прогресує, й він втрачає здатність не те що говорити – пересуватися, Фрейзер на всю Америку оголосив, що щасливий: “Тепер я точно знаю, що хоча б переживу його!”, навіть не підозрюючи, що саме Алі доведеться посилати співчуття у зв’язку зі смертю колишнього суперника, а не йому.

“Я не боюся нікого на вулиці. Я не боюся нікого в ринзі. Але якщо в нього ніж, а в мене пістолет, це буде нечесно з мого боку. Дайте йому теж пістолет. Я однаково  буду битися з ним. Джордж Форман двічі нокаутував мене, але я нічого не боявся. Я бився з ним два рази. Можу побитися з ним ще раз просто зараз. Що зі мною може трапитися? Ще один нокаут? І все. Він нокаутує мене або я нокаутую його. І все. Ніякого страху. Тільки не в тому спорті, який я люблю”, –  говорив Джо Фрейзер.