Полуостров в древности назывался Акта (др.-греч. Ἀκτή — «утёс»). Гора Афо́н называлась, по мнению древних, по имени мифического фракийского гиганта Афона. Согласно мифу, Афон бросил огромный камень в Посейдона, который упал в Эгейское море. По одной из версий этой легенды, могила Посейдона находилась на Афоне.
Согласно первому известному Уставу, утверждённому императором Иоанном Цимисхием, Афон именуется просто «Гора» (греч. Ὄρος — «Орос»).
Согласно древнему местному христианскому преданию, в 49 году корабль, на котором плыла Богородица вместе с апостолом Иоанном Богословом, попал в бурю и его прибило к берегу Афона в том месте, где ныне находится Иверский монастырь. Дева Мария так была поражена красотой этого места, что попросила у Бога это место себе в удел. На что получила ответ: «Ἔστω ὁ τόπος οὗτος κλήρος σὸς καὶ περιβόλιον σὸν καὶ παράδεισος, ἔτι δὲ καὶ λιμὴν σωτήριος τῶν θελόντων σωθῆναι» («Да будет место сие уделом твоим и садом твоим и раем и гаванью спасения желающих спастись»). В связи с этим Афон называют также «уделом» и «садом Богородицы» (греч. Τὸ Περιβόλιον τῆς Παναγίας).