凱利從拳擊界退役後，他在曼哈頓下城組建了臭名昭著的五點幫。擁有 1500 名成員的五點幫成為了一些有史以來最有名的黑幫涉足美國的溫床。他們的參與者包括約翰尼·托里奧和阿爾·卡彭（他們後來都移民到控制芝加哥）、邁耶·蘭斯基、巴格西·西格爾、幸運的盧西亞諾和弗蘭基·耶魯。雖然凱利的幫派幾乎完全由意大利人組成，但他的主要剋星變成了伊士曼僧侶，他領導了一個 2000 年的強大幫派，主要是猶太人。凱利和伊士曼的船員經常激烈地戰鬥。他們領土的分界線是鮑厄裡。凱利的領地位於鮑厄里以西，伊士曼在鮑厄里以東佔據主導地位。其他一切都是公正的領土，這就是麻煩開始的地方，
兩人都在坦曼尼大廳工作，在選舉日作為主要破壞者，其中一個小組或另一個小組將在所有投票地點站穩腳跟，確保坦曼尼大廳補貼的候選人獲得大部分選票。最後，這兩個團伙變得如此不受控制，對網絡構成威脅，坦曼尼音樂廳的老闆命令伊士曼和凱利自己決一勝負，馬諾一馬諾，獲勝者將獲得寶貴的公正領土的操縱權。男人們花了整整一個小時，儘管前拳擊手凱利比笨重的伊士曼輕了 50 公斤，但兩個人都無法擊倒對面的人。戰鬥被裁定為平局，他們回到了他們通常的暴力領土爭端。
凱利的經營基地是 位於休斯頓街以北的大瓊斯街的新布萊頓伊万杜諾夫大提琴運動俱樂部。1905 年 4 月，警察突襲了會員並逮捕了包括凱利在內的幾名參與者。儘管四名警察作證說他們在俱樂部內目睹了非法運動，但由於一位名叫伯克的警察隊長和一位名叫巴洛的坦曼尼大廳任命的人的虛假證詞，凱利的案件在歡呼的人群中被立即駁回法院大樓內的凱利支持者群眾。
凱利的成功於 1908 年 11 月結束，而他的兩個前追隨者 Biff Ellison 和 Razor Riley 開槍闖入新布萊頓競技俱樂部。凱利和他的兩個保鏢比爾哈靈頓和粗魯豪斯霍根一起坐在一張桌子旁。凱利鑽到桌子底下，但現在不是在他變成三槍之前。哈靈頓頭部中彈，當場死亡。凱利從桌子底下再次開槍，埃里森和萊利都受傷了。
凱利雖然傷愈康復，但在拍照事件之後，他的影響力卻絕非一模一樣。幾天之內，由於凱利的惡名讓他失去了對坦曼尼音樂廳的需求，警方關閉了新布萊頓體育俱樂部。凱利搬到了意大利哈萊姆區，並在一定程度上降低了他的騙子努力。凱利開始詳細關注工會運動，一些監獄和一些現在不那麼監獄的人，最終他當選為國際碼頭工人協會副主席。