В 1920 году в Израиле был образован Общественный союз еврейских рабочих с целью объединить местных пролетариев. Спустя три года под эгидой союза был создан спортивный клуб — Хапоэль Тель Авив. Недолго просуществовав, клуб распался. Тем временем, организация Маккаби основала в Тель Авиве клуб Алленби. В 1925 году была сделана вторая попытка создать спортивный клуб Хапоэль Тель Авив, однако и она не увенчалась успехом. Только в мае 1926 года после третьего рождения появился футбольный клуб Хапоэль, существующий по сей день. В качестве герба был выбран образ спортсмена, держащего в руках серп и молот, цвет клуба, в виду коммунистической идеологии организации, был выбран красный. В 1927 году несколько членов клуба Алленби основали новый клуб под названием Гибор (ивр.герой), который, в дальнейшем, объединился с Хапоэлем.

С 1930-х годов Хапоэль постоянно находился на вершине израильского футбола, завоевав немало наград. Лишь в 70-е годы клуб сдал позиции, за 10 лет выиграв всего лишь кубок. Новый расцвет команды пришёлся на сезон 1981/82, который команда закончила в ранге чемпиона. В 1980-е годы под управлением Рана Лерона команда один раз завоевала кубок страны и три раза становилась чемпионом. В сезоне 1988/89 вследствие плохого менеджмента Эли Миллера и Хаима Циммера, команда потеряла 8 ведущих игроков, лишилась очков и впервые в истории вылетела во вторую лигу. В следующем сезоне Хапоэлю удалось вернуться в высшую лигу, однако, былую славу удалось вернуть только в конце 90-х, после продажи клуба.

В 1997 году клуб был продан группе инвесторов: Моше Теомимом, Моти Оренштейн и Сами Саголь, в дальнейшем к ним присоединился Рафи Агив. Переход клуба в частные руки положительно сказался на результатах - уже через два года клуб завоевал Кубок Страны, впервые за десять лет. В 2000 году под руководством Дрора Каштана, Хапоэль занял первое место в национальном чемпионате и завоевал кубок страны. В сезоне 2001/2002 гг. команда дошла до четвертьфинала кубка УЕФА, выбив из розыгрыша ереванский «Арарат», турецкий «Газиантепспор», лондонский «Челси», московский «Локомотив» и итальянскую «Парму», одержав также победу над итальянским «Миланом» в домашнем матче на Кипре.

В 2008 году бизнесмен Мони Аръэль, ранее работавшиий в клубе в качестве председателя команды, выкупил клуб у бывших владельцев,пластиковой компании «Кетер».В 2010 году на равных правах к нему присоединился израильский бизнесмен Эли Табиб, имеющий прибыль в основном с США.Формально Табиб получил патронаж над клубом ещё два сезона назад, однако согласно законодательству израильской ассоциации футбола должен был подождать два года перед тем как официально стать владельцом нового клуба, так как до этого владел другим израильским футбольным клубом Хапоэль Кфар Саба.