Projek pembinaan masjid yang terletak di Bangsar ini telah dimulakan pada 18 Julai 1980. Majlis penentuan arah kiblatnya pula telah dilaksanakan pada 24 Ogos 1980 oleh Tan Sri Sheikh Abdul Mohsein bin Haji Salleh, Mufti Wilayah Persekutuan. Peletakan batu asas masjid disempurnakan oleh Datuk Amar Haji Abdul Taib bin Mahmud, Menteri Wilayah Persekutuan pada 23 November 1980. Bangunan masjid ini siap sepenuhnya pada bulan Mac 1982.
BINAAN
Bentuk seni bina moden masjid ini telah disesuaikan mengikut keadaan semasa, kemudahan teknologi dan peruntukan kewangan yang mencukupi. Masjid ini dilengkapi dengan kubah dan menara. Gapuragapura diserapkan demi mewujudkan satu identiti seni bina masjid yang moden dan mudah dikenali.
Masjid ini terbahagi kepada tiga aras, iaitu aras satu yang menyediakan tempat aktiviti kemasyarakatan dan beribadat seperti kelas didikan agama untuk kanak-kanak. Aras dua dan tiga dikhaskan untuk bersembahyang dan beribadat. Keseluruhan masjid ini boleh menampung kira-kira 3,000 orang dalam satu masa.
Kubah menjadi daya penarik masjid ini. Ia berukuran 16.6 meter garis pusat dan kemuncaknya dari dalam masjid setinggi 24 meter daripada aras ruang sembahyang utama. Di bahagian dalam kubah dihiasi dengan motif geometri menggunakan gipsum plaster. Bahagian luar dihias dengan aluminium berwarna emas yang mengandungi motif seni Islam.
Ukiran tebuk kayu motif geometri digunakan di dinding mihrab dan juga di seluruh jendela. Ayat al-Quran surah al-Mu’minun beserta terjemahan telah diukir di atas kayu jelutong sebagai pedoman selain menjadi hiasan. Empat buah lampu candelier di dewan solat utama melambangkan empat mazhab Islam. Tetingkat lampu melambangkan rukun Islam dan waktu-waktu solat fardu.
Menara masjid berketinggian 43.3 meter yang memuncak daripada kolam hiasan kepada pucuk menara dihiasi dengan aluminium berwarna emas. Selain itu laman masjid dihiasi dengan pepohon rendang demi mengimbangi suasana persekitaran. Masjid ini sangat mudah dikunjungi kerana terletak di kawasan bandar.
Masjid Abu Bakar ini telah dijadikan sebagai model kepada pembinaan masjid negara Republik Maldives yang dibina pada tahun 1984.