মুহিত ১৯৩৪ সালের ২৫ জানুয়ারি সিলেটে জন্মগ্রহণ করেন। তার মা সৈয়দা শাহার বানু চৌধুরী ও বাবা আবু আহমদ আবদুল হাফিজ। মা-বাবা দুইজনই তৎকালীন সিলেট জেলার রাজনীতিতে সক্রিয় ছিলেন। ১৪ ভাইবোনের মধ্যে তার অবস্থান তৃতীয়। পররাষ্ট্রমন্ত্রী এ কে আব্দুল মোমেন তার ছোট ভাই।

আবুল মাল আবদুল মুহিত ১৯৫১ খ্রিষ্টাব্দে সিলেটের এমসি কলেজ থেকে উচ্চ মাধ্যমিক পরীক্ষায় প্রথম বিভাগে উত্তীর্ণ হন। পরবর্তীতে ইংরেজি সাহিত্যে স্নাতক (সম্মান) শ্রেণীতে ঢাকা বিশ্ববিদ্যালয়ে ভর্তি হন। সেখান থেকে ১৯৫৪ খ্রিষ্টাব্দে ঐ বিষয়ে প্রথম শ্রেণী পেয়ে কৃতকার্য হন এবং একই বিষয়ে ১৯৫৫ খ্রিষ্টাব্দে স্নাতকোত্তর ডিগ্রী অর্জন করেন। বিদেশে চাকুরীরত অবস্থায় অক্সফোর্ড বিশ্ববিদ্যালয়ে অধ্যয়ন করেন তিনি। অতঃপর ১৯৬৩-৬৪ শিক্ষাবর্ষে হার্ভার্ড বিশ্ববিদ্যালয় থেকে এমপিএ ডিগ্রী লাভ করেন।

পাকিস্তান সিভিল সার্ভিস সংস্থার কেন্দ্রীয় কমিটির মহাসচিব হিসেবে ছিলেন আবুল মাল আবদুল মুহিত। ১৯৬০ থেকে ১৯৬৯ সাল পর্যন্ত তিনি এ দায়িত্বে ছিলেন। অর্থনৈতিক পরামর্শক হিসেবে ১৯৬৯ খ্রিষ্টাব্দে মার্কিন যুক্তরাষ্ট্রে তৎকালীন পাকিস্তান দূতাবাসে যোগদান করেছিলেন। চাকুরীরত অবস্থায় পাকিস্তান কর্মপরিকল্পনা কমিশনের প্রধান ও উপ-সচিব ছিলেন। ঐ সময় তিনি পূর্ব এবং পশ্চিম পাকিস্তানের বৈষম্য প্রতিবেদন আকারে তুলে ধরেন ও পাকিস্তান জাতীয় কংগ্রেসে পেশ করেন।

পরবর্তীতে স্বাধীন বাংলাদেশে ১৯৭২ খ্রিষ্টাব্দে পরিকল্পনা কমিশনের সচিব হিসেবে নিযুক্ত হন। এছাড়াও, ১৯৭৭ খ্রিষ্টাব্দে অর্থ ও পরিকল্পনা মন্ত্রণালয়ের বহিঃসম্পদ বিভাগের সচিব হিসেবে দায়িত্ব পালন করেন মুহিত।