আব্দুল করিম ১৯০১ সালে সিলেট জেলার বিশ্বনাথের কৌড়িয়া পরগনার খাজাঞ্চি ইউনিয়নের গমরাগুল গ্রামে জন্মগ্রহণ করেন। তার পিতার নাম সৈয়দ আববাস আলী। তিনি দারুল উলুম দেওবন্দে লেখাপড়া করেছেন।[৪] তিনি ১৯৭১ সালে জমিয়তে উলামায়ে ইসলাম বাংলাদেশের সভাপতির দায়িত্ব গ্রহণ করেন। ব্রিটিশ বিরোধী আন্দোলনে তিনি ৩ বার কারাভোগ করেন। ১৯৬৪ সালে সিলেট জেলা জমিয়তের নায়েবে আমিরের দায়িত্ব পালনের মাধ্যমে জমিয়তের নেতৃত্ব গ্রহণ করেন। ১৯৬৫ সালের ১৬ মার্চ পূর্ব পাকিস্তান জমিয়তে উলামার সভাপতি নির্বাচিত হন। স্বাধীনতার পর ১৯৭৪ সালে পুনরায় সভাপতি নির্বাচিত হন। পরবর্তীতে ১৯৮৮ থেকে ২০০১ সাল পর্যন্ত আমৃত্যু তিনি জমিয়তের কেন্দ্রীয় সভাপতির দায়িত্ব পালন করেন। ১৯৯৪ সালে তসলিমা নাসরিন, আহমদ শরীফসহ নাস্তিক-মুরতাদের বিরুদ্ধে যে আন্দোলনের সূচনা হয়েছিল তা মূলত তার পৃষ্ঠপোষকতার ফসল।
