ইতিহাস অনুযায়ী এগারো শতকে এ স্থানে একটি দুর্গ ছিল। রাজা বাদল সিংয়ের সামরিক দুর্গ ‘বাদলগড়’। পরবর্তীতে গজনীর বাহিনী এ দুর্গ দখল করেছিল। এরপর একসময় সিকান্দার লোদি দিল্লি থেকে রাজধানী এখানে স্থানান্তরিত করেন। এ সময় সিকান্দার লোদি এ দুর্গে বেশ কিছু ইমারত ও ইজারা নির্মাণ করেন।
তারপর সিকান্দারপুত্র ইব্রাহিম লোদীর হাতে এ দুর্গ আসে। পানিপথের যুদ্ধে বাবরের কাছে পরাজিত হওয়ার আগ পর্যন্ত ইব্রাহিম লোদীর কাছে থাকে। এরপর বাবর ১৫২৬ সালে এ দুর্গের দখল নেন এবং একটি বাউলি (সিঁড়িযুক্ত ইজারা) নির্মাণ করেন। ১৫৩০ সালে এখানেই হুমায়ূনের রাজ্যভিষেক হয়েছিল। ১৫৪০ সালে হুমায়ূন শেরশাহ সুরীর কাছে পরাজিত হওয়ার আগ পর্যন্ত এটি হুমায়ূনের কাছে ছিল। এরপর এটি শেরশাহের হাতে চলে যায়।
১৫৫৫ সালে হুমায়ূন আবার আকবরের রণকৌশলের জোরে এ দুর্গের দখল পায়। কিন্তু পরবর্তীতে হুমায়ূনের মৃত্যু এবং আকবর সে সময় পাঞ্জাবে থাকার কারণে কয়েক দিনের জন্য এটি আদিল শাহের সেনাপতি হেমুর দখলে চলে যায়। আকবর হেমুর সাথে যুদ্ধ করে আবার এ দুর্গের দখল নেয় এবং ১৫৫৮ সালে আগ্রায় রাজধানী স্থানান্তরিত করে। বিভিন্ন যুদ্ধে ক্ষতিগ্রস্ত দুর্গের তিনি পুনর্নির্মাণ শুরু করেন। রাজস্থান থেকে বেলে পাথর এনে চার হাজার কর্মীকে কাজে লাগিয়ে আজকের আগ্ৰা ফোর্ট নির্মাণ করেন।
এতে তিনি খরচ করেছিলেন সাড়ে তিন মিলিয়ন টাকা। তিনটি গেট যদিও বর্তমানে একটি গেট দিয়েই প্রবেশ করা যায়। যার নাম অমর সিং গেট। ১৬৪৪ সালে এ গেটের পাশে যোধপুরের মহারাজ অমর সিংয়ের মৃত্যু হওয়ায় স্মারক রূপে গেটটির নাম অমর সিং গেট রাখা হয়। এখানে ঘোড়ার পিঠে মহারাজের মূর্তিও তৈরি করা হয়েছে।
আকবর গেট নির্মাণের বিষয়ে মূল লক্ষ্য রেখেছিলেন বহিরাগত সৈন্যের দিকে। তাই বিসর্পিল পথে এমনভাবে তিনি আগমন সড়ক বানিয়েছিলেন, যাতে দুর্গরক্ষীর দল সহজে অল্প সংখ্যক সৈন্য নিয়েও বহিরাগত বিশাল বাহিনীকে প্রতিরোধ করতে পারে। যার জ্বলন্ত উদাহরণ ১৫৯৯ এবং ১৬২২ সালে দু’ বারই জাহাঙ্গীর পিতার বিরুদ্ধে বিদ্রোহ করে বিশাল বাদশাহী ফৌজ নিয়ে আগ্রা কেল্লা আক্রমণ করে প্রবেশে ব্যর্থ হন। গেটের দু’পাশে দুটি অষ্টভুজাকৃত ইমারত।
আগ্রা ফোর্টের প্রবেশ পথে হিন্দু ও মধ্য এশীয় স্থাপত্যের সমন্বয়ে তৈরি ১৫৭০ সালের জাহাঙ্গীর মহল। দুর্গের বৃহত্তম এ মহল (৭৮ বর্গমিটার) আকবর তৈরি করান তার প্রিয় পুত্রের জন্য। তার পাশেই আকবরের প্রিয় মহিষী এবং সেলিমের মা যোধবাঈয়ের মহল। পরবর্তীতে এর উওর অংশে গড়ে ওঠে শাজাহান মহল। এরপরে আছে দেওয়ান-ই-আম। এর আগের রূপকে আমূল পরিবর্তন করে নতুন রূপে সাজিয়েছেন শাজাহান। এটি প্রজাদের মিটিং হল। তিন দিক খোলা লাল বেলে পাথরের তৈরি মেঝে, মর্মর খচিত জালি দেওয়াল, ছাদটিও লাল পাথরের। চল্লিশ পিলারে ভর করা মর্মরে অলঙ্কৃত প্যাভিলিয়নে সুসজ্জিত সিংহাসনে বসে প্রজাদের কথা শুনতেন।
১৬০৯ সালে দেওয়ান-ই-আমেই বিট্রিশ প্রতিনিধি উইলিয়াম হকিন্সের সাথে জাহাঙ্গীরের যোগসূত্র ঘটে। সম্রাট ব্যক্তিগত অ্যাপয়েন্টমেন্ট রাখতেন দেওয়ান-ই-খাসে। ১৬৩৬-৩৭ সালে দেওয়ান-ই-খাস তৈরি হয়। ১০৭ মিলিয়ন টাকার ময়ূর সিংহাসনটিও ছিল দেওয়ান-ই-খাসে। পরবর্তীতে যখন শাজাহান রাজধানী দিল্লি নিয়ে যান; তখন ময়ূর সিংহাসনটিও দিল্লি যায়। দেওয়ান-ই-খাসের লাগোয়া বামে মমতাজের জন্য শাজাহান তৈরি করিয়েছিলেন মণিমানিক্য খচিত দ্বিতল মুহম্মদ বুর্জ বা অষ্টকোণী টাওয়ার। ছেলে আওরঙ্গজেবের হাতে বন্দি পিতা শাজাহানের জীবনের শেষ আট বছর ১৬৬৬ সাল পর্যন্ত এখানেই কেটেছে, দেয়ালে তাদের প্রতিবিম্ব দেখে। তাই একে প্রিজনার্স টাওয়ারও বলে।
এরপর বিভিন্ন সময়ে মারাঠা ও তাদের শত্রুরা আগ্রা দুর্গের নিয়ন্ত্রণ গ্রহণ করে। ১৭৬১ সালে আহমেদ শাহ আবদালি পানিপথের তৃতীয় যুদ্ধে মারাঠাদের পরাজিত করলে পরবর্তী এক দশক মারাঠারা এ দুর্গ দখলের কোন চেষ্টা করতে পারেনি। পরে এ দুর্গ ব্রিটিশরা দখল করে নেয়।
ইংরেজ আমলে সিপাহি যুদ্ধের সময় ১৮৫৭ সালে এ ফোর্টে প্রায় ৬ হাজার ব্রিটিশ, অ্যাংলো ইন্ডিয়ান ও সংশ্লিষ্ট মানুষ সপরিবারে আশ্রয় নিয়েছিলেন। ব্রিটিশরা সে সময় এর ব্যাপক পরিবর্তন করে। ব্রিটিশ সৈন্যদের ব্যারাক নির্মাণের ফলে ব্যাপক ধ্বংসযজ্ঞ চলে এ দুর্গে। কালের গর্ভে হারিয়ে গেছে অনেক ভবন। কোথাও কোথাও ক্ষয়ে গেছে এর ইট-পাথর-সুরকি।
