1950年3至6月，淮河水利工程总局组织淠河查勘，提出了淠河东、西两源上游可兴建佛子岭和长竹园(即响洪甸)两座水库。1950年7月大水后，治淮委员会会同有关单位，根据“蓄泄兼筹”的治淮方针，于1950年11月进行复勘。1951年4月，第二次治淮会议决议的《治淮方略》和1952年度工程要点中，规划确定修建佛子岭水库。此后即进行地质调查及坝址、库区的测量和水文测验。当时国内缺乏建造连拱坝的资料，以汪胡桢为代表的水利专家们，以科学的态度，刻苦钻研的精神，解决了连拱坝设计与施工中一个个难题，仅以三年的时间便完成了当时亚洲第一座钢筋混凝土连拱坝建筑任务，水库的建设培养了一大批水利水电建设的人才。
佛子岭水库由治淮委员会组建佛子岭水库工程指挥部负责施工。1951年10月10日指挥部成立，陆续从各方面调集人员。1952年7月，中国人民工程水利第一师参加水库建设。从江苏、上海等地招聘技术工人。民工来自霍山县和阜阳县。最多时参加施工的人数达100人。1951年10月底，修通了六安到佛子岭的公路。水库大坝从1952年7月1日开始浇筑坝身混凝土，至1954年9月16日坝身浇筑完成，历时仅27个月时间。
水库工程采用原河床导流分两期施工，先东岸导流，西岸筑围坝。第二期在西部河滩山脚部分开挖上下引河。河水经8、9、10号拱下泄，东部筑围坝。1952年1月9日佛子岭大坝清基。3月1日第一期钢板桩土石围坝工程动工，6月底结束。在清基开挖中发现西岸岩层有破碎带，将坝轴线下移12米，清基工作延迟到1953年3月完成。第二期清基工作因围坝渗水及洪水冲击溃决。至1953年10月初才全面开展，是年底全部完成。混凝土浇筑自1952年7月初开始，分两期进行。整个工程采取自营方式，以机械为主，人力为辅。施工中遭遇1953年春寒低温，一度影响混凝土质量和浇筑进度。混凝土拌和、输送、浇筑随着浇筑高度和部位不同，采取分散、移动和固定，机械和人力相结合的办法进行，对质量的控制和要求均较严格。1952年7月下旬开始，对施工管理和劳动组合进行改革。施工单位建立“区域生产管理制”，推行“平行流水作业法”，效率提高，比原计划提前一个月完成第一期混凝土浇筑任务。第二期混凝土的浇筑，克服了多次涨水、围坝毁而又筑的困难，于1954年6月6日全部浇筑到127.46米高程，顺利地拦蓄了1954年7月的洪水。是年10月底，连拱坝工程全部完工。计清基94.7万立方米，浇筑混凝土19.5万立方米;耗用水泥5.3万吨，钢材00吨，木材2.05万立方米，砂石34万立方米，应用各种机械设备545部。
1965年大坝进行第一次加固。9月28日开始放空水库，修筑围坝。12月中旬完成裂缝修补，12月16日关闸蓄水，并进行13～16号拱的加强拱浇筑、裂缝灌浆及帷幕和固结灌浆等施工，1966年9月底基本完成。1968年10月对坝身加固、钢管加固和溢洪道处理等组织全面验收，施工符合质量要求。
1969年洪水漫坝后，从1970年初到6月底完成了两岸坝后基岩、21号垛等重点部位护砌和固结灌浆，以及坝面渗水裂缝的修补等。1975年8月洪水后，于1982年初开始进行大坝加固加高工程。这次加固是在兼顾运行的情况下进行的，工程零星分散。大坝加高的施工质量要求高，新混凝土要控制好温度，老混凝土表面凿毛、凿槽，又是高空作业。部分坝基帷幕补强要求在水下操作，施工条件差。由于设计、施工、科研和生产单位相互配合和支持，施工进展顺利，于1984年全部完工。
