出生於江蘇省宜興縣
1922 年赴法，考入巴黎國立高等美術學校，從魯勒教授習油畫， 1923 年轉入雕塑家布爾代勒工作室學習雕塑。 1927 年學成歸國，任上海新華藝術專科學校教授。 1960 年執教上海美術專科學校油畫系， 1965 年入上海油畫雕塑學院任畫師，並擔任上海畫院副院長、中國畫院、上海美術家協會及上海交大藝術系顧問等職。
吳大羽為第一批留法的中國畫家，留法期間受野獸派、立體派、抽象表現主義影響。他將西方抽象藝術的概念結合中國傳統繪畫理論及哲學觀念，畫作並不拘泥於對物體型態的臨摹，而是強調勢象、光色、韻調三方面的結合，在創作中追求與實踐現代化的藝術表現，成為中國抽象表現主義發展的先驅之一。
1924 年，吳大羽在法留學期間，與林風眠、李金髮、劉既漂、王代之、曾一櫓、唐雋、林文錚等在巴黎組織了「霍普斯學會」（希臘文 Phoebus ，即阿拉伯文 Apollo ，次年改名為「海外藝術運動」），當年 6 月，學會在法國史特拉斯堡的萊因阿宮舉行第一次「中國美術展覽會」，吳大羽為最先入選的藝術家之一。 1928 年與徐悲鴻等人共組杭州國立藝術學院，出任西畫系主任。後與林風眠與林文錚等創辦「藝術運動社」，並多次於學會舉辦展覽中展出。 1946 年趙無極於重慶國立歷史博物館舉辦之展覽中，與林風眠、關良、丁衍庸、李仲生等人共同展出，造成轟動。 1982 年參展北京北海公園畫舫齋「上海油畫展」，為首代油畫家文革後首次展覽。 1988 年病逝於上海。
重要展歷包括：「華人抽象開拓者──吳大羽個展」（耿畫廊，台北，台灣，2021）；「吳大羽的抽屜」（耿畫廊，台北，台灣，2016）；「吳大羽個展」（耿畫廊，台北，台灣，2011）；「抽象」聯展（耿畫廊，台北，台灣，2006）；「近代中國抽象」聯展（大未來畫廊，台北，台灣，2005）；「近代華人藝術市場之最」聯展（大未來畫廊，台北，台灣，2004）；「吳大羽油畫藝術回顧展」（上海美術館，上海，中國，2003）；「吳大羽畫展」（國立歷史博物館，台北，台灣，2001）；「吳大羽及其杭州藝專學生展」（大未來畫廊，台北，台灣，1996）。