广义的中国画起源于新石器时代仰韶文化彩陶图像，包括所有的中国传统绘画，如卷轴画、壁画、年画、版画、漆画等。狭义的中国画特指以中国的毛笔、墨、颜料、宣纸、绢等工具材料，按照长期形成的传统方法进行绘制的画作，画幅形式有长卷、立轴、条屏、横披、斗方、册页、扇面等。
事实上遍寻中国古代的画史画论，并无“中国画”一词，古代画家与理论家一般称之为画、画绘、丹青、图画、图绘、绘事等。直到明末清初，西洋画（洋画、夷画）传入中国之后，才有了中国画、中画、儒画、国画、国粹画之说。
根据周积寅教授考证，明末意大利天主教耶稣会传教士利玛窦（Matteo Ricci）最早使用了“中国画”一词。明末顾起元《客座赘语》载其论画：“中国画但画阳不画阴，故看之人面躯正平，无凹凸相。吾国画兼阴与阳写之，故面有高下，而手臂皆轮圆耳。凡人之面正近阳，则皆旺而白；若侧立，则向阳一边者白，其不向阳一边者，眼耳鼻口凹处，皆有暗相。吾国之写像者解此法，用之，故能使画像与生人亡异也。”可见，利玛窦所说“中国画”画阳不画阴，是与他熟知的“西洋画”相比较而提出来的。
1919 年“五四”新文化运动以后，许多学者参与了“整理国故”的争论，一时间，国粹、国渣、国乐、国医、国画等许多新词受到关注。20 世纪上半叶，“中国画”（国画）一词，逐渐被我国学者、画家、画论家康有为、陈独秀、鲁迅、徐悲鸿、刘海粟、俞剑华等人的著述中采用。例如，1926 年11 月12 日，署名“同光”的作者发表《国画漫谈》一文：“年月日，我说不清，总之自有所谓‘国画’在中国学校中成为一种科目起，‘洋画’也和其他科学一样，为中国人士所学习而且被欢迎起来了，因此‘国画’之名，遂应运而生，原这名之所由立，本系别于洋画而言。譬如有洋货而后又国货之名，由洋文而后有国文之名，初固无轩轾于其间也。”
1979 年出版的《辞海》将“国画”定性为“中国画”的简称。如今的中国画早已不再是与西洋画的概念区分，而是指世界绘画宝库中自成体系的、具有强烈民族特色画种之一，在世界画坛上，也是极少以国家名称命名的画种之一。