关于象棋起源于何时，至今众说纷纭。如北宋晁补之《广象戏格．序》说∶“象戏兵戏也，黄帝之战驱猛兽以为阵。象，兽之雄也，故戏兵以象戏名之。”即黄帝大战蚩尤，驱猛兽以为阵；象是兽之雄，故以象战为兵战，所以认为象棋是黄帝所发明的。另一说法是象棋起源于战国时期，如《潜确居类书》上载：“雍门周谓益尝君：足下燕居，则斗象棋，亦战国之事也。盖战国用兵，故时人用战争之象为棋势也。”也有的认为起源于北周武帝之时，如《太平御览》上载∶“周武帝造象戏”、明罗颀《物源》说：“周武帝作象棋”，当时的文学家庾信曾赋《象棋经赋》及《进象棋经赋》颂扬象棋。
不过比较可信而被认同的看法，认为“象棋”一词最早见于战国宋玉《楚辞．招魂》∶“□蔽象棋，有六博兮。”和西汉刘向《战国策．齐策》记载：“临淄甚富而实，其民无不吹竽、鼓瑟、击筑、弹琴、斗鸡、走犬、六博（象棋的前身）、蹴鞠者。”而现代流行的象棋，约成型于唐末宋初时。如《续藏经》中僧念常《佛祖历代通载》，在唐文宗开成已未条下有“制象棋”三字，原注：“昔神农以日月星辰为象，唐相国牛僧孺用车、马、将、士、卒加炮代之为机矣。”依据这个记载，唐朝之前象棋应该没有炮，这正好和中国古代武器的发展相吻合。加炮之后才近似于现代的象棋，也可说是具有现代象棋的雏型了。
唐牛僧孺的《玄怪录》中有一则神仙传说《巴邛人》，巴邛地区有户人家，橘园中结了两枳奇异的橘子，有头般大小。剖开一看，不见橘瓤，只见每枳橘子里，都有两位须眉斑白、面色红润的老头儿“象戏于其中”。他们不仅分胜负，还有古怪的赌注，可见这“象戏”是一种新型的博戏。《玄怪录》里没有说明象戏的玩法，但故事是发生在陈隋之间，所以这应该是北周武帝时的新棋类，但“橘中之乐”却已成了古代象棋的别称了。
在《玄怪录》另一篇《岑顺》中也记载了唐代宝应元年间的一件怪事。故事说汝南人岑顺，暂宿在陕西一所废宅时，每天晚上都听到军鼓之声。有一天夜里梦见一人自称金像国的使者，告诉岑顺将要和天那国的军队交锋，并邀请岑顺观战。这时岑顺看到了墙壁下的两个老鼠洞化作了城门，两支军队各自严阵以待。有个军师向金像国王建议作战布局，说∶“天马斜飞度三止，上将横行系四方。辎车直入无回翔，六甲次弟不乖行。”国王点头同意。果真一声鼓响，一匹马斜跳了三尺。又一声鼓响，一名步卒横行一尺。再一次鼓声，车往前进。就这样双方你来我往，不一会儿天那军大败，天那国王败逃到西南角。后来，岑顺感觉怪异便挖开鼠洞，发现了一座古墓，“前有金床戏局，列马满枰，皆以金铜成形”。从这个故事可以发现，宝应年间的象戏，已有将、车、马、卒等名目，马行日步，车直来直往，卒只能进一步，而将可以满场巡行，和现代象棋有不少相同之处。所以到现在日本还将宝应象棋当成中国象棋的别称呢！
现代象棋约定型于北宋末年。北宋李清照《打马图经》所载的中国象棋棋盘，和现在的棋盘完全一样。南宋陈元靓《事林广记》中，记载了最早的两局完整的象棋棋谱和最古老的排局“二龙出海势”。所以在北宋之前，象棋历经了由原始雏型到定型的发展和演变过程。
河南省的荥阳市是众所周知的中国象棋之都。象棋棋盘上的“楚河”、“汉界”就在该市的广武山上。“楚河汉界”这个名称，据传始于“楚汉相争”。西元前二○四年，刘邦和项羽两军在此对垒。西元前二○三年，刘邦凭着丰富的粮草作后盾，挥师出兵攻打楚国，项羽则因粮尽兵溃，迫于无奈提出“中分天下，割鸿沟以西者为汉，鸿沟而东者为楚”的停战议和要求。从此便有了“楚河”、“汉界”之说。后人为铭记这次战争，且象棋又是模仿战争而来，因此就在象棋棋盘上打上了“楚河”、“汉界”。至今在荥阳市广武山上还保留了两座遥遥相望的古城遗址，西边那座叫汉王城，东边的叫霸王城，传说就是当年的刘邦、项羽所筑。两城中间，有一条宽约300米的大沟，这就是人们所说的鸿沟，也就是象棋盘上“楚河”、“汉界”。
宋代以后，象棋已定型并在民间广为流行。古往今来，还形成许多各式各样的象棋文化。逢年过节，棋迷们喜欢撰写棋联，如清代左宗棠率兵西征时，有人藉此写了∶“大帅用兵，士卒效命。车辚辚，马萧萧，气象巍巍。视此去，一炮成功，方不愧出将入相。”这棋联把所有的棋子名都包含进去了。而棋诗中写得最好的是明代王守仁的《哭象棋诗》，王守仁童年时，有一次和棋友在河岸对弈，因忘了吃饭，他的母亲唤了数次都没有觉察，王母气得就把棋子扔入河中。王守仁当时惋惜不已，就吟出了一首巧嵌棋子名的妙诗∶“象棋在手乐悠悠，苦被严亲一旦丢。兵卒坠河皆不救，将军溺水一齐休。马行千里随波去，士人三川逐浪流，炮响一声天地震，象若心头为人揪。”
棋谱则是奕棋高手们的实战记录，流传至今最为有名的古棋谱为《橘中秘》、《梅花谱》、《竹香斋》等。这些棋谱不仅具有收藏价值，对于研究象棋的历史渊源，和提升象棋棋艺水准有很大的实用价值。
