在先秦两汉时期，《周易·系辞上》中对“意”与“象”的概念进行了阐释：“子曰：‘书不尽言，言不尽意。’然则圣人之意，其不可见乎？子曰：’圣人立象以尽意，设卦以尽情伪，系辞焉以尽其言，变而通之以尽利，鼓之舞之以尽神。’”这里的“象”指的是卦象，与我们现在所说的“象”是有所区别的。《道德经》中也讲“象”：“视之不见名曰夷，听之不闻名曰希，搏之不得名曰微。此三者不可致诘，故混而为一。其上不皦，其下不昧。绳绳不可名，复归于无物，是谓无状之状，无物之象。是谓惚恍。”老子是从“道”的本体论角度而言“象”，将“象”上升到了形而上的高度。
庄子关于“言-意”三者之间的关系有了著名的“言荃论”：“荃者所以在鱼，得鱼而忘荃；蹄者所以在兔，得兔而忘蹄；言者所以在意，得意而忘言。”这可以视为后来魏晋时期言意之辨的滥觞，“意”的主体地位得到彰显，“言”为“达意”的工具。
《韩非子·解老》一篇中讲道：“人希见生象也，而得死象之骨，案其图以想其生也，故诸人之所以意想者皆谓之‘象’也。”这里尤其强调了人的主体作用，人们见不到活着的象，便以死去的象的骨头来去推想象的模样，“意”在此的作用是形成“心中之象”。由此可知，心中的象的形象是经由我们人的大脑主体化了的，是被大脑所加工处理过了的。这与我们今天说的“意象”一词已经有所联系。
东汉时期王充的《论衡·乱龙篇》第一次将“意”与“象”联结成词：“天子射熊，诸侯射麋，卿大夫射虎豹，士射鹿豕，示服猛也。名布为侯，示射无道诸侯也。夫画布为熊麋之象，名布为侯，礼贵意象，示义取名也。”这里的“意象”还不是我们作为审美范畴所讨论的“意象”，王充在这里强调“礼”的重要性，每个阶层的人的箭靶上对应的动物是不同的，地位越高的人所对应的动物形象越为凶猛，这是表示人对动物的征服；把布靶上画上动物形象，以表示攻伐无道的诸侯。这些都表示此时的“象”是具有拟喻意义的，每个“象”的背后都有一种寓义，“象”是不能脱离意义而单独存在的。
魏晋南北朝时期，“意”与“象”的阐释有了进一步的发展。其中最为著名的便是王弼的“得意忘象”说，王弼认为“言”是“尽象”的手段，“尽意”是用卦象的目的。他一方面强调“言-象-意”三者的有机性，另一方面又指出“意”为目的，其他二者为手段，目的达到了可以忘掉手段。他认为真正的境界是应当把握现象背后的本质，在承认外在的形象重要性的同时，强调不要拘泥和固执于外在的形象。当然，这里的“象”是指“卦象”，与外在的实体化的形象、现象是有所区别的。