“绿皮书”作为整部影像的标题及线索，承载了美国黑人抗争的历史意义。在种族冲突严重的1936年，纽约黑人聚居区哈雷姆一个名叫维克托·雨果·格林（Victor Hugo Green）的邮递员发动各地的邮递员提供信息，哪些旅店、餐馆、休息站、商店是黑人可以安全出入的。这些信息集结成册，变成了译本黑人司机行路指南。这本小册子旨在“为黑人旅行者提供信息，使他避免陷入麻烦或尴尬境地”。到了二十世纪五、六十年代，这本“绿皮书”成了每一个非裔美国人出门必备的旅行指南。民权运动领袖朱利安·邦德（Julian Bond）2010年接受美国国家公共电台采访时回忆自己使用这本绿皮书的情形，他表示小时候全家去南方旅行时全靠这本绿皮书做向导。
影片《绿皮书》中讲述的故事发生在1962年，唐·谢利出行之前，唱片公司的人将一本小册子递给托尼·利普，并告知托尼路程中可能会需要根据这一指南安排住宿。这时镜头给出绿皮书的特写信息“轻松度假 黑人司机绿皮书”从而将这一中心影像首次交待出来。然而，在绿皮书出现之前影片并未交待一路南下后所面临的种族问题，即绿皮书未在任何剧情冲突中显示作用，而是仅仅作为一个“工具”出现来交待背景信息——美国南部根深蒂固的种族歧视危机。这样一来，绿皮书自身所映照的20世纪50、60年代美国黑人所面临的艰难境地和一触即发的紧张形势被遮蔽。绿皮书的历史性并未被揭示出来，相反，创作人员仅仅把这一中心影像当作铺设背景信息的工具。“绿皮书”第二次匆忙出现是在影片的三分之一处，谢利博士在第一站完成演出后前往肯塔基州的路上，绿皮书与空瓶子、地图、烟盒和垃圾一同被放置在汽车副驾驶的座椅上。“绿皮书”在影片中最后一次出现时被放置在托尼的床头，正当托尼打算开始阅读，谢利博士被白人刁难的情节突然插入，绿皮书的作用在影片中再次被带出——随着南方腹地的深入，种族冲突也愈加严重，同时暗示主角陷入麻烦。在此，“绿皮书”的影像意义依旧没能走出铺陈背景信息的窠臼，它作为线索出现，交待路途时间、铺设行程、暗示危机，却没有触及真正冲突的历史现实。
谢利博士的兄弟莫里斯·谢利(Maurice Shirley)对影片名称“绿皮书”明确提出了质疑：“我很担心，因为(这部电影)并不是真的关于绿皮书，但绿皮书自始至终都在，而且它似乎就是正确的标题”。这句话充分显示出了观众对标题“绿皮书”影像意义的错觉与想象，本应指涉黑人历史的“绿皮书”被误识为一个中性的道具。取名“绿皮书”却不提及这段历史，可见电影创作者落入了好莱坞常见的陷阱：从历史中断章取义地选取适用于自己的内容。