ヒトの視覚性記憶は本質的には、とても消えやすく脆弱です。

特に「視たことのない視覚情報」を目視で捉えて記憶保持する時間は、とても短いことが分かっています。

その理由は、網膜から入る膨大な光学情報を扱う視覚情報処理は、脳にとって、とても複雑で負担の大きいものだからです。

視覚情報処理で重要なのは「特徴抽出」と「機能分化」です。

「特徴抽出」では、複雑な視覚情報を線分のカタチや傾きとして、予め作られた視覚野の神経ネットワークと照合することで、効率よく視覚パターン特徴を抽出します。傾き、カタチだけではなく、円形曲線や動きなど様々な視覚パターン照合を行います。

「機能分化」では、下側頭葉皮質に向かう「What (何が)」の腹側視覚路と、頭頂皮質に向かう「Where(何処に)」の背側視覚経路の役割分担があげられます。

What(何が)の経路では味記憶と照合して、視認対象が何であるか認識します。Where(何処に)」の経路では、対象の視空間的な位置などを把握します。

さらに視覚情報は前頭葉で選択注意やワーキングメモリ内で処理されて意識的なプロセスで保持されます。

私達は、様々な全頭的な処理を行うことで、膨大な視覚情報を認知して覚えたり利用しているのです。

つまり、私達は頭の中では，

①視覚パターンに照合する

②機能分化した皮質領域で情報処理を行う

③ワーキングメモリ操作・選択注意・実行機能

という①〜③のプロセスを介して、何とか膨大かつ複雑な視覚情報を効率的に覚えているといえるでしょう。

このプロセスが利用できない場合の視覚認知はどの程度、脆いのでしょうか。

そのような視覚性短期記憶の実験が古くから行われています。

 

ヒトの内在する視覚性認知・記憶の脆さとは？

 

古くは1974年に行われたフィリップスの実験では、複雑なブロックパターンの再認実験を行いました。結果は、ブロックパターンが複雑化するとともに秒単位で再認成績の低下が起きました。

国内の酒井の実験(2001)、ではこちらも視覚パターンとして認知しずらい、人工的に生成したアメーバ模様の再認実験を行いました。こちらもフィリップスの実験と同じく、視覚パターンの複雑化に反比例して数秒単位での再認成績の低下が起きました。

また水野の実験(1996)では、視覚パターンと意味との結びつきを調べる目的で、記号として意味と紐付けやすい図と、そうでない一度も見たことがない図での視覚性記憶実験を行いました。結果は意味的紐付が難しい後者の図の方が低い再認成績となりました。

今まで見た視覚パターンに照合したり、意味と紐付けたり、頭で考えて組み立てるという高次な認知プロセスがあるから、ヒトは複雑な視覚情報をすぐに捉えて覚えられるのです。

上の研究結果からは、本質的にヒトの視覚認知・記憶はとても脆弱で、すぐに消えやすい性質を持つことがわかります。

 

どうやって覚えていたのか？「触覚探索」と「言語概念化」

 

初めて見る「複雑な視覚パターン」を把握して覚えるために、ヒトは「視ながら触れる」という方法と「言語概念化」という方法を利用してきたと私(宮崎)は考えます。

視ながら触れる(触覚探索認知)

Roberta L(1993)らの実験では、ヒトは複雑な視覚パターンや形状を視ると、自然と手で触れて確かめようとする傾向が報告されています。またHelbig.B(2007)らの実験では、視るだけではなく、手で触れて形状を把握した方が再認成績が優れている事も報告されています。脆く消えやすい視覚イメージを、手で触れる事で、手掌面の刺激時間変化として、質感や肌触りを伴う探索認知することができます。

※触るグリフもこの触覚探索認知を利用しています。

※ 触覚探索認知の脳機能的なメカニズムと、文字や記号など２D平面での効果メカニズムについては、また次回詳しく記載します。

 

言語概念化

私達は日常の全てのモノやコトに「言葉」のラベルが貼り付いています。

未知のモノ・コトに対しても言葉で例えたり、言葉としての意味を与える事で、抽象概念として表象(イメージ)することができます。言葉が存在しない文化はありません。文字は道具ですが、言葉は人間の本能と言えます。先に例に出した酒井の実験で利用された模様も、厳密な視覚パターンは思い出せなくても「アメーバ」という言葉で、何となく思い出せるのではないでしょうか。

私は、この「触覚探索認知」と「言語概念化」は、文字の形状や綴りの視覚認知プロセスを苦手とする方々の学習支援に利用できる本質的かつ普遍的な迂回ルートだと考えています。

 

【参考文献】

・Phillips, W. A. 1974 On the distinction between sensory storage and short-term visual memory. Per ception and Psychophysics, 16

・視覚短期記憶の忘却率 に及ぼす図形の複雑さと類似度の効果:光華⼥⼦⼤学 酒井浩⼆ ・京 都⼤学 乾敏郎 The Japanese Journal of Psychology 2001. Vol. 72. No. 1. 36-43

・視空間スケッチパッドへの⻑期記憶影響1 -新近性効果の新たな要因の検討- 静岡理⼯科⼤学 ⽔野りか (The Japanese Journal of Psychology 1996, Vol. 67, No. 5, 359-366 )

・Haptic Exploration in the Presence of Vision 1993Journal of Experimental Psychology Human Perception & Performance 19(4):726-743

・Humans integrate visual and haptic information in a statistically optimal fashion. Ernst and Banks in Nature 415：429-433、2002

・