人間の脳をはじめ、すべての生体の脳が入出力しているのはパターン情報です。しかし、これまでに提案されてきた人工知能は、ほぼ全てシンボル情報を利用するものであり、生体の脳と全く異なる原理で動いています。
私たちは、SOINNの技術を発展的に応用することで、実環境で頑健に機能する、生体の脳に近いパターンベースの人工知能の実現を目指しています。
例えば、パターンベース人工知能を搭載したロボットは、人間や周囲の環境と相互作用しながらオンラインで知的に発達し、言語を獲得したり、 事前にプログラムされていないタスクでも、「経験」を通じて実行できるようになります。「パターンベース人工知能」は長谷川の造語ですが、今後あらゆる知能情報処理において、極めて重要な役割を果たすと考えています。
木村大毅、 Kankuekul Pichai, Aram Kawewong, 長谷川修、"超高速オンライン転移学習", 画像センシングシンポジウム、(2011), [Poster], [Slide]
近年、未知の問題分野に対し、既習の類似問題の知識を転用する転移学習が注目されている。実環境で活動するロボットに対し、この学習様式を用いる為には、学習のオンライン性とリアルタイム性が不可欠である。しかし、従来技術のバッチ学習手法[CVPR09]やAT-SOINN[IJCNN11]では、双方の性質を満たしていない。 本稿ではオンライン学習可能な自己増殖型ニューラルネットワーク[Ajusted-SOINN]を改良し、上記2つの性質を満たす転移学習手法を提案する。 結果として、[CVPR09],[IJCNN11]と比べ、認識率は[IJCNN11]と同等で、学習時間を70日[CVPR09],6時間[IJCNN11]から7分に、認識時間を2日[CVPR09],4時間[IJCNN11]から1分半に短縮した。
Sudo Akihito; Sato Akihiro; Hasegawa Osamu, "Associative Memory for Online Learning in Noisy Environments Using Self-organizing Incremental Neural Network" , IEEE Transactions on Neural Networks, Vol.20, No.6, pp.964-972, (2009)
Associative memory operating in a real environment must perform well in online incremental learning and be robust to noisy data because noisy associative patterns are presented sequentially in a real environment. We propose a novel associative memory that satisfies these requirements. Using the proposed method, new associative pairs that are presented sequentially can be learned accurately without forgetting previously learned patterns. The memory size of the proposed method increases adaptively with learning patterns. Therefore, it suffers neither redundancy nor insufficiency of memory size, even in an environment in which the maximum number of associative pairs to be presented is unknown before learning. Noisy inputs in real environments are classifiable into two types: noise-added original patterns and faultily presented random patterns. The proposed method deals with two types of noise. To our knowledge, no conventional associative memory addresses noise of both types. The proposed associative memory performs as a bidirectional one-to-many or many-to-one associative memory and deals not only with bipolar data, but also with real-valued data. Results demonstrate that the proposed method's features are important for application to an intelligent robot operating in a real environment. The originality of our work consists of two points: employing a growing self-organizing network for an associative memory, and discussing what features are necessary for an associative memory for an intelligent robot and proposing an associative memory that satisfies those requirements.
須藤明人・佐藤彰洋・長谷川 修，“ノイズのある環境下でオンライン学習が可能な自己増殖型ニューラルネットワークを用いた連想記憶モデル”， FIT 2007 第6回情報科学技術フォーラム, 情報技術レターズ，(2007) 船井ベストペーパ賞受賞
We propose a novel associative memory that performs well on incremental learning and is ro- bust to noisy data. Using the proposed method, new associative pairs presented sequentially can be learned accurately without forgetting previously learned patterns. The memory size of the proposed method increases adaptively. Therefore, it suffers neither redundancy nor insufficiency of memory size, even in an environment where the maximum number of associative pairs to be presented is unknown before learning. The proposed method deals with two types of noise. No conventional bidirectional associative memory deals with both types.
須藤明人・佐藤彰洋・長谷川 修, “自己増殖型ニューラルネットを用いたノイズのある環境下での追加学習が可能な連想記憶モデル”, 日本神経回路学会誌，Vol.15, No.2, pp.98-109, (2008) [PDF]
Furao Shen, Akihito Sudo, Osamu Hasegawa, "An Online Incremental Learning Pattern-based Reasoning System" , Neural Networks, Vol.23, No.1, pp.135-143, (2009)
An architecture for reasoning with pattern-based if–then rules is proposed. By processing patterns as real-valued vectors and classifying similar if–then rules into clusters in long-term memory, the proposed system can store pattern-based if–then rules of propositional logic, including conjunctions, disjunctions, and negations. Moreover, it achieves some important properties for intelligent systems such as incremental learning, generalization, avoidance of duplicate results, and robustness to noise. Results of experiments demonstrate that the proposed method is effective for intelligent systems for solving various tasks autonomously in a real environment.
須藤明人・坪山 学・張シンリ・佐藤彰洋・長谷川 修, "パターン情報ベースの命題論理式のための推論機の提案", FIT 2007 第6回情報科学技術フォーラム, 情報技術レターズ，(2007)
須藤明人・坪山 学・張 シンリ・佐藤彰洋・長谷川 修，“自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機”，電子情報通信学会論文誌, D Vol.J91-D, No.6, pp.1634-1647 (2008) [PDF]
ロボットの知能に関する研究の突破口となり得るパターン情報ベースの推論について、新たな手法 を提案する。シンボルをベースとした既存の推論機を知能ロボットに適用する際には、（ 1 ）シンボル化装置の性能 に限界があるという問題、（ 2 ）自律的なシンボルを生成する際に生じる問題、（ 3 ）シンボル化になじまないタイ プのパターン情報が存在するという問題がある。本論文では、これらの問題の解決のためにパターン情報ベース の推論機が必要となることを指摘し、新しいパターン情報ベースの推論機を提案する。提案手法は、「連言、選言、 否定を含む任意の形の論理式を扱うことができる」、「パターン情報を多値ベクトルで表現する」、「汎化性能をも つ」、「推論結果の重複を回避する」、「雑音への耐性をもつ」といった知能ロボットに適用する際に重要な機能を併 せ持っている。これらの機能を実現するために、提案手法はオンライン教師なし学習手法であるSelf-organizing Incremental Neural Network（SOINN）や連想記憶モデルであるSOINN Associative Memory を拡張したア ルゴリズムを採用している。
Xiaoyuan He, Ryo Kojima and Osamu Hasegawa : "Developmental Word Grounding through A Growing Neural Network with A Humanoid Robot" , IEEE Trans. SMC-Part B, Vol.37, No.2, pp.451-462, (2007)
This paper presents an unsupervised approach of integrating speech and visual information without using any prepared data. The approach enables a humanoid robot, Incremental Knowledge Robot 1 (IKR1), to learn word meanings. The approach is different from most existing approaches in that the robot learns online from audio-visual input, rather than from stationary data provided in advance. In addition, the robot is capable of learning incrementally, which is considered to be indispensable to lifelong learning. A noise-robust self-organized growing neural network is developed to represent the topological structure of unsupervised online data. We are also developing an active-learning mechanism, called "desire for knowledge", to let the robot select the object for which it possesses the least information for subsequent learning. Experimental results show that the approach raises the efficiency of the learning process. Based on audio and visual data, they construct a mental model for the robot, which forms a basis for constructing IKR1's inner world and builds a bridge connecting the learned concepts with current and past scenes.
Xiaoyuan He, Tomotaka Ogura, Akihiro Satou and Osamu Hasegawa, "Developmental Word Acquisition And Grammar Learning by Humanoid Robots through A Self-Organizing Incremental Neural Network" , IEEE Trans. SMC-Part B, Vol.37, No.5, pp.1357-1372, (2007)
We present a new approach for online incremental word acquisition and grammar learning by humanoid robots. Using no data set provided in advance, the proposed system grounds language in a physical context, as mediated by its perceptual capacities. It is carried out using show-and-tell procedures, interacting with its human partner. Moreover, this procedure is open-ended for new words and multiword utterances. These facilities are supported by a self-organizing incremental neural network, which can execute online unsupervised classification and topology learning. Embodied with a mental imagery, the system also learns by both top-down and bottom-up processes, which are the syntactic structures that are contained in utterances. Thereby, it performs simple grammar learning. Under such a multimodal scheme, the robot is able to describe online a given physical context (both static and dynamic) through natural language expressions. It can also perform actions through verbal interactions with its human partner.
岡田将吾・賀 小淵・小島 量・長谷川 修: "自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得", 人工知能学会論文誌, Vol. 22, No. 5, pp. 493-507, (2007) [PDF]
This paper presents an unsupervised approach of integrating speech and visual information without using any prepared data. The approach enables a humanoid robot, Incremental Knowledge Robot 1 (IKR1), to learn word meanings. The approach is different from most existing approaches in that the robot learns online from audio-visual input, rather than from stationary data provided in advance. In addition, the robot is capable of learning incrementally, which is considered to be indispensable to lifelong learning. A noise-robust self-organized growing neural network is developed to represent the topological structure of unsupervised online data. We are also developing an active-learning mechanism, called "desire for knowledge", to let the robot select the object for which it possesses the least information for subsequent learning. Experimental results show that the approach raises the efficiency of the learning process. Based on audio and visual data, they construct a mental model for the robot, which forms a basis for constructing IKR1's inner world and builds a bridge connecting the learned concepts with current and past scenes.
佐藤彰洋，賀 小淵，小倉和貴，長谷川 修, “人間との相互作用に基づくヒューマノイドロボット上の語順と挙動のオンライン学習”， 電子情報通信学会論文誌, D Vol.J91-D, No.8, pp.2045-2060 (2008) [PDF]
実環境においてロボットと人間が円滑なコミュニケーションを行うには、新しい言語獲得手法を開発する必要がある。本研究では、人間とのコミュニケーションを通じて動きの概念と文章の構造を獲得する手法を提案する。提案手法は自己増殖型ニューラルネットワーク（SOINN）とトップダウン処理、ボトムアップ処理を組み合わせることで、実環境から逐次的に得られる少数のデータを用いて単語の意味や文法構造、動きの概念を追加的に学習できる。更に動きを自身で生成したり、動きを言語によって説明することができる。実験により、提案手法がオンラインで与えられる少数の学習データから正しく言語の学習が行えることを示す。
〒226-8503 横浜市緑区長津田町4259 J3-13
東京工業大学 すずかけ台キャンパス
Tel ： 045-924-5180
Fax ： 045-924-5180
