フロントエンジニア/データエンジニア/データサイエンティスト
長岡技術科学大学 工学部 情報経営システム工学課程 4年 在学
機械学習理論研究室所属
大学の学祭の実行委員である情報局「NUTMEG」に所属し、学祭をWebアプリでDXしています。
それらの経験を活かして、様々なハッカソンや他団体のLT会にも参加しています。
また、機械学習理論研究室では気象データを扱い、気象予報コメントを生成するタスクの解決を行っています。
共著者: 高野雄紀,渡邊正太郎,雲居玄道
天気図の認識は、記号の解釈と未来予測という2つの認知プロセスを必要とする複雑な画像認識タスクである。近年、マルチモーダルAIの進歩により、このような複雑なタスクを解決できる可能性が示されている。本研究では、マルチモーダルAIの一種であるChatGPTを用いて天気図画像の認識性能を検証し、より正確な認識を行うためのプロンプトエンジニアリングを提案する。天気図の認識は、大学共通入試問題にも出題されている問題である。天気図が認識できれば、自動採点や問題生成が可能となり、学習支援につながる。さらに、天気図から天気解説文を自動生成することも期待できる。そのため、天気図画像の認識は重要な課題であるが、局所的な気象データの時系列変化を認識するだけでなく、気圧配置などの大規模な気象パターンの情報や将来予測を認識する必要がある。本研究では、マルチモーダルAIであるChatGPT4-Visionを用いて、天気図画像の認識性能を検証する。大学入試問題の天気図に関する質問に答えられるか、天気図画像から天気解説文を生成できるかを調査する。タスクやプロンプト内の情報を変えて複数の実験を行い、生成された解説文の精度を評価することで、プロンプトエンジニアリングによる読解性能の向上を提案し、検証する。
共著者: 高野雄紀,渡邊正太郎,雲居玄道
天気予報のテキスト(天気コメント)は、気象予報士が画像化された情報を解釈し、言語化することで作成される。天気コメントの自動生成に関する従来研究には、大規模な気象場の情報を含めることと、自然な文章を生成することという2つの課題がある。本研究では、マルチモーダルAIであるChatGPT4-Visionを用いて、地上天気図画像から天気コメントの自動生成を行う。プロンプトで示すタスクや与える情報量を変化させる実験を行い、出力されたコメントの精度を検証することで、マルチモーダルAIの天気コメント生成への応用可能性を探る。-Visionを用いて、地上天気図画像から天気コメントの自動生成を行う。プロンプトで示すタスクや与える情報量を変化させる実験を行い、出力されたコメントの精度を検証することで、マルチモーダルAIの天気コメント生成への応用可能性を探る。実験の結果、プロンプトを構造化し指示を明確化することや、段階的に実行するよう指示することが有効であることがわかった。また、Few-shot learningにより、ChatGPT4-Visionが新しい概念やパターンを理解し、一般化できることが示された。本研究の成果は、国民一人ひとりにカスタマイズされた天気予報の実現に寄与すると期待される。