情報メディア実験 M31: クラウドソーシング，機械学習，言語創発に関するAI技術実験

本ページは順次updateします

実験概要(2024年度)

時期

担当

• 森嶋 厚行
• 若林 啓
• TA:田村 匠
• TA:井上 直紀

場所・参加方法

内容

• クラウドソーシングと機械学習を組み合わせたAI作成： 現在，state-of-the-artの人工知能の部品は，クラウドソーシング，データ統合，機械学習です．
  これらを上手に組み合わせることにより，(潜在的には)数十億の人々の力とコンピュータの力を利用して， 人間だけ，機械だけでは不可能な「融合知能」の実現が可能です．
  本実験で，具体的に作ってみて，自分で作れるようになりましょう． 作成したAIを活用して，面白いアプリや役に立つデータセットを作ってみましょう．
• 言語創発に関するAI実験： 言語の起源は謎に包まれています． 我々の言語がどこから来てどこへ向かっていくのか，AIにも言語を生み出すことができるのか，といった問いに答えを与えるためには，言語が創発・進化するメカニズムを解明しなければなりません． 言語の創発過程は直接化石に残らないことから，考古学的な証拠の不足を補うために，AIを計算モデルとして用いて仮説検証を行う方法論が重要な役割を果たしています． 本実験で，AI実験により，言語の創発に関する数理的な性質を明らかにしてみましょう．

実験の流れ (予定)

• クラウドソーシングと機械学習を組み合わせたAI作成
1. Amazon Mechanical Turkおよびヤフークラウドソーシングを通じたタスク依頼を体験
2. クラウドソーシング，データ統合，機械学習手法の一通りの紹介
3. クラウドソーシング+データ統合+機械学習を利用して何を行うかを受講者自身が設定
4. 設定した課題をどのようにで実現するかを設計
5. 実際にそれを実現するの仕組みを実装
• 言語創発に関するAI実験
1. AIを用いた言語創発実験の方法論の紹介
2. サンプルコードに基づいて言語創発に関するAI実験を体験
3. パラメータを変えて実験を行い，結果を分析

日程(2024年度．今後，変更の可能性があります)．毎回の課題は最終発表のpptを順次作成することです．

4/24-6/28は主に「クラウドソーシングと機械学習を組み合わせたAI作成」を，7/3-7/31は主に「言語創発に関するAI実験」を行います．

1. 4/17 (W34) 実験ガイダンス
2. 4/24 (W3*) [C1] Crowd-in-the-loop AIのイントロダクション．今後のスケジュールを決めます． Teamsでリンクを授業中に送る: Crowd4Uタスク体験，YCS, AMTにあるLabeling task, Rating task, Ranking taskの例を紹介します．(宿題：どんなCrowd-in-the-loop AIを作るか考えてpptなどでスライド作成しTeamsにアップロード)
   (W4)実験
3. 4/26 (F56) 実験
4. 5/1 (W5*) [C2] 機械学習手法の概要と参考サイト・書籍などの案内．また，提出スライドに簡単にコメントします（宿題：適当なデータでいろいろツールを試し，機械学習手法やツールを決める．機械学習の基礎を学んだこととコメントをベースに，pptxをより具体的にしてくる。何を目的としたシステムなのか、用意するデータが何であるか、クラウドソーシングで行うタスクは何か、pptをアップデートしてTeamsにアップロード）
   (W6) 実験
5. 5/8 (W3*) [C3] クラウドソーシングの概要とタスクの投げ方． (宿題：どういうタスクを投げるかを考え，タスクのテンプレートを作るとこまででやって，タスクの説明と期待される結果についてpptに追加しTeamsにアップロード)
   (W4) 実験
6. 5/10 (F56) 実験
7. 5/15 (W3*) [C4] なにをするか各自発表します． (宿題：フィードバックを受け、どういうタスクを投げるかを考え，タスクのテンプレートを作るとこまででやって，タスクの説明と期待される結果についてpptに追加しTeamsにアップロード)
   (W4) 実験
8. 5/17 (F56) 実験
9. 5/22 (W3*) [C5] 品質管理とデータ統合　「良いタスクのインストラクションのtips」などの説明．(宿題：タスクの最終設計をYCS, AMTで行いスクリーンショットをTeamsの「AMTやY!・・・の報告」のチャンネルに投げます, pptにも追加してTeamsにアップロードします)
   (W4) 実験
10. 5/24 (F56) 実験
11. 5/29 (W34) [C6] クラウドソーシング実験、学習モデル構築 実験
12. 5/31 (F56) 実験
13. 6/5 (W34) [C7] クラウドソーシング実験、学習モデル構築 実験
14. 6/7 (F56) 実験
15. 6/12 (W34*) [C8] 中間発表（発表内容は下記レポートに書く内容を参照）
16. 6/14 (F56) 実験
17. 6/19 (W34) [C9] クラウドソーシング追実験、学習モデル構築
18. 6/21 (F56) 実験
19. 6/26 (W34) [C10] 最終発表（発表内容は下記レポートに書く内容を参照）
20. 6/28 (F56) 実験
21. 7/3 (W3*) [L1] 言語創発実験のイントロダクション．言語の起源の謎に迫る研究の話をして，その中でAI実験がどのように役に立つのかを説明します．また，AI実験に用いられる強化学習の原理の説明と，サンプルコードの紹介をして，動作確認と簡単な実験をします．（宿題：サンプルコードのパラメータを変えて何が起きるかを実験し，スライドにまとめてTeamsにアップロード）
    (W4) 実験
22. 7/5 (F56) 実験
23. 7/10 (W3*) [L2] 最も単純なAI実験であるシグナリングゲームの説明をします．サンプルコードの紹介をして，動作確認と簡単な実験をします．（宿題：サンプルコードのパラメータを変えて何が起きるかを実験し，スライドを更新してTeamsにアップロード）
    (W4) 実験
24. 7/12 (F56) 実験
25. 7/17 (W3*) [L3] マルチエージェント深層強化学習を用いた言語創発実験の説明をします．サンプルコードの紹介をして，動作確認と簡単な実験をします．（宿題：サンプルコードのパラメータを変えて何が起きるかを実験し，スライドを更新してTeamsにアップロード）
    (W4) 実験
26. 7/19 (F56) 実験
27. 7/24 (W3*) [L4] 言語の構成性に関する説明をします．複数のシグナルを組み合わせたコミュニケーション創発のAI実験の説明と，サンプルコードの紹介をして，簡単な実験をします．（宿題：サンプルコードのパラメータを変えて何が起きるかを実験し，スライドを更新してTeamsにアップロード）
    (W4) 実験
28. 7/26 (F56) 実験
29. 7/31 (W34*) [L5] 最終発表

演習のポイント

• クラウドソーシングと機械学習を組み合わせたAI作成
• クラウドソース→クリーニング→機械学習を一通り体験するのが目的ですので，正解データがあっても，クラウドソースしてみましょう
• 人間にしかできない(かつ難しすぎず人間に出来そうな)作業をクラウドソースしましょう
• 良いタスク設計を学びましょう
• データの品質管理手法や，データの品質の評価について学びましょう
• 機械学習の基礎を学びましょう
• 機械学習手法の評価方法を学び，プレゼンに掲載しましょう
• 言語創発に関するAI実験
• 強化学習の基礎を学びましょう
• サンプルコードのパラメータを変えて何度も実験しましょう
• パラメータの違いによる結果の意味を考察し，プレゼンに掲載しましょう

レポートに書く内容

• モチベーション
• 全体像
• (利用した場合は)データセットの詳細
• クラウドソーシングのタスクインストラクション(可能ならばスクリーンショットも)，人数，値段，クラウドソーシングサービス 詳細を書きましょう．工夫した点があれば説明して下さい．
• クラウドソーシングの結果：混同行列，ワーカの点数分布，正解率など
• クリーニング手法：多数決，Dawid-Skene, スパム除去手法など
• クリーニングの結果：生の結果と比較してどうか
• 機械学習手法．利用したライブラリや環境，パラメータなど，再実験できるように
• 機械学習の結果の詳細．正解率，混同行列，上手くいかなかった例の説明など