# ジェネレーティブ AI と大規模言語モデル（LLM）を学ぶためのリソース
参考 Great Resources for Learning Generative AI and Large Language Models (LLMs) (opens new window)
自然言語処理技術を駆使して、自然で流暢な会話ができる ChatGPT は生活に欠かせない社会インフラーになりました。これからは AI の時代と世の中が一気に共同認識してあらゆる産業が AI を活用して効率化を図るようになりました。開発者としてそろそろ LLM について勉強したほうがいいかなと感じて、ちょっとずつ勉強中ですが、そのなかでいい記事があったので、翻訳してみました。
# 目次
- 基本的な紹介
- 基本的な使用法をカバーするコース
- プロンプトエンジニアリング
- LLMs
- ジェネラティブ AI / 機械学習の深い探求
- その他
この投稿では、LLM を理解するためのいくつかの優れたリソースを探求します。私の焦点は主にテキストとコードの推論にありますが、ほとんどの内容は一般的なものであるはずです。この投稿は段階的な学習の旅として構成されています。これは定期的に更新されるリストであることを意図しています。
# 基本的な紹介
- Andrej Karpathy による 大規模言語モデルの紹介 (opens new window)
このビデオでは、推論、スケーリング、ファインチューニング、セキュリティの問題、およびプロンプトの注入などのトピックについて、LLM の一般的で高水準な紹介が行われています。
- Nvidia による Generative AI explained (opens new window)
注：このコースには nvidia にログインしてから詳細が表示されます。
このビデオでは、GenAI の非常に高水準な概要、その使用法、企業がターゲティングしているアプリケーションなどが説明されています。
# 基本的な使用法をカバーするコース
- Microsoft の Generative AI for Beginners (opens new window)
私自身、これが LLMs、プロンプト、RAG、エージェント、マルチモーダルなどに触れる優れたコースだと感じました。
私自身はこれをまだ受講していませんが、コンテンツはまあまあです。
# プロンプトエンジニアリング
プロンプトエンジニアリングの技術は一般的に見えるかもしれませんが、実際にはモデルファミリごとに特定の動作があります。モデルを変更すると、より良い結果を得るためにプロンプトを調整する必要がある場合があります。 （たとえば、Claude 2.x は制約や 1 回の例に XML タグを使用することでうまく機能しましたが、GPT4 は JSON との組み合わせでより良い結果が得られました）
Microsoft による プロンプトエンジニアリングへの紹介 (opens new window)
OpenAI の プロンプトエンジニアリングガイド (opens new window)
Anthropic Claude の プロンプトエンジニアリングガイド (opens new window)
# LLMs
- Andrej Karpathy による GPT の状態 (opens new window)
トークン化から事前トレーニング、教師ありファインチューニング、ヒューマンフィードバックからの強化学習（RLHF）などの内容が含まれています。また、これらのモデルの効果的な使用についての実践的な技術とメンタルモデル、プロンプト戦略、ファインチューニングなどもカバーされています。
- ビジュアルインタロケーション Bycroft による LLMs (opens new window)
nanoGPT、GPT2、GPT3 を使用した LLMs の優れた視覚化と説明が提供されています。視覚化を理解するのはやや複雑です。おそらく 201 ではなく 301 になりますが、一読することもある程度役立ちます。
# ジェネラティブ AI / 機械学習の深い探求
- Andrew Ng の 機械学習入門 (opens new window)
ML にダイブするための決定的なコース。GenAI のカバーも更新されました。 （94 時間）
Fast.ai の コース (opens new window)
Andrej Karpathy の Zero to Hero (opens new window)
これは、ゼロから GPT を構築する YouTube シリーズです。
- 3Blue1Browns シーズン 3 - ニューラルネットワーク (opens new window)
理想的なコースは、シーズン 1 から 4 までを経て、すべての点を理解することです。
この学習経路には懐疑的ですが、一部の人々がこれを有用と考えています。
# その他
独自のペースで学習できる興味深い学習経路がいくつかあります。
無料および有料のコンテンツが用意されています。
- awesome-generative-ai (opens new window) でのツールとより広範なリソースリスト
# ベース定義
GPT とは
Generative Pretrained Transformer の略で、OpenAI が開発した自然言語処理モデルの一つです。GPT シリーズは、大量のテキストデータを用いて事前に訓練されたトランスフォーマー（Transformer）と呼ばれるニューラルネットワークアーキテクチャをベースにしています。
LLM とは
Large Language Models の略で、大規模言語モデルを意味します。人工知能デープラーニングアルゴリズムの一種で、自然言語処理（NLP）と呼ばれる分野で使用されます。大規模言語モデルは、テキストを読んだり生成したりする能力に長けています。
NLP とは
Neuro Linguistic Programming の略で、神経言語プログラミングを意味します。脳の取り扱い説明書とも言われて、大量のテキストデータを分析する技術です。