# ジェネレーティブ AI と大規模言語モデル(LLM)を学ぶためのリソース

参考 Great Resources for Learning Generative AI and Large Language Models (LLMs) (opens new window)

自然言語処理技術を駆使して、自然で流暢な会話ができる ChatGPT は生活に欠かせない社会インフラーになりました。これからは AI の時代と世の中が一気に共同認識してあらゆる産業が AI を活用して効率化を図るようになりました。開発者としてそろそろ LLM について勉強したほうがいいかなと感じて、ちょっとずつ勉強中ですが、そのなかでいい記事があったので、翻訳してみました。

# 目次

  • 基本的な紹介
  • 基本的な使用法をカバーするコース
  • プロンプトエンジニアリング
  • LLMs
  • ジェネラティブ AI / 機械学習の深い探求
  • その他

この投稿では、LLM を理解するためのいくつかの優れたリソースを探求します。私の焦点は主にテキストとコードの推論にありますが、ほとんどの内容は一般的なものであるはずです。この投稿は段階的な学習の旅として構成されています。これは定期的に更新されるリストであることを意図しています。

# 基本的な紹介

このビデオでは、推論、スケーリング、ファインチューニング、セキュリティの問題、およびプロンプトの注入などのトピックについて、LLM の一般的で高水準な紹介が行われています。

注:このコースには nvidia にログインしてから詳細が表示されます。
このビデオでは、GenAI の非常に高水準な概要、その使用法、企業がターゲティングしているアプリケーションなどが説明されています。

# 基本的な使用法をカバーするコース

私自身、これが LLMs、プロンプト、RAG、エージェント、マルチモーダルなどに触れる優れたコースだと感じました。

私自身はこれをまだ受講していませんが、コンテンツはまあまあです。

# プロンプトエンジニアリング

プロンプトエンジニアリングの技術は一般的に見えるかもしれませんが、実際にはモデルファミリごとに特定の動作があります。モデルを変更すると、より良い結果を得るためにプロンプトを調整する必要がある場合があります。 (たとえば、Claude 2.x は制約や 1 回の例に XML タグを使用することでうまく機能しましたが、GPT4 は JSON との組み合わせでより良い結果が得られました)

# LLMs

トークン化から事前トレーニング、教師ありファインチューニング、ヒューマンフィードバックからの強化学習(RLHF)などの内容が含まれています。また、これらのモデルの効果的な使用についての実践的な技術とメンタルモデル、プロンプト戦略、ファインチューニングなどもカバーされています。

nanoGPT、GPT2、GPT3 を使用した LLMs の優れた視覚化と説明が提供されています。視覚化を理解するのはやや複雑です。おそらく 201 ではなく 301 になりますが、一読することもある程度役立ちます。

# ジェネラティブ AI / 機械学習の深い探求

ML にダイブするための決定的なコース。GenAI のカバーも更新されました。 (94 時間)

これは、ゼロから GPT を構築する YouTube シリーズです。

理想的なコースは、シーズン 1 から 4 までを経て、すべての点を理解することです。

この学習経路には懐疑的ですが、一部の人々がこれを有用と考えています。

# その他

独自のペースで学習できる興味深い学習経路がいくつかあります。
無料および有料のコンテンツが用意されています。

# ベース定義

GPT とは

Generative Pretrained Transformer の略で、OpenAI が開発した自然言語処理モデルの一つです。GPT シリーズは、大量のテキストデータを用いて事前に訓練されたトランスフォーマー(Transformer)と呼ばれるニューラルネットワークアーキテクチャをベースにしています。

LLM とは

Large Language Models の略で、大規模言語モデルを意味します。人工知能デープラーニングアルゴリズムの一種で、自然言語処理(NLP)と呼ばれる分野で使用されます。大規模言語モデルは、テキストを読んだり生成したりする能力に長けています。

NLP とは

Neuro Linguistic Programming の略で、神経言語プログラミングを意味します。脳の取り扱い説明書とも言われて、大量のテキストデータを分析する技術です。

2024-04-19
  • server

関連記事

積水ハウス SQL インジェクション攻撃による個人情報漏洩
ZeroSSL で無料 SSL できるけど Let's Encrypt と比較
XZ Utils 事件対応
Ubuntu で Web サーバーを構築する手順
メールサーバー移行と POP & IMAP 設定
Docker Supervisor 使ってバッチ処理
よく使う WSL コマンド
自宅サーバー構築!  Nextcloud で NAS クラウドストレージ
no such file or directory: /usr/share/zsh/vendor-completions/_docker
oh my zsh 使うべし
AWS SES メール開封確認  DB に集計
AWS CloudWatch ログ監視で Lambda 処理
Vim 操作とショートカット
DDNS 無料ダイナミック DNS サービス 4 つ
Nginx 基本設定
SPF メール送信なりすまし対策
Windows Mac Linux hosts ファイル場所
AWS Unresolved resource dependencies [AWSEBV2LoadBalancer] エラー
ディスク容量を確認する df コマンド
Laravel Address already in use の原因
content-security-policy 設定
AWS Elastic Beanstalk php.ini 設定変更
AWS Elastic Beanstalk 環境設定
AWS のタイムゾーンを UTC 協定世界時から JST 日本標準時に変更
Docker の基本的な使い方
Amazon DynamoDB 制限調査
AWS 504 Gateway Timeout エラー対応
Shell と Bash のいろいろ
Mac ターミナル SSH 接続設定
Elastic Beanstalk \$\SERVER['REMOTEADDR'] 取得できない
crontab 設定いろいろ
AWS EC2 の amazon-linux-extras の話
デプロイツール Capistrano
解決! xserver php バージョンアップした時に ssh 環境に反映されない
youtube 見れるように vpn サーバー建ててみた
xserver に vim インストール
xserver に nodejs インストール
レンタルサーバーなら xserver おすすめ理由
Docker command でドッカー練習する時のメモ
Windows10 Home に Docker 入れた時のメモ
Centos7 Webserver 構築の時のメモ