Hapicode

# ジェネレーティブ AI と大規模言語モデル（LLM）を学ぶためのリソース

参考 Great Resources for Learning Generative AI and Large Language Models (LLMs) (opens new window)

自然言語処理技術を駆使して、自然で流暢な会話ができる ChatGPT は生活に欠かせない社会インフラーになりました。これからは AI の時代と世の中が一気に共同認識してあらゆる産業が AI を活用して効率化を図るようになりました。開発者としてそろそろ LLM について勉強したほうがいいかなと感じて、ちょっとずつ勉強中ですが、そのなかでいい記事があったので、翻訳してみました。

# 目次

  • 基本的な紹介
  • 基本的な使用法をカバーするコース
  • プロンプトエンジニアリング
  • LLMs
  • ジェネラティブ AI / 機械学習の深い探求
  • その他

この投稿では、LLM を理解するためのいくつかの優れたリソースを探求します。私の焦点は主にテキストとコードの推論にありますが、ほとんどの内容は一般的なものであるはずです。この投稿は段階的な学習の旅として構成されています。これは定期的に更新されるリストであることを意図しています。

# 基本的な紹介

このビデオでは、推論、スケーリング、ファインチューニング、セキュリティの問題、およびプロンプトの注入などのトピックについて、LLM の一般的で高水準な紹介が行われています。

注：このコースには nvidia にログインしてから詳細が表示されます。
このビデオでは、GenAI の非常に高水準な概要、その使用法、企業がターゲティングしているアプリケーションなどが説明されています。

# 基本的な使用法をカバーするコース

私自身、これが LLMs、プロンプト、RAG、エージェント、マルチモーダルなどに触れる優れたコースだと感じました。

私自身はこれをまだ受講していませんが、コンテンツはまあまあです。

# プロンプトエンジニアリング

プロンプトエンジニアリングの技術は一般的に見えるかもしれませんが、実際にはモデルファミリごとに特定の動作があります。モデルを変更すると、より良い結果を得るためにプロンプトを調整する必要がある場合があります。 （たとえば、Claude 2.x は制約や 1 回の例に XML タグを使用することでうまく機能しましたが、GPT4 は JSON との組み合わせでより良い結果が得られました）

# LLMs

トークン化から事前トレーニング、教師ありファインチューニング、ヒューマンフィードバックからの強化学習（RLHF）などの内容が含まれています。また、これらのモデルの効果的な使用についての実践的な技術とメンタルモデル、プロンプト戦略、ファインチューニングなどもカバーされています。

nanoGPT、GPT2、GPT3 を使用した LLMs の優れた視覚化と説明が提供されています。視覚化を理解するのはやや複雑です。おそらく 201 ではなく 301 になりますが、一読することもある程度役立ちます。

# ジェネラティブ AI / 機械学習の深い探求

ML にダイブするための決定的なコース。GenAI のカバーも更新されました。 （94 時間）

これは、ゼロから GPT を構築する YouTube シリーズです。

理想的なコースは、シーズン 1 から 4 までを経て、すべての点を理解することです。

この学習経路には懐疑的ですが、一部の人々がこれを有用と考えています。

# その他

独自のペースで学習できる興味深い学習経路がいくつかあります。
無料および有料のコンテンツが用意されています。

# ベース定義

GPT とは

Generative Pretrained Transformer の略で、OpenAI が開発した自然言語処理モデルの一つです。GPT シリーズは、大量のテキストデータを用いて事前に訓練されたトランスフォーマー（Transformer）と呼ばれるニューラルネットワークアーキテクチャをベースにしています。

LLM とは

Large Language Models の略で、大規模言語モデルを意味します。人工知能デープラーニングアルゴリズムの一種で、自然言語処理（NLP）と呼ばれる分野で使用されます。大規模言語モデルは、テキストを読んだり生成したりする能力に長けています。

NLP とは

Neuro Linguistic Programming の略で、神経言語プログラミングを意味します。脳の取り扱い説明書とも言われて、大量のテキストデータを分析する技術です。

2024-04-19
  • server

関連記事

robots.txt の書き方

robots.txtの書き方、よく使う例などrobots.txtの遊び方について...

5 分で VPN サーバー立てる! wg-easy の使い方

自前のVPNサーバー構築して、地域制限を回避してYoutubeみたり、セキュア通信したりできるように...

積水ハウス 個人情報流出 SQL インジェクション攻撃か

積水ハウスの会員制サイトが攻撃を受け、顧客と従業員情報などが流出と公表した。...

ZeroSSL で無料 SSL できるけど Let's Encrypt と比較

SSL無料証明書はLets Encrypt以外にZeroSSLも一つの選択として存在します。...

XZ Utils 事件対応

バックドアを利用してssh経由でリモートから侵入する悪意がある XZ Utils メンテナンスについ...

Ubuntu で Web サーバーを構築する手順

UbuntuでWebサーバーを構築する手順についてのメモ...

メールサーバー移行と POP & IMAP 設定

メールサーバーを別のサーバーへ引っ越し作業があったので、資料まとめました。...

Docker Supervisor 使ってバッチ処理

Amazon ECS Dockerfile に Supervisor でプロセス管理します。Lara...

よく使う WSL コマンド

Windows WSL インストールして本物のLinux環境をWindowsで楽しめる Ubuntu...

自宅サーバー構築！　 Nextcloud で NAS クラウドストレージ

NAS 自宅ストレージサーバーをNextcloudで自作するまで、大容量で安全安心のローカルマシンに...

no such file or directory: /usr/share/zsh/vendor-completions/_docker

wslのUbuntuにzshインストールして使ってますが、突然にwarning errorになったた...

oh my zsh 使うべし

カラフルでコマンドがわかりやすいzshが使いやすいので、zshとoh my zshのインストールにつ...

AWS CloudWatch ログ監視で Lambda 処理

Cloudwatch ログ監視して Lambda 処理でチャットワーク送信したり、カスタマイズ処理を...

AWS SES メール開封確認　 DB に集計

メール送信の開封確認して DB更新するために使う AWS サービス SES SNS LAMBDA と...

Vim 操作とショートカット

Linux OS なら Vim 知らない人はいないくらい高性能エディター Vim の各種コマンド シ...

DDNS 無料ダイナミック DNS サービス 4 つ

国内外にあるDDNS無料サービス4つについて調べました。制限の少ないDDNS Nowはいい評判な理由...

Nginx 基本設定

ウェブサーバーNginxの基本設定、バーチャルホスト、ベース認証、SSL設定について...

SPF メール送信なりすまし対策

メール送信なりすまし対策フィッシング詐欺対策に SPF レコードを追加して簡単に送信元IPアドレス認...

Windows Mac Linux hosts ファイル場所

windows hosts mac hosts と linux hostsファイル場所とhostsの...

AWS Unresolved resource dependencies [AWSEBV2LoadBalancer] エラー

aws ELBデプロイでUnresolved resource dependencies AWSEB...

ディスク容量を確認する df コマンド

サーバーのディスク容量確認する dfコマンドの使い方について dfコマンドの...

Laravel Address already in use の原因

laravel artisan serve したら Failed to listen on 127....

content-security-policy 設定

Content-Security-Policy 設定でエラー解消するためにnetlify conte...

AWS Elastic Beanstalk php.ini 設定変更

configファイル使って aws php post_max_size upload_max_fil...

AWS Elastic Beanstalk 環境設定

amazon EB Elastic Beanstalkデフォルト設定と環境プロパティについて...

AWS のタイムゾーンを UTC 協定世界時から JST 日本標準時に変更

AWSの時間が９時間ずれる！UTCからAsia/Tokyo JSTに変更...

Docker の基本的な使い方

環境統一作業効率で使われるDockerfileなど、さくらナレッジの記事を読んで改めてDockerの...

Amazon DynamoDB 制限調査

AWS DynamoDB制限について調べたが、容量制限がアイテムあたり400KBでリクエスト制限もあ...

AWS 504 Gateway Timeout エラー対応

AWSロードバランサー利用して504エラー発生、504の原因と対応を調査してまとめました。...

Shell と Bash のいろいろ

ShellとBashの違いと歴史について学習しました。カラフルにBash使うためにGit Bash使...

Mac ターミナル SSH 接続設定

Mac SSH 接続方法とSSHの歴史、各種設定など。Macターミナルでssh接続は以外と便利で使い...

Elastic Beanstalk \$\SERVER['REMOTEADDR'] 取得できない

ELBで php ユーザーIP取得できなかったので、AWSのセキュリティとロードバランサーについて学...

crontab 設定いろいろ

crontabコマンドとオプションなどの細かい設定いろいろまとめ...

AWS EC2 の amazon-linux-extras の話

Amazon linux2 EC2 インスタンスのパッケージ管理ツール amazon-linux-e...

デプロイツール Capistrano

Capistrano とはデプロイ自動化ツール PHPプロジェクトをAWS Beanstalk に自...

解決! xserver php バージョンアップした時に ssh 環境に反映されない

xserverのphp5から7にアップした時にssh環境ではバージョン5のままでした。...

youtube 見れるように vpn サーバー建ててみた

自己研究用にCentOSにvpnサーバー建ててyoutube見ました。...

xserver に vim インストール

viから脱出してxserverのvim設定...

xserver に nodejs インストール

nodebrewツール使うと誰でもできるレンタルサーバー・エックスサーバーにnodejsインストール...

レンタルサーバーなら xserver おすすめ理由

レンタルサーバーのxserverの評価はどう？って思うエンジニアからみるxserverと愛用する理由...

Windows10 Home に Docker 入れた時のメモ

windows homeでもdocker使えます。windows proしかdocker入らないと思...

Docker command でドッカー練習する時のメモ

docker使ってコンテナ操作イメージ操作など、秒単位でウェブサーバー立ち上げると気持ち爽快！doc...

Centos7 Webserver 構築の時のメモ

centos7にphp apacheのウェブサーバー構築、リポジトリ作成してnginx nodejs...