# robots.txt の書き方

robots.txt は、ウェブサイトにアクセスする検索エンジンのクローラー（ロボット）がどのページやファイルをクロールできるかを指定するためのテキストファイルです。robots.txt の設定は強制的なものではなく、指定を行っても検索してしまう検索エンジンもある可能性があります。

# robots.txt の役割

クロールの最適化を行う
公開しないページのインデックス登録を防ぐ
重要なコンテンツを優先的にクロールさせる

# 基本構造

User-agent: [クローラー名]
Disallow: [アクセス禁止にするパス]
Allow: [アクセスを許可するパス]

記述例	説明
`User-agent: *`	すべてのクローラ
`User-agent: Googlebot`	Google
`User-agent: bingbot`	Bing
`User-agent: baidu`	百度（バイドゥ）

# よく使われる例

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /*.webm
Disallow: /*.mp4
Disallow: /*.wmv

Disallow なしになっているので、すべてのサイトを許可するようになります。

# Youtube の robots.txt

# robots.txt file for YouTube
# Created in the distant future (the year 2000) after
# the robotic uprising of the mid 90's which wiped out all humans.

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /api/
Disallow: /comment
Disallow: /feeds/videos.xml
Disallow: /get_video
Disallow: /get_video_info
Disallow: /get_midroll_info
Disallow: /live_chat
Disallow: /login
Disallow: /qr
Disallow: /results
Disallow: /signup
Disallow: /t/terms
Disallow: /timedtext_video
Disallow: /verify_age
Disallow: /watch_ajax
Disallow: /watch_fragments_ajax
Disallow: /watch_popup
Disallow: /watch_queue_ajax
Disallow: /youtubei/

Sitemap: https://www.youtube.com/sitemaps/sitemap.xml
Sitemap: https://www.youtube.com/product/sitemap.xml

# 参考

2024-12-08 12日前

server

5 分で VPN サーバー立てる! wg-easy の使い方

自前のVPNサーバー構築して、地域制限を回避してYoutubeみたり、セキュア通信したりできるように...

積水ハウス個人情報流出 SQL インジェクション攻撃か

積水ハウスの会員制サイトが攻撃を受け、顧客と従業員情報などが流出と公表した。...

ZeroSSL で無料 SSL できるけど Let's Encrypt と比較

SSL無料証明書はLets Encrypt以外にZeroSSLも一つの選択として存在します。...

ジェネレーティブ AI と大規模言語モデル（LLM）を学ぶためのリソース

ChatGPTに惹かれてLLM勉強をはじめました。第１歩英語記事を日本語に翻訳して資料を集める編...

XZ Utils 事件対応

バックドアを利用してssh経由でリモートから侵入する悪意がある XZ Utils メンテナンスについ...

Ubuntu で Web サーバーを構築する手順

UbuntuでWebサーバーを構築する手順についてのメモ...

メールサーバー移行と POP & IMAP 設定

メールサーバーを別のサーバーへ引っ越し作業があったので、資料まとめました。...

Docker Supervisor 使ってバッチ処理

Amazon ECS Dockerfile に Supervisor でプロセス管理します。Lara...

よく使う WSL コマンド

Windows WSL インストールして本物のLinux環境をWindowsで楽しめる Ubuntu...

自宅サーバー構築！　 Nextcloud で NAS クラウドストレージ

NAS 自宅ストレージサーバーをNextcloudで自作するまで、大容量で安全安心のローカルマシンに...

no such file or directory: /usr/share/zsh/vendor-completions/_docker

wslのUbuntuにzshインストールして使ってますが、突然にwarning errorになったた...

oh my zsh 使うべし

カラフルでコマンドがわかりやすいzshが使いやすいので、zshとoh my zshのインストールにつ...

AWS CloudWatch ログ監視で Lambda 処理

Cloudwatch ログ監視して Lambda 処理でチャットワーク送信したり、カスタマイズ処理を...

AWS SES メール開封確認　 DB に集計

メール送信の開封確認して DB更新するために使う AWS サービス SES SNS LAMBDA と...

Vim 操作とショートカット

Linux OS なら Vim 知らない人はいないくらい高性能エディター Vim の各種コマンドシ...

DDNS 無料ダイナミック DNS サービス 4 つ

国内外にあるDDNS無料サービス4つについて調べました。制限の少ないDDNS Nowはいい評判な理由...

Nginx 基本設定

ウェブサーバーNginxの基本設定、バーチャルホスト、ベース認証、SSL設定について...

SPF メール送信なりすまし対策

メール送信なりすまし対策フィッシング詐欺対策に SPF レコードを追加して簡単に送信元IPアドレス認...

Windows Mac Linux hosts ファイル場所

windows hosts mac hosts と linux hostsファイル場所とhostsの...

AWS Unresolved resource dependencies [AWSEBV2LoadBalancer] エラー

aws ELBデプロイでUnresolved resource dependencies AWSEB...

ディスク容量を確認する df コマンド

サーバーのディスク容量確認する dfコマンドの使い方について dfコマンドの...

Laravel Address already in use の原因

laravel artisan serve したら Failed to listen on 127....

content-security-policy 設定

Content-Security-Policy 設定でエラー解消するためにnetlify conte...

AWS Elastic Beanstalk php.ini 設定変更

configファイル使って aws php post_max_size upload_max_fil...

AWS Elastic Beanstalk 環境設定

amazon EB Elastic Beanstalkデフォルト設定と環境プロパティについて...

AWS のタイムゾーンを UTC 協定世界時から JST 日本標準時に変更

AWSの時間が９時間ずれる！UTCからAsia/Tokyo JSTに変更...

Docker の基本的な使い方

環境統一作業効率で使われるDockerfileなど、さくらナレッジの記事を読んで改めてDockerの...

Amazon DynamoDB 制限調査

AWS DynamoDB制限について調べたが、容量制限がアイテムあたり400KBでリクエスト制限もあ...

AWS 504 Gateway Timeout エラー対応

AWSロードバランサー利用して504エラー発生、504の原因と対応を調査してまとめました。...

Shell と Bash のいろいろ

ShellとBashの違いと歴史について学習しました。カラフルにBash使うためにGit Bash使...

Mac ターミナル SSH 接続設定

Mac SSH 接続方法とSSHの歴史、各種設定など。Macターミナルでssh接続は以外と便利で使い...

Elastic Beanstalk \$\SERVER['REMOTEADDR'] 取得できない

ELBで php ユーザーIP取得できなかったので、AWSのセキュリティとロードバランサーについて学...

crontab 設定いろいろ

crontabコマンドとオプションなどの細かい設定いろいろまとめ...

AWS EC2 の amazon-linux-extras の話

Amazon linux2 EC2 インスタンスのパッケージ管理ツール amazon-linux-e...

デプロイツール Capistrano

Capistrano とはデプロイ自動化ツール PHPプロジェクトをAWS Beanstalk に自...

解決! xserver php バージョンアップした時に ssh 環境に反映されない

xserverのphp5から7にアップした時にssh環境ではバージョン5のままでした。...

youtube 見れるように vpn サーバー建ててみた

自己研究用にCentOSにvpnサーバー建ててyoutube見ました。...

xserver に vim インストール

viから脱出してxserverのvim設定...

xserver に nodejs インストール

nodebrewツール使うと誰でもできるレンタルサーバー・エックスサーバーにnodejsインストール...

レンタルサーバーなら xserver おすすめ理由

レンタルサーバーのxserverの評価はどう？って思うエンジニアからみるxserverと愛用する理由...

Windows10 Home に Docker 入れた時のメモ

windows homeでもdocker使えます。windows proしかdocker入らないと思...

Docker command でドッカー練習する時のメモ

docker使ってコンテナ操作イメージ操作など、秒単位でウェブサーバー立ち上げると気持ち爽快！doc...

Centos7 Webserver 構築の時のメモ

centos7にphp apacheのウェブサーバー構築、リポジトリ作成してnginx nodejs...