Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜Webスクレイピングの基本的な内容をわかりやすく解説｜PythonでWebスクレイピング第01回
388,062 view
＼キノコードが作ったプログラミング学習 サービス登場／ 学んだ知識をその場でアウトプットできるからスキルの定着が実感できる Python学習といえば、キノクエスト！ ・問題数は充実の350問以上 ・環境構築は不要！ ・カリキュラムがあるので学習方法に迷わない ▼登録はこちら▼ https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=LgZ8Li97yoM_gaiyou ーーー この動画では、Pythonでのスクレイピングについて説明しました。初心者の方でもスクレイピングがわかるような説明を心がけました。プログラミング初心者の方、プログラミングを覚えたい方、基礎を勉強したけど使いどころに困っている方が、業務自動化を始めるきっかけになれば幸いです。 ※注意 WebスクレイピングをするURLが変更になりました。 ▼ログイン画面 http://kino-code.work/membership-login/ ▼サンプルサイト https://kino-code.work/ ▼目次 00:00 挨拶&はじめに 04:32 具体的なケース その1 06:01 実行環境と環境構築 06:41 ライブラリ、パッケージ、モジュール 07:32 seleniumとbeautifulsoupについて 09:26 ChromeDriverダウンロード 11:31 ライブラリのインポート 13:08 GoogleChromeを自動起動 14:09 ページへ移動 15:28 HTMLの要素の調べ方 16:34 テキストの入力 18:34 クリックの動作 20:21 xpathでの要素の指定 22:25 pyファイルで実行 23:22 ソースコードの実行 25:07 具体的なケース その2 26:23 beautifulsoup4のインポート 26:40 urllib.requestのインポート 27:25 beautifulsoupを使ってHTML解析 29:29 タイトル取得 30:03 aタグ取得 31:49 URL取得 32:21 取得したデータのリスト化 33:31 DataFrameへ変換 34:27 欠損値除外 35:16 特定の文字が含まれているか行を抽出 37:08 CSVへの書き込み 37:36 pyファイルでの実行 38:51 Webスクレイピングの注意点 ▼Homebrew https://brew.sh/index_ja ▼関連動画 Pandas超入門講座 https://www.youtube.com/playlist?list=PLavQwENTsEBUcTIz5H8ZL6QUs6ClMpV8K Python超入門講座 https://www.youtube.com/playlist?list=PLavQwENTsEBUHi7XZHGfKjTQQdOvnYPmB Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕事がおわるプログラミング活用術 https://youtu.be/-5v7CuXm7Ns Pythonで面倒なExcelの仕事を自動化しよう( 第二弾 )｜ExcelとPythonでのやり方を比較しながらわかりやすく解説 https://youtu.be/nfOeBBotc2k Pythonで面倒なExcelの仕事を自動化しよう( 第三弾 )｜「売上予測分析」や「グラフ付きレポート」を完全自動作成 https://youtu.be/Qy4j2KA1pvw Pythonで株価のデータ分析｜株価分析を通してPythonでのデータ分析を学びましょう https://youtu.be/0-fZ47QudYo ▼自己紹介 現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など） 前職：リクルート ※転職5回。司法試験の失敗後、非正規雇用の年収240万から750万にした経験あり。 ▼SNS Twitter : https://twitter.com/kino_code/likes Facebook : https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/ Website : https://kino-code.com/ ▼文字書き起こし こんにちは。キノコードです。 皆さんは会社でブラウザを使ってデータ収集やデータダウンロードの仕事はありませんか？ 例えば、自分の会社の特定のサイトからいって、データをコピーしてエクセルに貼り付け。また違うページにいきデータをコピー。それをExcelに貼り付け。などといったことです。 他にも、特定の会員サイトにログインをして、レポート作成のためにCSVやエクセルデータをダウンロード。ダウンロードしたファイルをコピーしてまたExcelに貼り付け。といった行為です。 まさに私がプログラミングを覚える前、やっていたことです。 例えば、毎日1時間の業務であれば、あなたの時給が1500円だとすると毎月3万円。社会保険やその他の経費も含めると5万円以上でしょうか。つまり、年間60万円以上のコストカットになります。見方を変えれば、60万円の利益を作っていることになります。したがって、営業利益が20%の会社なら、毎年300万円の売上を作っていることになります。 Pythonを使えばブラウザを使って、データ収集やデータダウンロードなどの業務を自動化できます。 このようにウェブサイトからデータを取得する技術のことを「ウェブスクレイピング」といいます。 Pythonは、このウェブスクレイピングが得意です。 なぜなら、Pythonにはウェブスクレピングに必要なライブラリが豊富にあるからです。 他にも、Pythonを使えば、エクセルを操作したりデータを入力したりすることもできます。また、Gmailなどのメールを使って送信もできます。 したがって、あなたのやっている仕事の一部を、完全自動化もできるかもしれません。 言い方を変えると、Pythonを覚えれば、今流行のRPA、ロボティック・プロセス・オートメーションが実現可能です。 しかも、有料ツールを使う必要はなく、Pythonは完全無料です。細かい調整も可能です。 今のあなたご自身のスキルに、RPAのスキルを付け加えれば、人材としての価値は高まり、年収があがるかもしれません。私は現に、色々な業務を効率化して、会社から評価をしてもらえました。 このレッスンを通して、300万円を売り上げるプログラムを作ってみましょう。 また、実際にご自身の業務を効率化させて、会社での評価につなげましょう。 この動画は、ブラウザを使っての単純作業を効率化したい方、プログラミングを勉強しようと思っている方、プログラミングの基本は勉強したけど使いどころに困っている方に、お役立ちできればと思い動画を作成しました。 この動画では、Pythonによるウェブスクレイピングをデモストレーションのような形でお見せします。 動画で使ったソースコードもダウンロードできますので、それをちょっとイジってカスタマイズすることもできます。 この動画だけでは、カスタマイズできない方や、もっと詳しく勉強したい方のために、 Pandas入門コースというレッスン動画も作りました。 Python超入門コースとPandas超入門コースを学習すれば、業務効率化や自動化が可能になるでしょう。 Python超入門コースとPandas超入門コースのURLを概要欄に貼っておきます。 ご興味ある方はご覧ください。 Pythonを使った業務効率化の動画を今後どんどん出していく予定なので、「チャンネル登録」ボタンを押しておいてくださいね。 新しい動画が更新されたときに通知がいくように、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。 それでは本編にいってみましょう！ はじめに、ブラウザを自動操作して業務効率化するケースは、どんなケースでしょうか？ 例えば、このようなケースをイメージしてください。 飲食店レビューサイトを複数運営している会社Aがあったとします。 会社Aに勤めるBさんは、毎日、出勤をしてから勤怠システムにログインをしてボタンをクリックしています。 その後、そのBさんは、昨日のアクセス数を調べるために、自社のサイトにログインしてアクセスログをダウンロードをしています。 会社Aは複数サイトを運営しているため、複数のサイトにログインして、アクセスログをダウンロードしています。 もしこの一連のデータ収集業務を自動化できたら、毎月どれくらいの時間を減らすことができるでしょうか。 例えば、1日1時間かかっているとしたら、月20時間くらい、年間で200時間以上くらい減らすことができます。 年間だと約1ヶ月分の労働時間です。 もし自動化できれば、他の業務ができたり、早く帰れたり、有給を取得したりできますね。 この面倒な作業はすべてPythonにやってもらいましょう （続きは下記のブログにて） ▼文字書き起こしブログ https://kino-code.com/python_automation_web_scraping/ ▼タグ #Pythonでスクレイピング #Python自動化 #PythonでRPA #Pythonできること