Top Programming 3日でできる Node.js Webスクレイピング講座
PRO COURSE

3日でできる Node.js Webスクレイピング講座

JavaScriptでWebの情報を自動収集するための知識を学べます。環境構築からコードの書き方、実際の方法までをまとめています。

Webスクレイピングで
Webの情報を自動でダウンロードして活用しよう!!


他の人よりも早く、独自の情報を集めることは、ビジネスの現場で大切です。

Webから自動で情報を集める「Webスクレイピング」の知識と技術は、そのための強い武器になります。

本講座では、Web開発の現場で利用されているプログラミング言語JavaScriptを使い、「Webスクレイピング」を学びます。

まずはじめに、JavaScriptの実行環境である「Node.js」の環境構築をおこないます。

続いて、「Node.js」の基礎的な利用方法や、ファイル操作、ネット情報の収集といったプログラミングの書き方を学びます。

そして、Webブラウザの自動操縦によるネット情報の自動収集をおこないます。

ビジネスの現場で役立つ、Webの情報を自動収集する知識と技術をぜひ身に付けてください。

このコースで学べること

  • JavaScriptの実行環境「Node.js」の環境構築と基本的な使い方
  • 「Node.js」のモジュールの利用やファイル操作
  • WebのファイルのダウンロードやHTMLファイルの解析
  • 「Puppeteer」を利用したWebブラウザの自動操縦

こんな方にオススメ

  • 日々の情報収集を効率化したい方
  • 業界動向やデータの収集を自動化したい方
  • Webの情報を自動で集めて加工したい方
  • プログラミングの知識をさらに広げたい方

定期的な情報収集や監視はプログラムにやらせると楽です。

Webスクレイピングの知識と技術があれば、時間の掛かる作業を自動化できます。

日々の作業の効率化に、ぜひ役立ててください。

About the Instructor

柳井 政和
クロノス・クラウン合同会社 代表社員

2002年にクロノス・クラウン合同会社を設立。代表社員。ゲームやアプリケーションの開発、書籍や記事の執筆を行う。

秀和システムより「マンガでわかるJavaScript」「マンガでわかるAndroidプログラミング」「マンガでわかるJavaプログラミング」他、技術評論社より「JavaScript 仕事の現場でサッと使える! デザイン教科書」「プログラマのためのコードパズル」を出版。

2001年度のオンラインソフトウェア大賞に「めもりーくりーなー」で入賞。

2016年に第23回松本清張賞の最終候補となり、文藝春秋より「裏切りのプログラム」で小説家デビュー。

See more

Course content

Total 3 hours 0 minutes
Preview You can preview lectures with this label
ダウンロード資料
1 サンプルコード 1分00秒
第1章 イントロダクション
2 第1章 イントロダクション 0分25秒
3 1-1. コースの進行 Preview 2分03秒
4 1-2. Node.jsの導入 2分57秒
5 1-3. Node.jsの導入 2 3分27秒
6 1-4. Visal Studio Codeの導入 2分51秒
7 1-5. Node.jsインストールの確認 4分47秒
8 1-6. nodeコマンドの利用 4分30秒
9 1-7. npmコマンドの利用 4分10秒
第2章 プロジェクトの作成
10 第2章 プロジェクトの作成 0分20秒
11 2-1. Node.jsプロジェクトの作成 1分43秒
12 2-2. プログラムを書く 1分46秒
13 2-3. プログラムを実行する 1分30秒
第3章 ネットのファイルのダウンロード
14 第3章 ネットのファイルのダウンロード 0分31秒
15 3-1. ダウンロード用モジュール 2分24秒
16 3-2. テキスト ファイルの取得と保存 3分36秒
17 3-3. バイナリ ファイルの取得と保存 2分41秒
18 3-4. コードを理解するために必要な知識 1分33秒
第4章 requireとimport
19 第4章 requireとimport 0分34秒
20 4-1. requireでのプログラムの読み込み 3分17秒
21 4-2. requireでのモジュールの検索 2分18秒
22 4-3. import利用の準備 1分32秒
23 4-4. importでの読み込み 2分12秒
24 4-5. requireとimportの違い 2分47秒
第5章 Path
25 第5章 Path 0分21秒
26 5-1. コア モジュールPath 0分55秒
27 5-2. パスの解決 3分22秒
28 5-3. パスの分解 1分56秒
第6章 Promise
29 第6章 Promise 0分21秒
30 6-1. 非同期処理とネスト 2分56秒
31 6-2. Promise then resolve 2分44秒
32 6-3. Promise then resolve 2 2分15秒
33 6-4. async await 2分44秒
34 6-5. Promise reject 1分28秒
35 6-6. Promise reject catch 1分28秒
36 6-7. Promise reject try catch 1分46秒
37 6-8. Promise.all 2分40秒
第7章 File System
38 第7章 File System 0分22秒
39 7-1. コア モジュールFile System 2分09秒
40 7-2. コア モジュールFile System 2 3分17秒
41 7-3. ファイルの存在確認 4分00秒
42 7-4. テキスト ファイルの読み書き 2分07秒
43 7-5. バイナリ ファイルの読み書き 2分43秒
第8章 パース
44 第8章 パース 0分25秒
45 8-1. パース用のモジュール 2分39秒
46 8-2. セレクター 4分16秒
47 8-3. セレクターと要素選択 3分25秒
48 8-4. 要素からの情報取得 2分58秒
49 8-5. アロー関数 2分17秒
50 8-6. 配列の反復メソッド 2分32秒
51 8-7. 配列の反復メソッド 2 2分12秒
52 8-8. HTMLからの情報取得 3分17秒
53 8-9. HTMLからの情報取得 2 3分46秒
第9章 Puppeteerによる情報取得
54 第9章 Puppeteerによる情報取得 0分24秒
55 9-1. Puppeteerの導入 3分26秒
56 9-2. ファイル サイズ問題の解決とサンプル実行の準備 1分58秒
57 9-3. Puppeteerの起動 2分08秒
58 9-4. ブラウザを操作してプログラムを実行 3分19秒
59 9-5. 選択した要素からの情報取得と処理の実行 2分56秒
60 9-6. Webページを開いて情報を取得 2分55秒
61 9-7. Webページを開いて情報を取得 2 2分54秒
62 9-8. スクリーンショット 3分36秒
第10章 Puppeteerによるフォーム操作
63 第10章 Puppeteerによるフォーム操作 0分21秒
64 10-1. Puppeteerを利用した自動操縦について 3分19秒
65 10-2. 自動操縦時の待機 1分52秒
66 10-3. 自動操縦時の待機 2 2分46秒
67 10-4. フォーム操作 1分26秒
68 10-5. Webページの自動操縦 3分35秒
第11章 Puppeteerによるダウンロード
69 第11章 Puppeteerによるダウンロード 0分20秒
70 11-1. 画像のダウンロード 3分53秒
71 11-2. PDFのダウンロード 2分14秒
72 11-3. PDFのダウンロード 2 2分52秒
第12章 自作モジュール
73 第12章 自作モジュール 0分22秒
74 12-1. 自作モジュール require 1分59秒
75 12-2. 自作モジュール import 2分39秒
76 12-3. 自作モジュールを使ってプログラムを書く 3分55秒
終わりに
77 終わりに 2分12秒

Related Courses