PRO COURSE

3日でできる Node.js Webスクレイピング講座

JavaScriptでWebの情報を自動収集するための知識を学べます。環境構築からコードの書き方、実際の方法までをまとめています。

Instructor: 柳井政和

Webスクレイピングで
Webの情報を自動でダウンロードして活用しよう!!

他の人よりも早く、独自の情報を集めることは、ビジネスの現場で大切です。

Webから自動で情報を集める「Webスクレイピング」の知識と技術は、そのための強い武器になります。

本講座では、Web開発の現場で利用されているプログラミング言語JavaScriptを使い、「Webスクレイピング」を学びます。

まずはじめに、JavaScriptの実行環境である「Node.js」の環境構築をおこないます。

続いて、「Node.js」の基礎的な利用方法や、ファイル操作、ネット情報の収集といったプログラミングの書き方を学びます。

そして、Webブラウザの自動操縦によるネット情報の自動収集をおこないます。

ビジネスの現場で役立つ、Webの情報を自動収集する知識と技術をぜひ身に付けてください。

このコースで学べること

JavaScriptの実行環境「Node.js」の環境構築と基本的な使い方
「Node.js」のモジュールの利用やファイル操作
WebのファイルのダウンロードやHTMLファイルの解析
「Puppeteer」を利用したWebブラウザの自動操縦

こんな方にオススメ

日々の情報収集を効率化したい方
業界動向やデータの収集を自動化したい方
Webの情報を自動で集めて加工したい方
プログラミングの知識をさらに広げたい方

定期的な情報収集や監視はプログラムにやらせると楽です。

Webスクレイピングの知識と技術があれば、時間の掛かる作業を自動化できます。

日々の作業の効率化に、ぜひ役立ててください。

About the Instructor

柳井政和

クロノス・クラウン合同会社代表社員

2002年にクロノス・クラウン合同会社を設立。代表社員。ゲームやアプリケーションの開発、書籍や記事の執筆を行う。

秀和システムより「マンガでわかるJavaScript」「マンガでわかるAndroidプログラミング」「マンガでわかるJavaプログラミング」他、技術評論社より「JavaScript 仕事の現場でサッと使える! デザイン教科書」「プログラマのためのコードパズル」を出版。

2001年度のオンラインソフトウェア大賞に「めもりーくりーなー」で入賞。

2016年に第23回松本清張賞の最終候補となり、文藝春秋より「裏切りのプログラム」で小説家デビュー。

Course content

Total 3 hours 0 minutes

Preview You can preview lectures with this label

Section 1：ダウンロード資料
1	サンプルコード		1:00
Section 2：第1章イントロダクション
2	第1章イントロダクション		0:25
3	1-1. コースの進行	Preview	2:03
4	1-2. Node.jsの導入		2:57
5	1-3. Node.jsの導入 2		3:27
6	1-4. Visal Studio Codeの導入		2:51
7	1-5. Node.jsインストールの確認		4:47
8	1-6. nodeコマンドの利用		4:30
9	1-7. npmコマンドの利用		4:10
Section 3：第2章プロジェクトの作成
10	第2章プロジェクトの作成		0:20
11	2-1. Node.jsプロジェクトの作成		1:43
12	2-2. プログラムを書く		1:46
13	2-3. プログラムを実行する		1:30
Section 4：第3章ネットのファイルのダウンロード
14	第3章ネットのファイルのダウンロード		0:31
15	3-1. ダウンロード用モジュール		2:24
16	3-2. テキストファイルの取得と保存		3:36
17	3-3. バイナリファイルの取得と保存		2:41
18	3-4. コードを理解するために必要な知識		1:33
Section 5：第4章 requireとimport
19	第4章 requireとimport		0:34
20	4-1. requireでのプログラムの読み込み		3:17
21	4-2. requireでのモジュールの検索		2:18
22	4-3. import利用の準備		1:32
23	4-4. importでの読み込み		2:12
24	4-5. requireとimportの違い		2:47
Section 6：第5章 Path
25	第5章 Path		0:21
26	5-1. コアモジュールPath		0:55
27	5-2. パスの解決		3:22
28	5-3. パスの分解		1:56
Section 7：第6章 Promise
29	第6章 Promise		0:21
30	6-1. 非同期処理とネスト		2:56
31	6-2. Promise then resolve		2:44
32	6-3. Promise then resolve 2		2:15
33	6-4. async await		2:44
34	6-5. Promise reject		1:28
35	6-6. Promise reject catch		1:28
36	6-7. Promise reject try catch		1:46
37	6-8. Promise.all		2:40
Section 8：第7章 File System
38	第7章 File System		0:22
39	7-1. コアモジュールFile System		2:09
40	7-2. コアモジュールFile System 2		3:17
41	7-3. ファイルの存在確認		4:00
42	7-4. テキストファイルの読み書き		2:07
43	7-5. バイナリファイルの読み書き		2:43
Section 9：第8章パース
44	第8章パース		0:25
45	8-1. パース用のモジュール		2:39
46	8-2. セレクター		4:16
47	8-3. セレクターと要素選択		3:25
48	8-4. 要素からの情報取得		2:58
49	8-5. アロー関数		2:17
50	8-6. 配列の反復メソッド		2:32
51	8-7. 配列の反復メソッド 2		2:12
52	8-8. HTMLからの情報取得		3:17
53	8-9. HTMLからの情報取得 2		3:46
Section 10：第9章 Puppeteerによる情報取得
54	第9章 Puppeteerによる情報取得		0:24
55	9-1. Puppeteerの導入		3:26
56	9-2. ファイルサイズ問題の解決とサンプル実行の準備		1:58
57	9-3. Puppeteerの起動		2:08
58	9-4. ブラウザを操作してプログラムを実行		3:19
59	9-5. 選択した要素からの情報取得と処理の実行		2:56
60	9-6. Webページを開いて情報を取得		2:55
61	9-7. Webページを開いて情報を取得 2		2:54
62	9-8. スクリーンショット		3:36
Section 11：第10章 Puppeteerによるフォーム操作
63	第10章 Puppeteerによるフォーム操作		0:21
64	10-1. Puppeteerを利用した自動操縦について		3:19
65	10-2. 自動操縦時の待機		1:52
66	10-3. 自動操縦時の待機 2		2:46
67	10-4. フォーム操作		1:26
68	10-5. Webページの自動操縦		3:35
Section 12：第11章 Puppeteerによるダウンロード
69	第11章 Puppeteerによるダウンロード		0:20
70	11-1. 画像のダウンロード		3:53
71	11-2. PDFのダウンロード		2:14
72	11-3. PDFのダウンロード 2		2:52
Section 13：第12章自作モジュール
73	第12章自作モジュール		0:22
74	12-1. 自作モジュール require		1:59
75	12-2. 自作モジュール import		2:39
76	12-3. 自作モジュールを使ってプログラムを書く		3:55
Section 14：終わりに
77	終わりに		2:12