Pythonを使用したウェブスクレイピングのトレーニングコース
ウェブスクレイピングは、ウェブサイトからデータを抽出し、それをローカルファイルまたはデータベースに保存する技術です。
このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、Pythonを使用して多くのウェブサイトからのデータ取得と分析の自動化を目指す開発者向けです。
このトレーニング終了時には、参加者は以下のことができるようになります:
- Pythonおよび関連パッケージをインストールおよび設定する。
- 多くのウェブサイトに分散されたデータを取得し、解析する。
- ウェブサイトの仕組みとHTMLの構造を理解する。
- スパイダーを作成して大規模なウェブクローリングを行う。
- Seleniumを使用してAJAX駆動のウェブページをクロールする。
コース形式
- 対話型講義とディスカッション。
- 多くの演習と実践。
- ライブラボ環境での手を動かす実装。
コースのカスタマイズオプション
- このコースはプログラミング知識が必要です。
- このコースのカスタマイズ版をご希望の場合、ご連絡ください。
コース概要
概要
開発環境のセットアップ
Pythonの基礎:データ構造、条件文、ファイル処理など
ウェブスクレイピング用のPythonパッケージ:ScrapyとBeautifulSoup
ウェブサイトの仕組み
HTMLの構造
ウェブリクエストの送信
HTMLページのスクレイピング
XPathとCSSの使用
正規表現を使用したデータフィルタリング
ウェブクローラーの作成
Seleniumを使用したAJAXおよびJavaScriptページのクロール
ウェブスクレイピングのベストプラクティス
トラブルシューティング
まとめと結論
要求
- Pythonを含むプログラミング経験。他の言語でのプログラミング経験がある場合、トレーニングを拡張してより多くのPython入門練習を行うことができます。
対象者
- 開発者
オープントレーニングコースには5人以上が必要です。
Pythonを使用したウェブスクレイピングのトレーニングコース - 予約
Pythonを使用したウェブスクレイピングのトレーニングコース - お問い合わせ
Pythonを使用したウェブスクレイピング - コンサルティングお問い合わせ
お客様の声 (1)
多くの異なる例とトピックが扱われ、基本的な調査からログイン管理、動的ページ管理まで幅広くカバーされています。
Daniele Tagliaferro - Creditsafe Italia Srl
コース - Web Scraping with Python
機械翻訳
今後のコース
関連コース
高度な Python: ベストプラクティスと設計パターン
28 時間この集中的な実践コースでは、高度な Python 技術、エンジニアリングのベストプラクティス、一般的に使用される設計パターンをカバーし、保守性が高く、テストがしやすく、高性能な Python アプリケーションの構築方法を学習します。モダンなツール、型付け、並行処理モデル、アーキテクチャパターン、およびデプロイ準備完了のワークフローに重点を置いています。
このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、中級レベルから上級レベルの Python 開発者を対象としており、本番環境向けの Python システムでプロフェッショナルな実践とパターンを採用することを目指しています。
このトレーニング終了時には、参加者は以下のことをできるようになります:
- Python の型付け、dataclasses、および型チェックを使用してコードの信頼性を向上させる。
- 設計パターンとアーキテクチャ原則を使用して堅牢なアプリケーションを構築する。
- asyncio と multiprocessing を使用して並行処理と並列処理を正しく実装する。
- pytest、プロパティベースのテスト、および CI パイプラインを使用して十分にテストされたコードを構築する。
- Python アプリケーションを本番環境で使用するためにプロファイリング、最適化、強化を行う。
- モダンなツールとコンテナを使用して Python プロジェクトをパッケージング、配布、デプロイする。
コースの形式
- 対話的な講義と短いデモ。
- 毎日の実践ラボとコーディング演習。
- パターン、テスト、およびデプロイを統合するキャストーン・ミニプロジェクト。
コースのカスタマイズオプション
- カスタマイズされたトレーニングや重点領域(データ、Web、またはインフラ)を希望される場合は、ご連絡ください。
Pythonを使用したエージェント型AIエンジニアリング — 自律エージェントの構築
21 時間このコースでは、Pythonを用いて自律(エージェント)システムを設計、構築、テスト、展開するための実践的なエンジニアリング技術を学習します。エージェントループ、ツール統合、メモリと状態管理、オーケストレーションパターン、セーフティコントロール、およびプロダクションでの考慮事項について取り扱います。
このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、中級から上級レベルのMLエンジニア、AI開発者、ソフトウェアエンジニアを対象としており、Pythonを使用して堅牢でプロダクションレディな自律エージェントを構築したい方々に適しています。
このトレーニングの終了時には、参加者は以下のことをできるようになります:
- エージェントループと意思決定ワークフローを設計および実装する。
- 外部ツールやAPIを統合してエージェントの機能を拡張する。
- エージェント用の短期メモリと長期メモリアーキテクチャを実装する。
- 複数ステップのオーケストレーションとエージェントの組み合わせを調整する。
- 展開済みエージェントに対してセキュリティ、アクセスコントロール、監視のベストプラクティスを適用する。
コース形式
- 対話型講義とディスカッション。
- Pythonと人気のあるSDKを使用してエージェントを構築するハンズオンラボ。
- 展開可能なプロトタイプを生み出すプロジェクトベースの演習。
コースカスタマイゼーションオプション
- このコースのカスタマイズ化されたトレーニングをご希望の場合、お問い合わせください。
Python を使用したデータサイエンスと AI の入門
35 時間このコースは、データサイエンスと人工知能(AI)の5日間の入門です。
Python を使用した例題や演習を交えて展開します。
Pythonを使用した人工知能(中級レベル)
35 時間Pythonを使用した人工知能は、Pythonの豊富なAIと機械学習ライブラリエコシステムを活用して、elligent systems を開発することです。
このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、中級レベルのPythonプログラマがPythonを使用してAIソリューションを設計、実装、および展開する方法を学びます。
このトレーニング終了時には、参加者は以下が Able to できます:
- Pythonの主要なAIライブラリを使用してAIアルゴリズムを実装します。
- 監督学習、非監督学習、強化学習モデルを取り扱います。
- 既存のアプリケーションやワークフローにAIソリューションを統合します。
- モデルの性能を評価し、精度と効率性を最適化します。
コース形式
- インタラクティブな講義とディスカッション。
- 多くの演習と実践。
- ライブラボ環境でのハンズオン実装。
コースのカスタマイズオプション
- このコースをカスタマイズしたトレーニングをご希望の場合、ご連絡ください。
PythonとRを使用したアルゴリズミックトレーディング
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、ビジネスアナリスト向けに設計されており、PythonとRを使用して取引を自動化する方法を学習します。
本講座終了時には、参加者は以下のことができるようになります:
- アルゴリズムを使用して、専門的な間隔で迅速に証券を売買する。
- アルゴリズミックトレーディングを使用して取引に関連するコストを削減する。
- 株価を自動的に監視し、取引を行う。
Pythonを用いた基礎から始める応用AI
28 時間このコースは4日間のプログラムで、Pythonプログラミング言語を使用したAIとその応用について紹介します。コース終了後、追加の1日間を設けてAIプロジェクトに取り組むオプションがあります。
AWS Cloud9 と Python: 実践ガイド
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、AWS Cloud9 を使用して Python 開発の体験を向上させたい中級レベルの Python 開発者向けです。
このトレーニング終了時には、参加者は以下のことができるようになります:
- AWS Cloud9 のセットアップと構成を設定する。
- AWS Cloud9 IDE のインターフェースと機能を理解する。
- AWS Cloud9 で Python アプリケーションの開発、デバッグ、およびデプロイを行う。
- AWS Cloud9 プラットフォームを使用して他の開発者と協力する。
- 高度なデプロイメントのために AWS Cloud9 を他の AWS サービスと統合する。
Pythonでチャットボットを構築
21 時間チャットボットは、チャットインターフェースを介して人間の応答を自動的にシミュレートするコンピュータプログラムです。チャットボットにより、組織はユーザーとのやり取りがより簡単で高速になるため、運用効率を最大化することができます。
このインストラクター主導のライブトレーニングでは、参加者はPythonを使用してチャットボットを構築する方法を学びます。
本トレーニング終了時には、参加者は以下のことができるようになります:
- チャットボットの構築に関する基本を理解する
- Pythonを使用してさまざまなチャットボットを構築、テスト、展開、トラブルシューティングする
対象者
- 開発者
コース形式
- 講義とディスカッション、演習および手動実践を組み合わせたもの
注意
- このコースのカスタマイズされたトレーニングをご希望の場合、お問い合わせください。
CUDAとPythonを使用したGPUプログラミング
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、CUDAを使用してPythonアプリケーションをNVIDIA GPUで並列に実行したい中級レベルの開発者向けです。
このトレーニング終了時には、参加者は以下のことをできるようになります:
- Numbaコンパイラを使用して、NVIDIA GPU上で実行されるPythonアプリケーションを高速化する。
- カスタムCUDAカーネルを作成、コンパイル、および起動する。
- GPUメモリを管理する。
- CPUベースのアプリケーションをGPU加速されたアプリケーションに変換する。
PythonとDaskを使用したデータ分析のスケーリング
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、Daskを使用してPythonエコシステムで大規模データセットの構築、スケーリング、分析を行うことを目指すデータサイエンティストやソフトウェアエンジニアを対象としています。
このトレーニングの終了時、参加者は以下のことができるようになります:
- DaskとPythonを使用して大規模データ処理の環境をセットアップする。
- Daskで利用可能な機能、ライブラリ、ツール、APIを探索する。
- DaskがどのようにPythonでの並列計算を加速するかを理解する。
- Numpy、SciPy、Pandasを使用したPythonエコシステムのスケーリング方法を学ぶ。
- 大規模データセットの処理においてDask環境を最適化して高性能を維持する。
Python、Pandas、およびNumPyを使用したデータ分析
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、中級レベルのPython開発者やデータアナリストを対象としており、PandasとNumPyを使用したデータ分析および操作のスキル向上を目指しています。
本トレーニング終了時には、参加者は以下のことが Able になります:
- Python、Pandas、およびNumPyが含まれる開発環境をセットアップする。
- PandasとNumPyを使用したデータ分析アプリケーションを作成する。
- 高度なデータ整形、ソート、フィルタリング操作を行う。
- 集約操作を行い、時系列データを分析する。
- Matplotlibなどの可視化ライブラリを使用してデータを可視化する。
- データ分析コードのデバッグと最適化を行う。
FARM (FastAPI, React, MongoDB) フルスタック開発
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、FARM (FastAPI, React, MongoDB)スタックを使用してダイナミックで高性能かつスケーラブルなウェブアプリケーションを構築したい開発者向けです。
このトレーニングの終了時、参加者は以下のことができます:
- FastAPI、React、MongoDBを統合した開発環境を設定する。
- FARMスタックの主要な概念、特徴、および利点を理解する。
- FastAPIを使用してREST APIを構築する方法を学ぶ。
- Reactを使用してインタラクティブなアプリケーションを設計する方法を学ぶ。
- FARMスタックを使用してアプリケーション(フロントエンドとバックエンド)を開発、テスト、デプロイする。
PythonとFastAPIを使用したAPI開発
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、PythonとFastAPIを使用してRESTful APIをより簡単に素早く構築、テスト、展開することを目指す開発者向けです。
このトレーニング終了後、参加者は以下のことができます:
- PythonとFastAPIを使用したAPI開発環境の設定
- FastAPIライブラリを使用してAPIをより早く簡単に作成
- PydanticとOpenAPIに基づいたデータモデルとスキーマの作成方法を学習
- SQLAlchemyを使用してAPIをデータベースに接続
- FastAPIツールを使用してAPIにセキュリティと認証を実装
- コンテナイメージを作成し、Web APIをクラウドサーバーに展開
PythonとTensorFlowを用いた不正検知
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、データサイエンティストがTensorFlowを用いて潜在的な不正データを分析することを目指しています。
本トレーニング終了時には、参加者は以下のことが可能です:
- PythonとTensorFlowを使用して不正検知モデルを作成します。
- 線形回帰および線形回帰モデルを構築し、不正を予測します。
- 不正データの分析に向けたエンドツーエンドのAIアプリケーションを開発します。
Modinを使用してPython Pandasワークフローを加速
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、Modinを使用して並列計算を構築および実装し、高速なデータ分析を行うことを目指すデータサイエンティストや開発者向けです。
このトレーニング終了時には、参加者は以下のことが Able to:
- 必要な環境を設定して、Modinを使用してスケールアウトするPandasワークフローの開発を開始します。
- Modinの機能、アーキテクチャ、および優位性を理解します。
- Modin、Dask、およびRayの違いを知ります。
- Modinを使用してPandas操作を高速に行います。
- 全Pandas APIと関数を実装します。