intellista

engineer's notes about application development, data analysis, and so on

データエンジニア

PythonでPandasを使ってCSVをサクッと整形する方法とは?

こんにちは!Pythonを使ったデータ分析やアプリケーション開発において、CSVファイルを扱う機会はよくあります。 CSVの読み書き、整形をPythonで行うなら、Pandasを使うのがとても簡単です。 コード量も少なく可読性もいいので、メンテナンス性も確保できま…

Pythonのスレッドで発生した例外は親スレッドでキャッチできない

こんにちは!Pythonのスレッドで発生した例外を親スレッドでキャッチできないことを知ったので、記事に致します。何を言っているのでしょうか?プログラムで「例外」といえば、何もしないか、ちゃんとthrowすれば、発生した例外が上位の処理に伝搬していきま…

Pythonでシングルトン (Singleton) を実装する方法と注意点!

こんにちは!今回はPythonでシングルトン(Singleton) を実装する方法と注意点をご紹介します。仕事で必要になったのですが、インターネットで調査するといろいろな方法が紹介されています。 Javaのような方法からPythonらしい方法、独自で作りこむ方法など・…

【図解】G検定・E資格のデジタルバッジの取得方法とは?

こんにちは!デジタルバッジをご存じですか?デジタルバッジとは、自分が保持する認定資格(主にIT系)をオンラインで公開できる仕組みです。 ブロックチェーンの技術により偽造や改ざんが困難な形式で、個人の一意なURLで認定済の資格をロゴなどとともにSNS…

Pythonの内包表記やmap関数で、低速で冗長なfor文から解放されよう!

こんにちは! 今回はPythonの内包表記やmap関数についてお話したいです。Pythonの内包表記やmap関数を使っていますか? もし使っていなかったら、本当にもったいないことです。 自分も周囲も本当にラクになるので、ぜひ使い倒しましょう!今回は例を挙げてPy…

Pandasで複数のカラムが一致する行/一致しない行を抽出したい

こんにちは! 今回はPandasの話です。データフレームが2つあるとき、一致する行(または一致しない行)を抽出したいことはありませんか? このとき、一致するかしないかは、特定のカラムをキーにして比較します。キーが1つであればisin()関数を使えば簡単にで…

Pandasで次のレコードとの差を計算する方法とは?

こんにちは!IoTがらみで監視機器のデータや工場設備のデータなどを扱っていると、時刻が記録されたカラムから「時間」を求めたくなるシーンがよくあります。 具体的には、あるレコードと次のレコードの時刻のカラム値の差をとってレコード間の「時間」を求…

無料講義の「gacco」でAI講座が8つも開講!

無料で大学教授らの講義を受けられる「gacco」という学習プラットフォームをご存じですか? 無料で良質な講義を提供することで学びをサポートするJMOOC(日本オープンオンライン教育推進協議会)の公認プラットフォームのひとつです。「gacco」は私も愛用して…

データ分析の初心者が実務で苦労した4つのポイント!

データ分析のプロジェクトに入っていますが、かなり苦労しています。 初心者の私が苦労している点について、途上段階でのみ書き留められることを残そうと考え、記事にしました。私は長年、アジャイルでバリバリ(自分で言うか・・・ )のアプリケーション開発…

データ分析に必要な知識のひとつ「統計学」を無料で学ぼう!

AIやデータサイエンスの分野ではデータ分析を行います。 データ分析にあたって重要な基礎知識のひとつに「統計学」があります。「統計学」… 大学生のころ「社会人になったら最も役立つ数学は統計学!」と声高に言われていて、実際痛感しています。 経営の視…

【合格者談】G検定に一発で合格するまでの勉強方法、参考書、問題集のまとめ

G検定 2021#1 (2021/3/20受験) に合格しました。(JDLA Deep Learning for GENERAL 2021#1) これでようやく、機械学習やAIに関するスタートラインに立てた思いです。合格までにやったこと(勉強方法、参考書、問題集)などまとめます。なお、G検定の受験は今…