intellista

engineer's notes about application development, data analysis, and so on

【即戦力】Python、Pandas、データ分析の記事 10選!

こんにちは!
今回は、Pythonに関連する記事をまとめます!
具体的には次のような記事です。

  • Python」の言語仕様に関する記事
  • Pythonのなかでも有名・定番のライブラリ「Pandas」に関する記事
  • 「データ分析」業務に関わった際に感じたことや試したこと

Pythonを実務で使い倒していたときの情報なので、即戦力になれる情報もあると思います。
是非、読んでみてください!

Python

Pythonに関する記事になります。

Pythonのスレッドで発生した例外は親スレッドでキャッチできない

intellista.hatenablog.com

Pythonでスレッドの実装が必要になったときに得た知見です。
子スレッドで発生した例外は親スレッドでキャッチできないんですよね。。。
子スレッドで発生した例外は子スレッドのルートまで上がっていくのですが、親スレッドには伝わらないのです。
親スレッドですべてキャッチすればシンプル・・・と想定して実装していたときにハマって、当時あれこれ調査して得られた知見をまとめました。

Pythonでシングルトン (Singleton) を実装する方法と注意点!

intellista.hatenablog.com

Pythonバッチ処理を実装していたときに、あちこちから呼ばれる共通処理が重複処理をすることがわかって、「よし、シングルトンにしよう!」となったときに得た知見をまとめました。
解決策はシングルトンだけではないかもしれませんが・・・Pythonでも(ちょっとクセはありますが)シングルトンができることがわかり、整理してまとめた記事になります。

Pythonの内包表記やmap関数で、低速で冗長なfor文から解放されよう!

intellista.hatenablog.com

Pythonでfor文を見たら怪しいと思え

これは当時、一緒にお仕事をさせていただいていた知見者の個人的な名言です。
わたしもちょうど同じ思いをいだき始めていましたので、すごく好きな言葉です。
Pythonシンプルで強力な内包表記をはじめ、map関数も理解することで、簡潔かつ高速に実装できます。
はじめはとっつきにくいかもしれませんが、そこまで大きな壁ではなく、ちゃんと乗り越えられますので、もしまだでしたら、ぜひとも使いこなせるように目指してみてはいかがでしょうか?
使えるようになると、とても気持ちがよく、楽しくなります!

なお、余談ですが、上述の格言「Pythonでfor文を見たら怪しいと思え」は、Pandasにも当てはまります!

Pandas

Pythonのなかでも、Pandasに関する記事になります。

Pandasのデータフレームの値を2つのインデックス参照で変更するときは、真偽値の条件を後にする!

intellista.hatenablog.com


ちょっとピンポイントな情報ですが、わりとハマるPandasでの実装上のクセをまとめました。
なかなかひとことでは言い表すのが難しいので、もしよろしければぜひ、記事をのぞいてみてください!

PythonでPandasを使ってCSVをサクッと整形する方法とは?

intellista.hatenablog.com


簡易的なバッチ処理の言語をPythonにする理由のひとつして、PandasではCSVファイルをとても簡単に扱える、ということがあります。
実務の中で、CSVの中身を成形するシーンが何度も登場しました。
そのときに得た知見をまとめた記事になります。

Pandasで複数のカラムが一致する行/一致しない行を抽出したい

intellista.hatenablog.com

Pandasでは一致/不一致の条件をシンプルかつ直感的に記述できる利点があります。
ただし、複数カラムの一致/不一致となると、SQLのようにはいかず、ちょっと工夫が必要でした。
そのあたりをまとめた記事になります。

Pandasで次のレコードとの差を計算する方法とは?

intellista.hatenablog.com

実務でIoTセンサなどの情報をあつかっていたときに得られた知見をもとにした記事になります。
時刻単位のレコードで時系列に蓄積されたデータを扱うとき、あるレコードと次のレコードの時刻の差を「時間」として計算したくなるケースはよくあります。
この「あるレコードと次のレコードの時刻の差を「時間」として計算」する方法についてまとめた記事になります。

データ分析

データ分析に関する実務に携わっていたころの所感や試みなどを記事にしたものです。

データ分析の初心者が実務で苦労した4つのポイント!

intellista.hatenablog.com

実務ではじめて、データ分析のチームに参画したときにいろいろと四苦八苦したポイントをまとめた記事になります。
こういうポイントで苦労して、こういう風に考えた、ということが、ご参考になればうれしいです。

Kerasの学習済モデルでミニマムコードによる画像分類を試す!

intellista.hatenablog.com

PythonKerasによる機械学習をお試ししてみたときの記事になります。
意外と簡単に超基礎のコードは実装できることがわかり、感動しました。

Pythonでk-meansによるクラスタリング

intellista.hatenablog.com

Pythonk-meansの実装をお試ししたときの記事になります。
Python機械学習のライブラリがとても充実していることを実感できました。

まとめ

今回は、Pythonに関する記事をまとめました。
Pythonを実務で使い倒していたときの情報なので、活きた情報ではないかと思います。
みなさまのお役に立てば幸いです!