pyarrowでのparquetの読み込みとDataFrameへの変換のパフォーマンスを確認してみた。 parquetは読み込みは当然csvよりも早いけど。DataFrameへの変換が遅いのでpandasの壁は越えられない...

前回の記事を書いている時に見つけたQuoraの質問がその時ちょうど考えていたことにぴったりだったので、内容をまとめておこうと思います。 How do I build a data science team? Ricardo Vladimiro氏 は回答の中で、チームを作るための手順を３つにまとめて…

ちょうど、採用について考えている時、次のまとめをタイムラインで見つけた。 togetter.com コメントの多くは求職側は待遇と仕事の内容が条件と合うならどこでもいいと思っているでしょ？そんなこと聞くなよ という趣旨のものだが、 採用側からすると採用後…

ビッグデータ、データサイエンスへの注目は２０１３年ごろをピークに減退し、話題の中心は機械学習やAI、企業のデジタルトランスフォーメーションに移っています。 とはいえ、これらの言葉は同一の概念つまりデータの収集、モデリング、仮説検証、などといっ…

このブログの目的は... 私のサイドプロジェクトの記録 私自身のマーケティングのため 私が考えたことの備忘録 である。 人の役に立つこともあるかもしれないし、ないかもしれない。