※ 実際の資料は追加列に教材や試験対策、黒本の情報などをマッピングし、知識のチェックに活用した。
シラバスと公式テキストに準じる
３つの分野の知識を総合的に持ち、データ解析またはデータ解析の一連の処理及び、理解・評価を行える立場の職種。
データ工学を実践する１つの職種
機械学習の8割から9割を占める、非常に重要な処理。
報酬を最大化するように行動する学習手法
環境作成
python -m venv test
仮想環境切り替え
Activate.ps1 #windows activate #mac
仮想環境無効化
deactivate
pip install [パッケージ名]==[バージョン番号] pip install numpy==1.14.1 # -y ：確認省略 # -U ：Upgrade
pip uninstall numpy
pip list # -o ：新バージョン存在確認
# 現在の環境のバージョンをテキストに出力 pip freeze > requirements.txt # テキスト情報から環境にインストール pip isntall -r requirements.txt
with open(filename, mode, encoding)
str.upper()
str.lower()
str.title()
str.split(',')
str.endswith(('a')) # True,false
str.isdigit() # True,false
str.join('abc'))
jupyter notebook
%timeit：１行のプログラムに対する処理時間計測%%timeit：セル全体に対する処理時間計測array.shape array.reshape((行数, 列数)) array.dtype array.astype(NumPy.型) array.ravel() #行列の1次元変換、Shallow Copy array.flatten() #行列の1次元変換、Deep Copy
# 数列生成 arange(...) # 同じ要素の数列 zeros(size) ones(size) eye(行列サイズ) full(size, value) # 指定の値で全部埋める # Not A number、データとしてはfloatに分類 nan # =LINear SPACE（線形空間） linspace(from, to, 分割size) # 要素間の差分 diff() concatenate([a, b], axis=1) # 水平方向 hstack([a, b]) hsplit(a, [first-size]) # 垂直方向 vstack([a, b]) vsplit(a, [first-size]) # 転置行列 T newaxis meshgrid(m, n)
seed(...) random((行, 列)) rand(行, 列) randint(from, to) uniform(from, to, size=(行, 列)) # 小数の乱数 randn(from, to) # 正規分布の乱数、平均０、分散１ normal(...) # 平均、標準偏差、sizeで正規分布乱数取得
abs(ndarray) sin(e) cos(e) log(e) log10(e) exp(e)
mean(ndarray)
dot(a, b) a @ b
count_nonzero sum any all allclose # 浮動小数点誤差を無視したい場合に便利
Series １次元データ
DataFrame ２次元データ 列ごとにデータ型が決まる
head tail index columns loc[:, :] #インデックス名、カラム名指定 iloc[n, m] #インデックス番号、カラム番号指定
read_csv(filename, encoding="utf-8") to_csv(filename)
read_excel(filename) to_excel(filename)
read_html(url) # Tableタグを読み込む
to_pickle(filename) read_pickle(filename)
query("条件式")
dtypes
apply(pd.to_datetime)
astype(type)
set_index(column)
sort_values(by="column", ascending=False)
drop(column, axis=1)
get_dummies(DataFrame, prefix="any")
pandas
.date_range(start="...", end="...")
.date_range(start="...", periods="...")
.date_range(start="...", end="...", freq="...")
df.groupby(pd.Grouper(freq='M')).mean() #月平均
df.resample('M').mean() #月平均
欠損値＝nan
dropna() #欠損値の行削除 fillna(0) fillna(method='ffill') fillna(df.mean()) #平均値 fillna(df.median()) #中央値 fillna(df.mode().iloc[0, :]) #最頻値
method : {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None Method to use for filling holes in reindexed Series pad / ffill: propagate last valid observation forward to next valid backfill / bfill: use next valid observation to fill gap.
pd.concat([df1, df2], axis=1, sort=True)
別次元を連結するとNaNで埋められる
max() min() mode() mean() median() std() # 標準偏差 std(ddof=0) # 母集団の標準偏差の推定量 describe() # 要約表示(count, mean, std, min, 25%, 50%, 75%, max) corr() # 相関係数 scatter_matrix(df)
df.values
plt.title(...) # MATLAB plt.subplots() # オブジェクト as.plot(...) ax.set_title(...) ax.set_xlabel(...) ax.set_ylabel(...) ax.legend(loc='best') fig.suptitle(...) plt.show() fig.savefig(filename) # png, pdf, ps, eps, svg
tick_label=labelsmarker='v'df.isnull() → dropna()Imputer(strategy, axis)LabelEncoder()OneHotEncoder(categorical_features)StandardScaler()MinMaxScaler()train_test_split(X, y, test_size)ノード、エッジ、子ノード、親ノード、根ノード（root node）、葉ノード（leaf node）
メリット データのスケールを事前に揃えておく必要がない。 分析結果の説明が容易である。
情報利得 データを分割することでどれだけ得するか 親ノードでの不純度 － 小ノードでの不純度
不純度 どれだけきれいにデータを分けられるか 指標：ジニ不純度（default）、エントロピー、分類誤差
DecisionTreeClassifier
複数の決定木から予測結果を決定する。
バギング＋決定木により、過学習しやすいという弱点を補完。
ブートストラップデータ ランダムに選択されたサンプルと特徴量のデータ
アンサンブル学習 複数の学習器を用いた学習方法
RandomForestClassifier(n_estimators)
定量化指標
混同行列 true/false（正しいか） + positive/negative（予測結果が）
| - | 実績：正例 | 実績：負例 |
|---|---|---|
| 予測：正例 | tp | fp |
| 予測：負例 | fn | tn |
交差検証（Cross Validation）
ROC曲線（Receiver Operating Characteristic）
AUC（Area Under the Curve）
| パラメータ | 説明 |
|---|---|
| n_clusters | クラスタ数 |
| init | 初期値の与え方 |
| n_init | 実行回数 |
| max_iter | 反復最大回数 |
| tol | 許容誤差 |
| random_state | 乱数シード値 |
ここまでで数コースに絞られます。さらに・・・
これらを決め手として、「信頼性が高そうだ」と判断しました。
おおざっぱですが、数学は大学初等レベル、Pythonは基礎レベル（チュートリアルひととおりやった程度）です。