diff --git "a/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_SOM_history.pickle" "b/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_SOM_history.pickle" new file mode 100644 index 0000000..8b719ff Binary files /dev/null and "b/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_SOM_history.pickle" differ diff --git "a/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_UKR_history.pickle" "b/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_UKR_history.pickle" new file mode 100644 index 0000000..01c1e6b Binary files /dev/null and "b/data/tmp/\343\201\202\343\201\243\343\201\267\343\202\213_UKR_history.pickle" differ diff --git "a/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM.pickle" "b/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM.pickle" deleted file mode 100644 index 94fed18..0000000 Binary files "a/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM.pickle" and /dev/null differ diff --git "a/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM_history.pickle" "b/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM_history.pickle" new file mode 100644 index 0000000..6550f27 Binary files /dev/null and "b/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_SOM_history.pickle" differ diff --git "a/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_UKR_history.pickle" "b/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_UKR_history.pickle" new file mode 100644 index 0000000..acbe3d8 Binary files /dev/null and "b/data/tmp/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263_UKR_history.pickle" differ diff --git "a/data/tmp/\343\203\232\343\203\203\343\203\210_SOM_history.pickle" "b/data/tmp/\343\203\232\343\203\203\343\203\210_SOM_history.pickle" new file mode 100644 index 0000000..03c2ac0 Binary files /dev/null and "b/data/tmp/\343\203\232\343\203\203\343\203\210_SOM_history.pickle" differ diff --git "a/data/tmp/\343\203\232\343\203\203\343\203\210_UKR_history.pickle" "b/data/tmp/\343\203\232\343\203\203\343\203\210_UKR_history.pickle" new file mode 100644 index 0000000..cfa3837 Binary files /dev/null and "b/data/tmp/\343\203\232\343\203\203\343\203\210_UKR_history.pickle" differ diff --git "a/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_SOM_history.pickle" "b/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_SOM_history.pickle" new file mode 100644 index 0000000..7c806f1 Binary files /dev/null and "b/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_SOM_history.pickle" differ diff --git "a/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_UKR_history.pickle" "b/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_UKR_history.pickle" new file mode 100644 index 0000000..91de9b7 Binary files /dev/null and "b/data/tmp/\345\256\256\345\264\216\344\270\200\345\270\214_UKR_history.pickle" differ diff --git "a/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_SOM_history.pickle" "b/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_SOM_history.pickle" new file mode 100644 index 0000000..15ddb41 Binary files /dev/null and "b/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_SOM_history.pickle" differ diff --git "a/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_UKR_history.pickle" "b/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_UKR_history.pickle" new file mode 100644 index 0000000..e7a9a9e Binary files /dev/null and "b/data/tmp/\346\251\237\346\242\260\345\255\246\347\277\222_UKR_history.pickle" differ diff --git a/dev/Grad_norm.py b/dev/Grad_norm_dev.py similarity index 98% rename from dev/Grad_norm.py rename to dev/Grad_norm_dev.py index e30e972..26cd90e 100644 --- a/dev/Grad_norm.py +++ b/dev/Grad_norm_dev.py @@ -8,7 +8,7 @@ class Grad_Norm: - def __init__(self, X=None, Z=None, sigma=None, resolution=None, + def __init__(self, X=None, Z=None, Y=None, sigma=None, resolution=None, labels=None, fig_size=[6, 6], title_text='Grad_norm', cmap_type='jet', interpolation_method='spline36', repeat=False, interval=5): # インプットが無効だった時のエラー処理 diff --git a/fetch.py b/dev/fetch.py similarity index 100% rename from fetch.py rename to dev/fetch.py diff --git a/dev/fetch_make_csv.ipynb b/dev/fetch_make_csv.ipynb index 6ec07c2..e16008e 100644 --- a/dev/fetch_make_csv.ipynb +++ b/dev/fetch_make_csv.ipynb @@ -1346,10 +1346,134 @@ "print(\"count:\", len(divs))" ] }, + { + "cell_type": "markdown", + "id": "6b3ed84f-142e-42af-a8be-05b30e24c897", + "metadata": {}, + "source": [ + "こっから違う話" + ] + }, + { + "cell_type": "code", + "execution_count": 33, + "id": "b2424a1a-45f3-41f3-b7c0-f729425b2e03", + "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "array([[ 0, 1, 2, 3],\n", + " [ 4, 5, 6, 7],\n", + " [ 8, 9, 10, 11]])" + ] + }, + "execution_count": 33, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "import numpy as np\n", + "\n", + "X = np.arange(12).reshape(3,4)\n", + "mask_std = np.zeros(X.shape)\n", + "X" + ] + }, + { + "cell_type": "code", + "execution_count": 34, + "id": "57eaab59-0d09-4197-be0a-ff7af634d692", + "metadata": {}, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[3 3 3]\n" + ] + } + ], + "source": [ + "print(np.argmax(X, axis=1))\n", + "mask = np.argmax(X, axis=1)\n", + "k_max = np.max(X, axis=0)" + ] + }, + { + "cell_type": "code", + "execution_count": 35, + "id": "411d5d54-d642-41fe-8f5d-a7991a68db67", + "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "array([[0. , 0. , 0. , 0.27272727],\n", + " [0. , 0. , 0. , 0.63636364],\n", + " [0. , 0. , 0. , 1. ]])" + ] + }, + "execution_count": 35, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "# For mask and normalization(min:0, max->1)\n", + "for i, max_k in enumerate(mask):\n", + " mask_std[i, max_k] = 1 / k_max[max_k]\n", + "X_mask_std = X * mask_std\n", + "\n", + "\n", + "\n", + " " + ] + }, + { + "cell_type": "code", + "execution_count": 45, + "id": "c194345f-857c-42de-b648-0ccd4fa5b1c5", + "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "['rgb(31, 119, 180, 0.1)',\n", + " 'rgb(255, 127, 14, 0.1)',\n", + " 'rgb(44, 160, 44, 0.1)',\n", + " 'rgb(214, 39, 40, 0.1)',\n", + " 'rgb(148, 103, 189, 0.1)',\n", + " 'rgb(140, 86, 75, 0.1)',\n", + " 'rgb(227, 119, 194, 0.1)',\n", + " 'rgb(127, 127, 127, 0.1)',\n", + " 'rgb(188, 189, 34, 0.1)',\n", + " 'rgb(23, 190, 207, 0.1)']" + ] + }, + "execution_count": 45, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "DEFAULT_PLOTLY_COLORS=['rgb(31, 119, 180)', 'rgb(255, 127, 14)',\n", + " 'rgb(44, 160, 44)', 'rgb(214, 39, 40)',\n", + " 'rgb(148, 103, 189)', 'rgb(140, 86, 75)',\n", + " 'rgb(227, 119, 194)', 'rgb(127, 127, 127)',\n", + " 'rgb(188, 189, 34)', 'rgb(23, 190, 207)']\n", + "alpha = 0.1\n", + "# for k in DEFAULT_PLOTLY_COLORS:\n", + "# print(\")\n", + "DPC_with_Alpha = [k[:-1]+', '+str(alpha)+k[-1:] for k in DEFAULT_PLOTLY_COLORS]\n", + "DPC_with_Alpha" + ] + }, { "cell_type": "code", "execution_count": null, - "id": "cea8906c-059b-4514-a61a-878f5796fa11", + "id": "0a096ee8-2033-4b65-97f5-c777067c3a76", "metadata": {}, "outputs": [], "source": [] diff --git "a/dev/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263.csv" "b/dev/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263.csv" deleted file mode 100644 index bddb457..0000000 --- "a/dev/\343\203\225\343\202\241\343\203\203\343\202\267\343\203\247\343\203\263.csv" +++ /dev/null @@ -1,99 +0,0 @@ -keyword,site_name,snnipet,URL,ranking -ファッション,WEAR: ファッションコーディネート,WEAR（ウェア）は日本最大級のファッションコーディネートサイトです。モデルや俳優、ショップスタッフの着こなし1000万枚以上の中からコーデを探せます。気にいったアイテムはそのまま購入も！,"=HYPERLINK(""https://wear.jp/"")",0 -ファッション,人気のファッションコーディネート - WEAR,キャッシュ,"=HYPERLINK(""https://wear.jp/coordinate/"")",1 -ファッション,ファッション - Wikipedia,ファッション（英: fashion、英語発音: [ˈfæʃən] ファシャン。仏: mode、フランス語発音: [mɔd] モッド）とは、ある時点において広く行われているスタイルや風習のことである。特に、人々の間で流行している服装を指すが、装いに関係する装身具、美容（ ...,"=HYPERLINK(""https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3"")",2 -ファッション,ファッションまとめ（レディース） - ZOZOTOWN,人気キュレーションメディアの最新ファッション情報（レディース）を集めました！今話題のファッションやトレンド情報をご覧いただけます。ZOZOTOWNは8444ブランドのアイテムを公式に取扱うファッション通販サイトです。,"=HYPERLINK(""https://zozo.jp/fashionnews/?sex=women"")",3 -ファッション,ファッション通販ZOZOTOWN,ZOZOTOWNは8441ブランドのアイテムを公式に取扱うファッション通販サイトです。「ツケ払い」ならお支払は2ヶ月後！即日配送（一部地域）で最短翌日お届け。今なら割引クーポンを対象ショップ限定でご利用いただけます。秋冬アイテムぞくぞく入荷！,"=HYPERLINK(""https://zozo.jp/"")",4 -ファッション,ファッション通販SHOPLIST（ショップリスト ...,ファッション通販SHOPLIST（ショップリスト） レディースからメンズ・キッズまで、多様なジャンルのファストファッションアイテムがまとめて買えるショッピングサイト。,"=HYPERLINK(""https://shop-list.com/"")",5 -ファッション,ファッション通販 FASHION WALKER,人気ブランドのアイテムが続々入荷中!!ファッションウォーカーは2200以上の人気ブランドを公式に取り扱うファッション通販サイトです。即日出荷・サイズ交換・返品可.,"=HYPERLINK(""https://fashionwalker.com/"")",6 -ファッション,レディースファッションの通販｜ベルメゾンネット,【5000円（税込）以上送料無料】レディースファッションの通販ならベルメゾン。人気のレディースファッションを豊富に取り揃え。ベルメゾンのレディースファッションはおしゃれでサイズ多数！コート、ワンピース、パンツ、スカート、セール商品など品 ...,"=HYPERLINK(""https://www.bellemaison.jp/ep/srvlt/EPFB00/EPFB0002/dMidCatLstShow?BELN_SHOP_KBN=100&DAI_CATEGORY_ID=1"")",7 -ファッション,GRL グレイル 公式 | レディースファッション通販のグレイル ...,流行のアイテムが何でも手に入る日本最大級のファストファッション通販サイト。GRL グレイルはレディースファッション洋服通販サイトです。,"=HYPERLINK(""https://www.grail.bz/"")",8 -ファッション,ニュース(2) - ファッションプレス,ファッションプレスは、最新ファッションニュースや新作コレクション、ファッションショーのレポート等をスピーディに配信[2ページ目]。ファッション以外にもライフスタイルやビューティ、アート等のニュースも掲載しています。,"=HYPERLINK(""https://www.fashion-press.net/news/?page=2"")",9 -ファッション,ファッション通販 d fashion,類似ページ,"=HYPERLINK(""https://fashion.dmkt-sp.jp/"")",10 -ファッション,人気のレディースファッションコーディネート - WEAR,キャッシュ,"=HYPERLINK(""https://wear.jp/women-coordinate/"")",11 -ファッション,35歳からのプチプラを品良く着こなしたいファッションブログ,ご覧いただきありがとうございます！ 35歳からの大人向けプチプラmixコーデを載せています。 UNIQLOやGUなどのプチプラをミックスしながら品良く見えるコーデを目指しています。 小学生ママのイベントファッションも載せてます。 身長160cmの標準体型です ...,"=HYPERLINK(""https://ameblo.jp/kurimama2013/"")",12 -ファッション,関連ニュースまとめ - ファッションプレス,ファッションに関するトピックをまとめて紹介。ファッション以外にも、ファッションを中心にブランド、グルメ、音楽、映画、アート、カルチャーなどライフスタイルに関する最新ニュースや取材レポートなどをスピーディに配信しています。,"=HYPERLINK(""https://www.fashion-press.net/news/search/fashion"")",13 -ファッション,ファッションプレス: ファッションブランド・デザイナー情報,ファッションブランドを中心に映画、アート、音楽、コスメ、グルメなどを紹介する日本最大級のライフスタイルメディア「ファッションプレス」。おでかけスポットなどの情報も掲載しています。,"=HYPERLINK(""https://www.fashion-press.net/"")",14 -ファッション,人気レディースファッション通販の神戸レタス【公式サイト】,安くて可愛い人気のレディースファッションなら神戸レタスにお任せください。トップスやボトム、ワンピース、アウター、シューズなど、豊富なアイテムを取り揃えております。通販サイトの他、実店舗でもお買い求めいただけます。【神戸レタス】,"=HYPERLINK(""https://www.lettuce.co.jp/"")",15 -ファッション,レディースファッション通販SHOPLIST（ショップリスト）,ファッション通販SHOPLIST（ショップリスト）レディースの最新アイテムを安くまとめ買いしよう。お得なセールやイベント毎日開催！最短で翌日発送。ファストファッションから有名ブランドまで豊富な品揃え。,"=HYPERLINK(""https://shop-list.com/women/"")",16 -ファッション,【楽天市場】レディースファッション |インターネット通販 ...,レディースファッションの通販なら楽天市場。流行の新作レディースファッションなどが大集合！ワンピ、スカート、ニット、ジーンズ、デニムなどサイズ別にも品数豊富に取り揃え。口コミ・ランキング・各種特集ページから簡単にお選びいただけます。,"=HYPERLINK(""https://www.rakuten.co.jp/category/ladiesfashion/"")",17 -ファッション,20代・30代のレディースファッション通販・通販 サイト ...,20代・30代・40代の女性におすすめな大人レディースカジュアルファッション通販サイト！トレンドファッションアイテムが目白押し！,"=HYPERLINK(""https://titivate.jp/"")",18 -ファッション,coca コカ 公式サイト 大人のためのファストファッション通販,大人のためのレディースファッション通販coca(コカ)の公式通販サイト。ちょっとおしゃれな日常着をテーマに、ベーシック＆トレンドなアイテムが《1000円台》から！3980円以上で送料無料。実店舗でのお買い物も可能。,"=HYPERLINK(""https://www.cocacoca.jp/"")",19 -ファッション,メンズファッション通販 d fashion - dマーケット,キャッシュ,"=HYPERLINK(""https://fashion.dmkt-sp.jp/top/index/pt_0-tp_0"")",20 -ファッション,レディースファッション通販 MAGASEEK(マガシーク),MAGASEEK(マガシーク)は人気ブランドや雑誌掲載アイテムを公式に取扱う国内最大級のファッション通販サイトです。トレンドアイテムや定番アイテムなど、幅広いレディースアイテムをご購入できます。お得なクーポン、人気ショップのアイテムは勿論、人気の ...,"=HYPERLINK(""https://www.magaseek.com/"")",21 -ファッション,20代・30代・40代女性のレディースファッション 通販,ニッセン通販サイト。レディースファッションのページです。20代・30代・40代女性の通勤服からドレス、カジュアル・フォーマル服まで、秋冬コーデや今どきファッションも豊富！,"=HYPERLINK(""https://www.nissen.co.jp/s/ladies/"")",22 -ファッション,大人のための高感度ファッション通販 タカシマヤ ...,"【5000円以上で送料無料】 タカシマヤファッションスクエアは30代,40代のレディースを中心に、人気ブランドのアイテムを公式に取り扱う、大人のためのファッション通販サイトです。セレクトショップの商品をはじめ、定番からトレンドアイテムまで購入でき ...","=HYPERLINK(""https://www.t-fashion.jp/"")",23 -ファッション,カテゴリ一覧 -ファッション通販 FASHION WALKER,カテゴリ一覧. スニーカー. レディースファッション. メンズファッション. ガールズ. ボーイズ. コスメ・香水・化粧品. レディースファッション. トップス. スカート. パンツ. ワンピース・ドレス. ジャケット・アウター. オールインワン・セットアップ ...,"=HYPERLINK(""https://fashionwalker.com/contents/category/"")",24 -ファッション,商品検索 -ファッション通販 FASHION WALKER,人気ブランドのアイテムが続々入荷中!!ファッションウォーカーは2200以上の人気ブランドを公式に取り扱うファッション通販サイトです。即日出荷・サイズ交換・返品可.,"=HYPERLINK(""https://fashionwalker.com/search/"")",25 -ファッション,人気ファッションランキング｜フェリシモ,フェリシモのファッションブランドの人気コレクションをランキングでご紹介します。,"=HYPERLINK(""https://www.felissimo.co.jp/contents/fashionranking/"")",26 -ファッション,ファッション通販 Rakuten Fashion(楽天ファッション／旧 ...,Rakuten Fashion(楽天ファッション)は人気ブランドを取り扱うファッション通販サイトです。新作アイテムも続々入荷中！3980円（税込）以上のお買い物で送料無料！,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/"")",27 -ファッション,Honeys,Honeys（ハニーズ）の公式通販サイト。ベーシックからトレンドまで幅広いファッションアイテムをプチプラで販売。大人の女性からティーンまで年齢層も幅広く対応。オフィスカジュアル、デート、普段着など今欲しいアイテムが見つかります。,"=HYPERLINK(""https://www.honeys-onlineshop.com/shop/default.aspx"")",28 -ファッション,レディースファッション | Amazon.co.jp,レディースファッションならアマゾン。人気のレディースファッションをお手頃な価格帯で幅広く取り揃えています。Amazonが配送する商品は送料無料・返品無料です。（一部を除く）,"=HYPERLINK(""https://www.amazon.co.jp/%E3%83%AC%E3%83%87%E3%82%A3%E3%83%BC%E3%82%B9%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3/b?ie=UTF8&node=2230006051"")",29 -ファッション,ファッション通販 | ワールド オンラインストア | WORLD ...,キャッシュ,"=HYPERLINK(""https://store.world.co.jp/"")",30 -ファッション,ファッション通販fifth(フィフス),流行のファッションアイテムを通販でお探しなら、ハイビジュアル・低価格で洋服、靴、アクセを提供するfifth(フィフス)毎月100型新作アイテム登場！安井レイさんやソンイさんのコーデアイテムもプチプラで販売中！,"=HYPERLINK(""https://5-fifth.com/"")",31 -ファッション,アマゾンファッション 通販 | Amazon,アマゾンファッションでは、人気のレディース、メンズファッションアイテムをお手頃な価格帯で幅広く取り揃えています。Amazonが配送する商品は送料無料・返品無料です。（一部を除く）,"=HYPERLINK(""https://www.amazon.co.jp/%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3/b?ie=UTF8&node=2229202051"")",32 -ファッション,ファッション 記事一覧 | WWDJAPAN,ファッション / 全て. 全て; ニュース · コラム・ インタビュー · スナップ · VIDEOS · PODCAST · ファッション · コレクション · ライフ · ウオッチ& ジュエリー · アイウエア · バッグ& シューズ. 10秒で読む.,"=HYPERLINK(""https://www.wwdjapan.com/category/fashion"")",33 -ファッション,【ニッセン】ファッション通販 2021秋,ニッセンの通販オンラインショップは、ファッション、インナー、インテリア、美容グッズなど、幅広い品揃えを豊富なサイズで取り揃えています。コーディネートやプチプライスも充実。,"=HYPERLINK(""https://www.nissen.co.jp/"")",34 -ファッション,MEN | ファッション通販 Rakuten Fashion(楽天 ... - 楽天市場,アウターコレクション開催中！Rakuten Fashion(旧楽天ブランドアベニュー)は人気ブランドを取り扱うファッション通販サイトです。新作アイテムも続々入荷中！3980円（税込）以上のお買い物で送料無料！,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/men/?l-id=brn_head_sex"")",35 -ファッション,FASHIONSNAP.COM [ファッションスナップ・ドットコム],ファッションに関連する事象を中心にビューティーやビジネス、アート、カルチャー、スポーツなど様々なトピックを取り上げる情報サイト。ファッションニュースの提供や、ストリートスナップ、最新コレクション、日曜日22時占い、ポッドキャスト、 ...,"=HYPERLINK(""https://www.fashionsnap.com/"")",36 -ファッション,ファッション のおすすめ人気通販｜Creema(クリーマ),ファッションを探せます。ハンドメイド、クラフト、手作り手芸品の通販・販売・購入ならCreema。301097点の一点ものならではのかわいい・おしゃれ・ユニークなおすすめのアイテムから自分だけのお気に入り作品をどうぞ。,"=HYPERLINK(""https://www.creema.jp/listing/8"")",37 -ファッション,"ファッション,コスメ通販DHOLIC",おしゃれなファッション洋服通販サイトdholic。メンズからレディースまで品揃え豊富。,"=HYPERLINK(""https://m.dholic.co.jp/"")",38 -ファッション,ファッション（読み）ふぁっしょん（英語表記） - コトバンク,フランス語のファソンfaçonとなり、さらに英語のファッションfashionとなった。今日、本来の英語でのファッションには多様な意味がある。第一義は「流行」であり、「はやりの型 ...,"=HYPERLINK(""https://kotobank.jp/word/%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3-122310"")",39 -ファッション,ファッション 通販 - Yahoo!ショッピング,Yahoo!ショッピング | ファッションのランキングや口コミも豊富なネット通販。更にお得なPayPay残高も！スマホアプリも充実で毎日どこからでも気になる商品をその場でお求めいただけます。,"=HYPERLINK(""https://shopping.yahoo.co.jp/category/13457/recommend"")",40 -ファッション,ファッションアイテムの人気ランキング - Rakuten Fashion,ファッションアイテムの人気ランキングです！楽天ファッション(旧楽天ブランドアベニュー)で人気のファッションアイテムをチェックできます。,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/ranking/"")",41 -ファッション,ファッションの意味や定義 Weblio辞書,(1)人々の間で流行している服装や装飾等のこと。Weblio国語辞典では「ファッション」の意味や使い方、用例、類似表現などを解説しています。,"=HYPERLINK(""https://www.weblio.jp/content/%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3"")",42 -ファッション,ファッション‼︎ | 文春オンライン,『ダルちゃん』（小学館）や『ZUCCA×ZUCA（ヅッカヅカ）』（講談社）のはるな檸檬さんの最新作。魑魅魍魎ファッション業界を舞台に「見せかけの人たち」を描くヒューマンホラー。「週刊文春W…,"=HYPERLINK(""https://bunshun.jp/category/fashion"")",43 -ファッション,ファッションアイテム人気ランキング - ZOZOTOWN,すべて; トップス; ジャケット/アウター; パンツ; オールインワン・サロペット; スカート; ワンピース/ドレス; フォーマルスーツ/小物; バッグ; シューズ; ファッション雑貨; 財布/小物; 腕時計; ヘアアクセサリー; アクセサリー; アンダーウェア ...,"=HYPERLINK(""https://zozo.jp/ranking/all-sales-women.html"")",44 -ファッション,ファッション 新作 - フェリシモコレクション,ファッション 新作を紹介しています。ファッション・雑貨の定期便通販ならフェリシモコレクション。,"=HYPERLINK(""https://www.felissimo.co.jp/collect/wk59541/"")",45 -ファッション,レディースファッションの商品一覧 - QVCジャパン,ファッション（レディースファッション）のカテゴリから、ファッションウェアをご紹介。コート、ジャケット、ワンピース、チュニック、カーディガン、パンツ、スカートなど様々なアイテムをラインナップ。人気ブランドの新作はシーズン毎に登場。,"=HYPERLINK(""https://qvc.jp/catalog/cList.html?baseRo=cat2_17&searchType=categoryList"")",46 -ファッション,ONWARD CROSSET | ファッション通販サイト[オンワード ...,オンワードグループ公式ファッション通販サイトのONWARD CROSSET。大人気ブランド(23区、組曲、自由区、ICB、any SiSなど)の多彩なアイテムを紹介しているショッピングサイトです！毎日更新！旬なアイテムを要チェック！,"=HYPERLINK(""https://crosset.onward.co.jp/"")",47 -ファッション,ファッション通販サイトのSTRIPE CLUB（ストライプクラブ）,ファッション通販サイトのSTRIPE CLUBは、レディースファッションからメンズ・キッズまで幅広く取り揃えたファッション通販サイトです。ファッション通販サイトのストライプクラブでは、TV・CMや雑誌でお馴染みのearth music&ecologyやE hyphen world ...,"=HYPERLINK(""https://stripe-club.com/"")",48 -ファッション,ファッション | JALショッピング,キャッシュ,"=HYPERLINK(""https://www.shop.jal.co.jp/c/001/"")",49 -ファッション,長濱ねると考える、東京ファッションとSDGs 「大切なのは ...,2021年8月30日（月）～9月4日（土）の期間にて開催された楽天 ファッションウィーク 東京 2022春夏（Rakuten Fashion Week Tokyo 2022 S/S）に、SDGsレポ.,"=HYPERLINK(""https://news.yahoo.co.jp/articles/442bcae0a44716176bcdd9d39fe7eba5059278de"")",50 -ファッション,メンズ - 海外ファッション通販【BUYMA】,【BUYMA】メンズファッション｜メンズファッションを探す。 バイマは誰もが『パーソナルショッパー』になることで誕生した史上初の『お買い物代行コミュニティ』です。,"=HYPERLINK(""https://www.buyma.com/mens/"")",51 -ファッション,世界を買える 海外ブランド・ファッション通販【BUYMA】,【BUYMA】世界を買える 海外ブランド・ファッション通販「BUYMA(バイマ)」。世界各国のパーソナルショッパー(出品者)から、世界中の商品を購入できるマーケットプレイスです。,"=HYPERLINK(""https://www.buyma.com/"")",52 -ファッション,Felissimo Fashion News - フェリシモ,フェリシモファッションの最旬情報やSALE情報をご紹介します。,"=HYPERLINK(""https://www.felissimo.co.jp/fashion/"")",53 -ファッション,ファッション | 価格比較、通販,価格.comファッションは全国の通販サイトの販売価格情報をはじめ、ランキング別やブランド別など、さまざまな視点から商品を比較・検討できます！,"=HYPERLINK(""https://kakaku.com/fashion/"")",54 -ファッション,ファッションまとめ - ZOZOTOWN,人気キュレーションメディアの最新ファッション情報を集めました！今話題のファッションやトレンド情報をご覧いただけます。ZOZOTOWNは8444ブランドのアイテムを公式に取扱うファッション通販サイトです。,"=HYPERLINK(""https://zozo.jp/fashionnews/"")",55 -ファッション,レディースファッション通販 - ベルーナ,レディースファッションの通販ならベルーナ。人気のレディースファッションがお手頃価格でサイズ豊富。割引クーポンやセールなどお得なキャンペーンも随時開催中！更に交換送料無料サービスで安心。ミセスファッション通販サイトはベルーナ。,"=HYPERLINK(""https://belluna.jp/01/010101/c/10000000/l_cate/"")",56 -ファッション,ファッション | イオンの公式通販 - イオンスタイルオンライン,イオンのレディース・メンズ ファッションのネットEC通販。カジュアル、ビジネス、トップス、カットソー、シャツ、ボトムス、インナー、大きいサイズ、スーツなど豊富な品揃え。店舗受取りなら送料無料。WAON POINTがつかえる・たまる。,"=HYPERLINK(""https://aeonretail.com/shop/stylefashion/"")",57 -ファッション,メンズファッション - シャツ、ジーンズの古着 - ヤフオク!,メンズファッションならヤフオク! 春夏秋冬、お得に最新コーディネートを揃えられるのも、圧倒的な商品数のネットオークションで新品、古着、ビンテージ、アウトレット品、訳あり品を最安値価格で落札できるから！ 送料無料、手数料無料の商品も ...,"=HYPERLINK(""https://auctions.yahoo.co.jp/list2/23176-category.html"")",58 -ファッション,ファッションセール 通販 - ディノス,ディノス(dinos）オンラインセールショップ、【ファッションセール】のカテゴリです。通販カタログやTVショッピングで人気のファッションを多数ご紹介しています。ディノスなら代引手数料無料☆初めてのお買い物でもれなく1000円クーポンプレゼント！,"=HYPERLINK(""https://www.dinos.co.jp/c2/003003003/"")",59 -ファッション,ファッション 通販 - ディノス,ディノス(dinos）オンラインショップ、こちらは【ファッション】のカテゴリで、通販カタログやTVショッピングで紹介されている人気のファッションを多数取り揃えています。ディノスなら代引手数料無料！初めてのお買い物でもれなく1000円クーポン ...,"=HYPERLINK(""https://www.dinos.co.jp/c2/002003/"")",60 -ファッション,MEN | ファッション通販 Rakuten Fashion(楽天ファッション ...,アウターコレクション開催中！Rakuten Fashion(旧楽天ブランドアベニュー)は人気ブランドを取り扱うファッション通販サイトです。新作アイテムも続々入荷中！3980円（税込）以上のお買い物で送料無料！,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/ba/men/"")",61 -ファッション,アウター特集 | ファッション通販 Rakuten Fashion(楽天 ...,ブルゾンやマウンテンパーカー、デニムジャケット、ダウンなど、秋冬に欲しい人気ブランドのアウターを特集！／税込3980円以上購入で送料無料／楽天ポイントが使えて貯まる！／Rakuten Fashion(楽天ファッション),"=HYPERLINK(""https://brandavenue.rakuten.co.jp/contents/outer/"")",62 -ファッション,KIDS | ファッション通販 Rakuten Fashion(楽天ファッション ...,アウターコレクション開催中！Rakuten Fashion(旧楽天ブランドアベニュー)は人気ブランドを取り扱うファッション通販サイトです。新作アイテムも続々入荷中！3980円（税込）以上のお買い物で送料無料！,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/kids/?l-id=brn_head_sex"")",63 -ファッション,ファッション | 25ans(ヴァンサンカン),女性ファッション誌『25ans』公式サイトの「ファッション」コーナーです。最旬トレンド、華やかスタイリング、厳選ブランドバッグ＆シューズや他では見られないラグジュアリーなハイジュエリーなど、毎日チェックしてほしいとっておきの最新ファッション ...,"=HYPERLINK(""https://www.25ans.jp/fashion/"")",64 -ファッション,LOHACO - ファッション 通販 - ロハコ,ファッション の通販ならLOHACO（ロハコ）で！LOHACO発送の商品は、最短翌日お届け。PayPayが使える、貯まる。アスクル個人向け日用品ショッピングサイトです。,"=HYPERLINK(""https://lohaco.yahoo.co.jp/category/58463/"")",65 -ファッション,"ファッション,コスメ通販DHOLIC",おしゃれなファッション洋服通販サイトdholic。メンズからレディースまで品揃え豊富。,"=HYPERLINK(""https://www.dholic.co.jp/"")",66 -ファッション,ファッションのプロジェクト一覧｜マクアケ - Makuake,アタラシイものや体験の応援購入サービス、Makuake（マクアケ）のファッションのプロジェクトです。デザイン作成、服制作などで資金調達によって実現したい実行者の想いを支援しましょう。応援するとプレミアムなモノやサービスのお返しがあります！,"=HYPERLINK(""https://www.makuake.com/discover/categories/fashion/"")",67 -ファッション,“ラブロマンスの女王“ ソン・ヘギョの華麗なるファッション遍歴,さらに今年2月には「フェンディ」の韓国アンバサダーにも抜擢するなど、20年以上トップ女優として活躍し続けるソン・ヘギョの歴代ファッションをチェック。 【写真】ヒョンビンもソン・ジュンギも虜に！ 魔性女優ソン・ヘギョの華麗なる美容遍歴 ...,"=HYPERLINK(""https://news.yahoo.co.jp/articles/c08117c3027cef807b478b08a55a8b0cbf085c04"")",68 -ファッション,Newsニュース - ファッションプレス,ファッションプレスは、最新ファッションニュースや新作コレクション、ファッションショーのレポート等をスピーディに配信。ファッション以外にもライフスタイルやビューティ、アート等のニュースも掲載しています。,"=HYPERLINK(""https://www.fashion-press.net/news/"")",69 -ファッション,レディースファッション - ヤフオク!,レディースファッション、ファッションならヤフオク!。圧倒的な商品数のネットオークションで の中古品、新品、古着、アウトレット品、訳あり品を最安値価格で落札して購入しよう！ 送料無料、手数料無料の商品もあります。不用品の処分には出品、買取が ...,"=HYPERLINK(""https://auctions.yahoo.co.jp/list2/23288-category.html"")",70 -ファッション,ブランド別の中古品・新品・古着 - ファッション - ヤフオク!,ファッション、ブランド別ならヤフオク!。圧倒的な商品数のネットオークション・フリマで新品、未使用品、古着、中古品、アウトレット品、訳あり品を最安値価格で落札して購入しよう！ 送料無料、手数料無料の商品もあります。不用品の処分には出品、買取 ...,"=HYPERLINK(""https://auctions.yahoo.co.jp/list2/23172-category.html"")",71 -ファッション,カテゴリ一覧 | ファッション通販 Rakuten Fashion(楽天 ...,Rakuten Fashionで購入できるアイテムのブランド一覧です。Rakuten Fashionはさまざまな人気ブランドを公式に取り扱うファッション通販サイトです。,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/categorylist/"")",72 -ファッション,WOMEN | ファッション通販 Rakuten Fashion(楽天 ...,アウターコレクション開催中！Rakuten Fashion(旧楽天ブランドアベニュー)は人気ブランドを取り扱うファッション通販サイトです。新作アイテムも続々入荷中！3980円（税込）以上のお買い物で送料無料！,"=HYPERLINK(""https://brandavenue.rakuten.co.jp/ladies/?l-id=brn_head_sex"")",73 -ファッション,レディースファッション 通販 - Yahoo!ショッピング,ファッション. コート、アウター. ジャケット. トップス. ボトムス、パンツ. ワンピース、チュニック. オールインワン、セットアップ · ジャージ、スウェット. シューズ. バッグ. 財布、帽子、ファッション小物. 下着、靴下、部屋着. スーツ、フォーマル.,"=HYPERLINK(""https://shopping.yahoo.co.jp/category/13457/2494/recommend"")",74 -ファッション,メンズファッション 通販 - Yahoo!ショッピング,ファッション. コート、アウター. ジャケット. トップス. ボトムス、パンツ. つなぎ、オールインワン · ジャージ、スウェット. シューズ. バッグ. 財布、帽子、ファッション小物. 下着、靴下、部屋着. ワイシャツ · ネクタイ. スーツ、フォーマル.,"=HYPERLINK(""https://shopping.yahoo.co.jp/category/13457/2495/recommend"")",75 -ファッション,ファッション | My Nintendo Store（マイニンテンドーストア）,任天堂の公式オンラインストア。ファッションのページ。バリエーション豊富な商品をご用意しています。,"=HYPERLINK(""https://store-jp.nintendo.com/list/goods/fashion/"")",76 -ファッション,【WWDJAPAN】最新ファッション＆ビューティ情報,国内・海外の最新ファッション＆ビューティ・トレンドをはじめ、業界ニュースをいち早くお届け。最新コレクションやスナップ、キャリア情報まで、全てを網羅！,"=HYPERLINK(""https://www.wwdjapan.com/"")",77 -ファッション,阪急百貨店公式通販 Hankyu FASHION,【阪急百貨店公式通販サイト】レディースのTOPページです。HANKYU FASHIONは、阪急百貨店で取り扱う人気ブランドのレディースファッションをご購入いただける通販サイトです。阪急阪神百貨店のカードが使えてお得にお買い物が可能！,"=HYPERLINK(""https://web.hh-online.jp/fashion/"")",78 -ファッション,秋の大人おしゃれはコレ！注目ファッションアイテム6選で ...,また、近年多くのファッションブランドがサスティナブルな取り組みを行っており、有害な化学物質を使用しない自然素材やリサイクル素材、アニマルフリー素材など、地球環境に優しいアイテムを多数打ち出しています。 2021-22年秋冬コレクションのランウェイ ...,"=HYPERLINK(""https://news.yahoo.co.jp/articles/aed55caa14e7fa29bb41b0e4a5150d990dcaaf4f"")",79 -ファッション,ベイクルーズのファッション通販 - BAYCREW'S STORE,類似ページ,"=HYPERLINK(""https://baycrews.jp/"")",80 -ファッション,ウィメンズコレクション一覧 - ファッションプレス,ウィメンズコレクションをまとめて紹介。ファッションプレスでは、 ウィメンズコレクション以外にも、国内外の人気ブランドの最新コレクションを掲載・配信しています。,"=HYPERLINK(""https://www.fashion-press.net/collections/search/womens"")",81 -ファッション,レディースファッション通販｜RUNWAY channel ...,レディースファッション通販サイトRUNWAY channel【ランウェイチャンネル】。dazzlin(ダズリン)、EMODA(エモダ)、MERCURYDUO(マーキュリーデュオ)、MURUA(ムルーア)、Ungrid(アングリッド)等の公式ファッション通販ならではの豊富な品揃え！,"=HYPERLINK(""https://runway-webstore.com/"")",82 -ファッション,ファッション- 通販・テレビショッピングのショップチャンネル,ファッション情報はこちら。人気のブランドはもちろん、注目のファッションアイテムを多数ご案内します。,"=HYPERLINK(""https://www.shopch.jp/ap/fashion"")",83 -ファッション,秋冬コーデの参考にも！ ファッションが魅力的な,そこで今回は、おしゃれなキャラクターをピックアップしました！ マンネリ化しやすいオフィススタイルからカジュアルスタイルまでご紹介。秋冬に向けて、ファッションに彩りをプラスしてみてはいかがでしょうか。,"=HYPERLINK(""https://news.yahoo.co.jp/articles/9b1d94861a43152601953c78860badf705702bf6"")",84 -ファッション,今週のファッションチェック＞鷲見玲奈 カシュクールワンピ ...,大型ファッションイベント「第33回 マイナビ 東京ガールズコレクション 2021 AUTUMN/WINTER」に登場した鷲見玲奈さん ... かのん）さん、鈴木愛理さん、中条あやみさん、Nikiさん、藤井サチさん、愛花（えりか）さんらが華やかなファッションで登場した。,"=HYPERLINK(""https://news.yahoo.co.jp/articles/1eea067efb9ca63616096758b8ec7f9433f5d6ab"")",85 -ファッション,ファッション | PLAZA ONLINE STORE - プラザオンライン ...,ファッション. さらに絞りこむ. キャップ/ハット · バッグ · ポーチ · アスレチックウェア · Tシャツ/スウェット/シャツ · スカート ...,"=HYPERLINK(""https://www.plazastyle.com/ec/srDispCategoryTreeLink/doSearchCategory/11030000000/04-05/2/1"")",86 -ファッション,"アマゾン: Amazon | 本, ファッション, 家電から食品まで","Amazon.co.jp 公式サイト。アマゾンで本, 日用品, ファッション, 食品, ベビー用品, カー用品ほか一億種の商品をいつでもお安く。通常配送無料(一部を除く)","=HYPERLINK(""https://www.amazon.co.jp/"")",87 -ファッション,カテゴリから探す 「ファッション」 | ショップガイド - 光が丘 ...,都営地下鉄大江戸線「光が丘駅」直結、光が丘IMA「ファッション」のショップガイドです。,"=HYPERLINK(""https://www.ima-hikarigaoka.jp/shopguide/?category=fashion"")",88 -ファッション,アウトレットファッション通販 『BRANDELI』,アウター; トップス; ワンピース; スカート; パンツ; スポーツウェア; レッグウェア; インナー; シューズ; バッグ; ファッション小物; アクセサリー; 水着; ライフスタイルグッズ; 福袋. レディース; メンズ; キッズ; 大きいサイズ. カテゴリをもっと見る ...,"=HYPERLINK(""https://www.brandeli.com/"")",89 -ファッション,ファッションセンターしまむら,ファッションセンターしまむら公式ウェブサイト。日常普段着 -デイリーファッション- を便利なロケーションと快適な売場、しかも気軽に買物が出来るお安い価格で提供します。,"=HYPERLINK(""https://www.shimamura.gr.jp/shimamura/"")",90 -ファッション,＜今週のファッションチェック＞藤井サチ ViViモデルが美脚 ...,1週間の女性有名人のファッションを紹介する「今週のファッションチェック」。今回（8月31日～9月6日）は、藤井サチさん、“めるる”こと生見愛瑠（ぬくみ・める）さん、三吉彩花さん、香音（かのん）さん.,"=HYPERLINK(""https://news.yahoo.co.jp/articles/635ee3c4e18e766a3ad1ea9fece77cf85f9eb699"")",91 -ファッション,今週のファッションチェック＞三吉彩花 白キャミワンピで美 ...,1週間の女性有名人のファッションを紹介する「今週のファッションチェック」。今回（8月31日～9月6日）は、三吉彩花さん、“めるる”こと生見愛瑠（ぬくみ・める）さん、香音（かのん）さん、鈴木愛理さん.,"=HYPERLINK(""https://news.yahoo.co.jp/articles/2911081c405e3741736e051b49b4a92f3621866f"")",92 -ファッション,ファッション通販のhaco! | ハコ！毎日のお洋服と明日の ...,ファッション通販のhaco!（ハコ）は、わたしたちの毎日が、そして明日が、昨日よりちょっとびっくりできる、そんなお洋服や雑貨、プロジェクトがたっぷりつまったツーハンサイトです。,"=HYPERLINK(""https://www.haco.jp/"")",93 -ファッション,Fashion - ファッション - VOGUE,ファッション誌『VOGUE JAPAN』の公式サイト。世界のファッションやコレクションをはじめ、ファッションモデルやビューティ、ジュエリーなど、ファッショントレンド、コーディネートをご紹介。海外セレブやモデルのスナップ写真も掲載。,"=HYPERLINK(""https://www.vogue.co.jp/fashion"")",94 -ファッション,Amazonファッションタイムセール祭りでビジネスバッグが ...,Amazonは9月13日（月）23:59までファッションタイムセール祭りを開催中です。,"=HYPERLINK(""https://japanese.engadget.com/amazon-sale-044840322.html"")",95 -ファッション,Amazon ファッションタイムセール祭り - アマゾン,Amazonファッションタイムセール祭りとはAmazonが開催する計63時間のビッグセール。定番ファッションからトレンドまで、ヘアケア用品からスキンケア、コスメまで、お得な価格で人気商品を数多く取り揃え。さらに数億種類の商品を対象としたポイントアップ ...,"=HYPERLINK(""https://www.amazon.co.jp/b?ie=UTF8&node=8514009051"")",96 -ファッション,レディースファッション通販 Re:EDIT‐リエディ,レディースファッション通販 Re:EDIT‐リエディのファッション通販サイト。強く、気品高く、輝く女性に寄り添うサステナブルかつエシカルなトレンドファッションアイテムが購入できる20代・30代・40代へ向けたファッション通販サイトです。,"=HYPERLINK(""https://reedit.jp/"")",97 diff --git a/fit.py b/fit.py index 2bb976c..bbb4052 100644 --- a/fit.py +++ b/fit.py @@ -1,8 +1,11 @@ +# import sys +# sys.path.append('../') from som import ManifoldModeling as MM import matplotlib.pyplot as plt import matplotlib.animation as ani import numpy as np import pickle +from sklearn.decomposition import NMF def update(i, fig_title, Z): if i != 0: @@ -12,7 +15,7 @@ def update(i, fig_title, Z): if __name__ == '__main__': - from dev.Grad_norm import Grad_Norm + from dev.Grad_norm_dev import Grad_Norm keyword = "ファッション" model = "SOM" @@ -36,7 +39,7 @@ def update(i, fig_title, Z): np.random.seed(seed) - mm = MM(X, latent_dim=latent_dim, resolution=resolution, sigma_max=sigma_max, sigma_min=sigma_min, tau=tau, init='PCA') + mm = MM(X, model_name='SOM', latent_dim=latent_dim, resolution=resolution, sigma_max=sigma_max, sigma_min=sigma_min, tau=tau, init='PCA') mm.fit(nb_epoch=nb_epoch) mm_umatrix = Grad_Norm(X=X, @@ -45,11 +48,23 @@ def update(i, fig_title, Z): labels=labels, resolution=umat_resolution, title_text=title_text) - mm_umatrix.draw_umatrix() + # mm_umatrix.draw_umatrix() + Z = mm.history['z'][-1] + Y = mm.history['y'][-1] + model_t3 = NMF(n_components=5, init='random', random_state=2, max_iter=300, + solver='cd') + Wt3 = model_t3.fit_transform(Y) + Ht3 = model_t3.components_ + + fig = plt.figure(figsize=(16, 9)) + two = plt.imshow(Wt3[:, 1].reshape(resolution, resolution), + extent=[Z[:, 0].min(), Z[:, 0].max(), Z[:, 1].min(), + Z[:, 1].max()], + interpolation=None, alpha=0.8) + plt.show() + - Fig = plt.figure(figsize=(16, 9)) # animation = ani.FuncAnimation(Fig, update, fargs=(np.zeros(10, 10, 2))) - fig = plt.figure(figsize = (10, 6)) # ani = ani.FuncAnimation(fig, update, fargs = ('Initial Animation! ', mm.history['z']), \ # interval = 1, frames = 500) # plt.show() diff --git a/som.py b/som.py index 4cf8e57..ee836e7 100644 --- a/som.py +++ b/som.py @@ -131,5 +131,3 @@ def fit(self, nb_epoch=100, verbose=True): self.history['z'][epoch] = self.Z self.history['y'][epoch] = self.Y self.history['sigma'][epoch] = self.sigma - - diff --git a/webapp/dash.py b/webapp/dash.py index d79a310..3a76a99 100644 --- a/webapp/dash.py +++ b/webapp/dash.py @@ -4,7 +4,6 @@ # visit http://127.0.0.1:8050/ in your web browser. -from urllib import parse from dash.dependencies import Input, Output, State import dash_bootstrap_components as dbc import dash_core_components as dcc @@ -21,8 +20,9 @@ import pathlib from scraperbox import fetch_gsearch_result from make_BoW import make_bow -from urllib.parse import urlparse +from sklearn.decomposition import NMF import tldextract +import pickle PROJECT_ROOT = pathlib.Path('.') @@ -30,15 +30,26 @@ csv_file.stem for csv_file in PROJECT_ROOT.glob("./*.csv") ] domain_favicon_map = dict() +resolution = 20 -def make_figure(keyword, model_name, enable_favicon=False): +def prepare_materials(keyword, model_name): + # Learn model + nb_epoch = 50 + sigma_max = 2.2 + sigma_min = 0.3 + tau = 50 + latent_dim = 2 + seed = 1 + # Load data if keyword in SAMPLE_DATASETS: + print("Data exists") csv_df = pd.read_csv(keyword+".csv") labels = csv_df['site_name'] X = np.load("data/tmp/" + keyword + ".npy") else: + print("Fetch data to learn") df = fetch_gsearch_result(keyword) X , labels, df = make_bow(df) df.to_csv(keyword+".csv") @@ -47,39 +58,125 @@ def make_figure(keyword, model_name, enable_favicon=False): np.save(feature_file, X) np.save(label_file, labels) + model_save_path = 'data/tmp/'+ keyword +'_'+ model_name +'_history.pickle' + if pathlib.Path(model_save_path).exists(): + print("Model already learned") + with open(model_save_path, 'rb') as f: + history = pickle.load(f) + else: + print("Model learning") + np.random.seed(seed) + mm = MM( + X, + latent_dim=latent_dim, + resolution=resolution, + sigma_max=sigma_max, + sigma_min=sigma_min, + model_name=model_name, + tau=tau, + init='PCA' + ) + mm.fit(nb_epoch=nb_epoch) + history = dict( + Z=mm.history['z'][-1], + Y=mm.history['y'][-1], + sigma=mm.history['sigma'][-1], + ) + print("Learning finished.") + with open(model_save_path, 'wb') as f: + pickle.dump(history, f) + return csv_df, labels, X, history - # Learn model - nb_epoch = 50 - resolution = 20 - sigma_max = 2.2 - sigma_min = 0.3 - tau = 50 - latent_dim = 2 - seed = 1 - - np.random.seed(seed) - mm = MM( - X, - latent_dim=latent_dim, - resolution=resolution, - sigma_max=sigma_max, - sigma_min=sigma_min, - model_name=model_name, - tau=tau, - init='PCA' - ) - mm.fit(nb_epoch=nb_epoch) - print("Learning finished.") - Z = mm.history['z'][-1] - # Make U-Matrix +def draw_umatrix(fig, X, Z, sigma, u_resolution, labels): umatrix = Grad_Norm( X=X, Z=Z, - sigma=mm.history['sigma'][-1], - labels=labels, resolution=100, title_text="dammy" + sigma=sigma, + labels=labels, + resolution=u_resolution, + title_text="dammy" + ) + U_matrix, _, _ = umatrix.calc_umatrix() + fig.add_trace( + go.Contour( + x=np.linspace(-1, 1, u_resolution), + y=np.linspace(-1, 1, u_resolution), + z=U_matrix.reshape(u_resolution, u_resolution), + name='contour', + colorscale="viridis", + hoverinfo='skip', + showscale=False, + ) + ) + return fig + + +def draw_topics(fig, Y, n_components): + # decomposed by Topic + model_t3 = NMF( + n_components=n_components, + init='random', + random_state=2, + max_iter=300, + solver='cd' + ) + W = model_t3.fit_transform(Y) + + # For mask and normalization(min:0, max->1) + mask_std = np.zeros(W.shape) + mask = np.argmax(W, axis=1) + for i, max_k in enumerate(mask): + mask_std[i, max_k] = 1 / np.max(W) + W_mask_std = W * mask_std + DEFAULT_PLOTLY_COLORS=[ + 'rgb(31, 119, 180)', 'rgb(255, 127, 14)', + 'rgb(44, 160, 44)', 'rgb(214, 39, 40)', + 'rgb(148, 103, 189)', 'rgb(140, 86, 75)', + 'rgb(227, 119, 194)', 'rgb(127, 127, 127)', + 'rgb(188, 189, 34)', 'rgb(23, 190, 207)' + ] + alpha = 0.1 + DPC_with_Alpha = [k[:-1]+', '+str(alpha)+k[-1:] for k in DEFAULT_PLOTLY_COLORS] + for i in range(n_components): + fig.add_trace( + go.Contour( + x=np.linspace(-1, 1, resolution), + y=np.linspace(-1, 1, resolution), + z=W_mask_std[:, i].reshape(resolution, resolution), + name='contour', + colorscale=[ + [0, "rgba(0, 0, 0,0)"], + [1.0, DPC_with_Alpha[i]]], + hoverinfo='skip', + showscale=False, + ) + ) + return fig + + +def draw_scatter(fig, Z, labels): + fig.add_trace( + go.Scatter( + x=Z[:, 0], + y=Z[:, 1], + mode="markers", + name='lv', + marker=dict( + size=13, + ), + text=labels, + hoverlabel=dict( + bgcolor="rgba(255, 255, 255, 0.75)", + ), + ) ) - U_matrix, resolution, _ = umatrix.calc_umatrix() + return fig + + +def make_figure(keyword, model_name, enable_favicon=False, viewer_name="U_matrix"): + csv_df, labels, X, history = prepare_materials(keyword, model_name) + Z, Y, sigma = history['Z'], history['Y'], history['sigma'] # Build figure fig = go.Figure( @@ -105,32 +202,15 @@ def make_figure(keyword, model_name, enable_favicon=False): ) ), ) - fig.add_trace( - go.Contour( - x=np.linspace(-1, 1, resolution), - y=np.linspace(-1, 1, resolution), - z=U_matrix.reshape(resolution, resolution), - name='contour', - colorscale="viridis", - hoverinfo='skip', - showscale=False, - ), - ) - fig.add_trace( - go.Scatter( - x=Z[:, 0], - y=Z[:, 1], - mode="markers", - name='lv', - marker=dict( - size=13, - ), - text=labels, - hoverlabel=dict( - bgcolor="rgba(255, 255, 255, 0.75)", - ), - ) - ) + + if viewer_name=="topic": + n_components = 5 + fig = draw_topics(fig, Y, n_components) + else: + u_resolution = 100 + fig = draw_umatrix(fig, X, Z, sigma, u_resolution, labels) + + fig = draw_scatter(fig, Z, labels) if enable_favicon: for i, z in enumerate(Z): @@ -194,14 +274,17 @@ def make_search_form(style): @app.callback( Output('example-graph', 'figure'), - Input('explore-start', 'n_clicks'), + [ + Input('explore-start', 'n_clicks'), + Input('model-selector', 'value'), + Input('viewer-selector', 'value'), + ], [ State('search-form', 'value'), - State('model-selector', 'value'), State('favicon-enabled', 'checked'), ]) -def load_learning(n_clicks, keyword, model_name, favicon): - return make_figure(keyword, model_name, favicon) +def load_learning(n_clicks, model_name, viewer_name, keyword, favicon): + return make_figure(keyword, model_name, favicon, viewer_name) @app.callback( @@ -325,6 +408,16 @@ def update_title(hoverData, keyword, prev_linktext, prev_url, prev_target, prev_ className="form-check-label", ), ], check=True), + dbc.RadioItems( + options=[ + {'label': 'U-matrix', 'value': 'U-matrix'}, + {'label': 'topic', 'value': 'topic'}, + ], + value='U-matrix', + id="viewer-selector", + style={'textAlign': "center"} + ), + dbc.RadioItems( options=[ {'label': 'サンプルのデータセット', 'value': 'selection'},