Pathology No.3

低酸素・虚血はATP枯渇を引き起こす、Naポンプ機能の低下や嫌気性解糖の上昇、タンパク質合成阻害。ATP低下、カルシウム流入、収縮帯形成、細胞腫脹、グリコゲン枯渇、pH低下など。低酸素改善しても、再灌流傷害が起こるかも、活性酸素や炎症細胞湿潤が出てくる。血栓融解療法とかがある。酸化ストレスとは、superoxide, hydrogen peroxide, hydroxyl radical, マクロファージはperoxynitrite, 好中球が作るhypochlorous acidなどがある。タンパク修飾、脂質過酸化、DNA損傷。スーパーオキシドディスムターゼ、グルタチオンペルオキシダーゼ、カタラーゼなんかが対抗手段。細胞毒もある。直接的なものは、塩化水銀、抗がん剤(プラチナ製剤)は腎障害あり。間接的なものは、P-450経路で代謝されて細胞を傷害するもので、四塩化炭素やアセトアミノフェンがある。小胞体ストレスは異常タンパクを認識して、シャペロンを増やす、タンパク合成、ユビキチン系タンパク分解を増やす。それでもダメなら、BH3を活性化して、カスパーゼを活性化してapoptosis。感染症、Ⅱ型糖尿病、神経変性疾患、老化でもこういうこと起こる。Cystic Fibrosisは肺の上皮が死ぬ、Familial hypercholesterolemiaはLDL受容体、Tay-Sachs diseaseは解糖系の酵素がおかしい。Retinitis pigmentosaはロドプシン、Creutzfeld-Jacob diseaseはPrionが、Alzheimer病はアミロイドβ、Alpha-1-antitrypsin-deficiencyはそのまま。が傷害に関与する。DNA傷害は放射線、化学療法、活性酸素、遺伝子変異。炎症はサイトカイン、細胞傷害を起こす共通のメカニズムは、ミトコンドリアの機能障害、膜透過性の異常は、アスベストはマクロファージが分解出来ない、リソソーム膜を突き破る。膜は細胞膜、ミトコンドリア膜、リソソーム膜など。適応することが出来ることあり。その内の1つは肥大。生理的肥大は、妊娠時の乳腺や子宮。適応性肥大は筋トレ。病的肥大は、高血圧性心肥大や特発性肥大型心筋症。張力刺激と栄養因子による適応。過形成なんかもある。生理的なものとしては、ホルモン性のものは、妊娠時の乳腺や子宮。代償性過形成では、肝切除後、腎摘出後の対側腎。病的なものは、ホルモン・増殖因子過剰や、子宮内膜症、乳腺症、甲状腺機能亢進症。ケロイド、疣贅By乳頭腫ウイルス、女性化乳房、慢性膀胱炎など。萎縮の分類の仕方として、病的萎縮の原因で分けられる。廃用性、神経性、貧血性、低栄養性、内分泌性、老人性、圧迫の7つ。気道繊毛上皮から、重層扁平上皮になることは、扁平上皮化生。たばこが原因。粘液排出出来ないので、癌病変へ。ビタミンA欠乏症も同じ。Barrett食道炎は重層扁平上皮から、線毛上皮になる。胃液の逆流。食道の腺癌が出来る。腸上皮化生は、胃粘膜から小腸上皮様の構造変化。最後に結合組織の化生。化骨性筋炎など。細胞内蓄積にはいろいろ種類がある。脂肪変性。コレステロール及びコレステロールエステルでは、フィブリンの下にコレステリン結晶というのが出来る。ラッセル小体は多発性骨髄腫では、核の横のゴルジが明るく抜けるのが形質細胞。ピンク色の結晶がラッセル小体。イムノグロブリンがたまったもの。マロリー小体、アルコール小体、暗赤色の肝障害特異的構造物。アルツハイマー原線維変化。グリコーゲン、色素沈着。リポフスチンはオートファジーは脂肪の過酸化物を分解できず、残っていく。ヘモジデリンは鉄がたまる。メラニン悪性黒色腫は、青いのは核が多いからダメ。病的石灰化は、異栄養性石灰化や異所性カルシウム沈着がある。

Reinforcement Learning No.1

パラパラめくる強化学習

教材はこちら。

www.slideshare.net

 

強化学習の基礎

そもそも強化学習とは、、人工知能の部分技術の、機械学習のうち、意志決定則を学習する方法のこと。意志決定する脳みそをエージェントという。エージェントがある環境の中で、目標達成のための意志決定の戦略を定式化して学習する。どうやって意志決定するかと言うと、エージェントが環境から状態を知覚して、意志決定によって行った行動が、成功信号となる報酬と次の状態を知覚して、方策を学習する。いろいろ応用例があって、ロボット制御や囲碁、化学物質の設計、ニューラルネットワークの構造を探索など、様々。心理学では、刺激をもとに、特定の行動パターンが増えることを強化という。このときの刺激を強化子という。パブロフの犬、スキナーの箱は皆さんご存じかと。人間では、大脳基底核強化学習を行っているとされ、腹側被蓋野黒質緻密部のドーパミン作動精ニューロンから放出されるドーパミンが報酬、またはTD誤差と関わり、線条体が価値関数を表現するという仮説がある。ある意思決定問題を行う環境内で、エージェントが得る報酬の総和を最大化する方策を学習する。即時報酬ではなく、長期的な利益を見たいので、長期的な行動のあと、もらえる報酬の価値を表現する価値関数を基準にして行動する。また、強化学習の特徴として、データは自分で集めるので、エージェントが環境を探索して集める、明確な教師データは存在せず、報酬を教師信号にして、方策を決定する。また、報酬をもらえるのが遅延するので、どの時点の行動あるいは意志決定が報酬獲得に貢献したかわかりにくい。これを信用割り当て問題という。探索と活用をバランスよくしなければいけない。強化学習の問題例として、多腕バンディット問題があり、これはn個の一定確率でコインがでるスロットを用意して、引ける回数が上限があって、どう引けばいいかを探すもの。Upper Confidence BoundやThompson Samplingなどがある。強化学習の対象となる問題では、状態や行動の候補が非常に多く、扱いが困難である。環境に対して、マルコフ性を仮定してやることが多い。マルコフ性とは、現在の状態と行動にのみ依存して、次の時刻の状態が決まる性質のこと。マルコフ決定過程では、状態集合、行動集合、状態遷移確率、初期状態確率分布、報酬関数からなる。MDPでは、時間ステップ1つで、エージェントは一回行動して、次の状態と報酬を獲得する。エピソードはタスク開始から、終了までの時間のひとかたまりのこと。エピソード的タスクは終わりあり、連続タスクは終わりがない。また、部分観測マルコフ決定過程というものもある。マルコフ過程では、エージェントの状態Sが一意に特定出来る設定だったが、問題により、情報の一部の観測Oしか見れない可能性がある、その場合、現在の行動による結果が、過去の状態行動遷移に依存する。得られた観測Oから自分の状態Sを表すBelief Stateを更新して、学習する。RNN・LSTMを使うことがある。収益・目的関数とは、発散しないようにするため、割引報酬和が割引率γを導入して、報酬の総和を最大化していく。割引率が小さいと、短期的な収益を重視するようになる。強化学習は、価値関数、すなわち方策の良さを示す目的関数を用いる。状態価値関数Vとはある状態Sから方策πに従って行動したときに得る収益Rの期待値。行動価値関数Qとは、ある状態Sで行動Aを選び、そのあと方策πに従い行動した場合に得る収益Rの期待値。効用関数、Q値とも呼ばれる。方策πとは、ある状態Sで行動Aを選択する確率のこと。方策にはいろいろ種類があり、Greedy方策は、最もQ値が高い行動を選ぶ。ε-Greedy方策は確率εでランダム、他はGreedy。ソフトマックス方策では、ギプス分布に従う方策。探索と活用のトレードオフを意識した方策。価値関数が満たす再帰的な式をベルマン方程式という。行動価値関数に対しても再帰的なベルマン方程式は作れる。ベルマン方程式で、ある方策πを固定したときの様々な状態・行動に対する価値関数を求められる。方策の良さを計算出来る。良さの評価を受けて、方策を改善出来る。その改善の仕方は2種類ある。1つ目はプランニング。環境モデル、つまり遷移確率が既知で、状態行動遷移対を網羅的に生成して、価値関数の計算→方策改善を繰り返す。もう一つは強化学習。環境モデルが不明で環境内で方策を実行して、集めた経験で価値関数を計算して、方策改善を繰り返す。プランニングとは環境モデルが既知の時、モデルを用いて最適方策を求める手法である。状態遷移確率、報酬関数を使い、エージェント側で状態生成と行動実行、報酬獲得が出来ること。これらは、最適化問題を分割して再帰的に解く動的計画法を使うことが多い。

モデルの有無についてもう少し詰めて行きたい。次回触れることとする。

Wavelet No.1

実数上の関数f(t)でα>0で、mはαの整数部分とする。Iを区間とすると、fがvでαリプシッツ連続とは、正数Kvと、次数mの多項式Pvが、あって、fとPvの差がtとvの差のα乗のオーダーよりも等しいOR小さい。

www.araiweb.matrix.jp

 連続ウェーブレット変換を用いて、関数の2つのタイプの特異点の概念を導入する。

 

そもそも、ウェーブレット変換とは、時間周波数を解析する手法である。短期的フーリエ変換に取って変わるものとなり得る。フーリエ変換を使えば、三角関数の線形結合で表すことが出来る。周波数成分に分けることが出来る。これは異常発生時に、異常周波数を検知して、バンドカットフィルタなるもので削除すれば、元通り。便利なものだ。

しかし、周波数解析は、あくまで平均的な、周波数がどれが含まれてました、ということしか知れない、つまり、周波数が時間と共に変化する場合に対して、無力だ。短時間フーリエ解析では、この解析で区切る間隔を狭める、そしてスライドすることで頑張って変化を捉えようとしている。

しかし、不確定性原理なるものがあり、周波数の誤差と時間間隔の誤差を掛け合わせた値には下限がある。

 aawave.show (osaka-kyoiku.ac.jp)

このウェーブレット変換では、マザーウェーブレットという特徴的な関数の形を決めて、あとは時間軸で平行移動しつつ、拡大縮小して周波数を調節して、時間と周波数のそれぞれの組み合わせに対して、重み付けを行う、つまり、線形結合で表すというものだ。詳しく知りたいだって?それはまた今度述べることとしよう。

Immunology No.2

自己か非自己か判別するのが、免疫の役割だ。が、いちいち非自己の全てに反応していては、ダメ。食べ物、花粉、金属、腸内細菌。アレルギーやアトピー、炎症性腸疾患など。免疫の強弱は調節しなければならない。免疫不全とかワクチン機能不全、アレルギーや自己免疫疾患など。獲得免疫系と自然免疫系の2つの系がある。樹状細胞は、全てのハブ。自然免疫系と獲得免疫系と微生物&ウイルス。多くの免疫細胞は骨髄に由来する。ウイルス、細菌、真菌、原虫、寄生虫など。補集合という概念を持ってくれば、微生物も一つの系ということか?連携している訳ではない?マクロで見ればバランスを取っている。最低4層構造。解剖的バリア、補体や抗微生物タンパク質、自然免疫、獲得免疫。自然免疫系は、バリアと食細胞とパターン認識分子。獲得という様に、一度手に入れた(情報)を持っている、つまり覚えているという点で異なる。自然免疫系で炎症反応の起こるカスケード。1.炎症惹起。これは、呼び寄せる意味もある。LPS,ATP,尿結晶、2.センサー細胞, macrophage, neutrophils dendritic cell 3.メディエーター、つまりサイトカインとか細胞毒性、4.細胞が頑張る。リンパ球の流れも大事。

 

抗体の作用機序は3つ、中和、オプソニン作用、補体活性。MHCの発見。免疫不全のマウスで癌が発生しやすい。直接の原因なのか、間接の原因なのかはこれだけではわからない。

Immunology No.3

1次リンパ組織で免疫細胞が生まれ、2次リンパ組織で活性化される。1次は胸腺と骨髄。2次は脾臓、パイエル板、アデノイド、扁桃、虫垂など。免疫細胞は骨髄中の造血幹細胞から生まれる。幹細胞とは自己複製能と、多分化能を持つ細胞。前駆細胞を経て、成熟細胞。胸腺のみ、T細胞で成熟させる。皮質と髄質がある。皮質は細胞多い。ハッサル小体。周りにあるのはT前駆細胞、胸腺上皮細胞。T前駆細胞が成熟すると、皮質から髄質へ行く。ディ・ジョージ症候群は22q11.2欠損で胸腺低形成~T細胞減少~先天性免疫不全。脾臓は白脾髄と、赤脾髄。それぞれ、リンパ、マクロファージ&赤血球。B細胞は濾胞と、辺縁にいる。この2つは抗体の作り方が違うやって。動脈周囲リンパ鞘でT細胞いる。リンパ系の話。頸部、肋間、腋窩、大動脈傍、鼠径リンパ節、胸管、乳びそう。リンパ節内での区分け。濾胞性B細胞と、その中の胚中心B細胞。その他のT細胞は傍皮質に。2つ重要な構造は、HEV(高内皮細静脈)輸入リンパはいくつか輸出リンパは一つ。樹状細胞は輸入リンパ管から入り、サイトカイン出す。HEVからB細胞とかT細胞入る。Stroma細胞はもともと傍皮質にいて、SLCは樹状細胞を呼び寄せる。樹状細胞はSLCとMIP3を放出する。これはT細胞とB細胞を呼ぶ。FDCは濾胞にいる。CXCL13を出して、B細胞を集める。腸管にも2次リンパ組織がある。GALTという。皮膜をもたないリンパ組織塊、たとえばパイエル板で小腸上皮下のドーム状の白血球集積、腸管免疫の開始に重要。GALTは胎こう肝臓で分化したリンパ組織誘導細胞、LTiが腸管に移動して、リンパ組織構成細胞をリンパ節などに分化させる。パイエル板はM細胞と粘膜上皮細胞で覆われる。下には輸出リンパ管あり。M細胞は消化酵素や粘液を産生しない。管腔側の物質を受け流し。リンパは循環する。リンパ球は所属リンパ節で抗原と出会う。感染すると樹状細胞が抗原もち、リンパ節で待つ。待機することで、感染場所を知らせているのか。循環してるから意味あるか?たまたま、分散してて、管理しやすいように分けてたということなのか?積極的理由なのか、消極的理由かが微妙。フィルタリングの意味は恐らくある。体積の問題と回数の問題はわかる、多大局在の問題は、たまたま近いから、管理出来る、つまり、当番、縄張りという考え方でよさそう。

Immunology No.4

免疫系の本質的な役割は微生物感染に対する防御。造血幹細胞から、リンパ系細胞と、骨髄系細胞に分かれる。免疫系は自然免疫と獲得免疫から成る。自然免疫とは病原体侵入の数時間後に働く。病原体の分子パターンを認識する。獲得免疫を誘導する。微細な分子構造を認識、自然免疫を活性化する。自然免疫は食細胞と自然リンパ球が関わる。食細胞とは、好中球とマクロファージ。自然リンパ球はILCで、例えばNK細胞。樹状細胞や肥満細胞も自然免疫側に分類される。獲得免疫に関わる細胞をリンパ球といい、T細胞とB細胞に分かれ、T細胞はヘルパー、キラー、制御性、γδT、NKTなど種類一杯だが、胸腺で生まれる点は一致。自然免疫来た時、好中球とマクロファージ、NK細胞とか最初頑張る、半日ぐらいで樹状細胞が橋渡し。獲得免疫側が数日後で活性化する。免疫細胞は末梢血から採取できる。マクロファージと肥満細胞はいない。T細胞とB細胞は形は一緒に見える。Nk細胞と樹状細胞はリンパ球に含まれる。骨髄系で顆粒球は、好中球、好塩基球、好酸球。好中球が多い。2種類の顆粒、アズール顆粒はデフェンシン、カテリシジン。特殊顆粒には、リゾチーム、エラスターゼ。細菌感染時の1st responderであり、ファゴサイトーシスと好中球細胞外トラップで殺菌する。好中球による活性酸素種の産生。NADPH oxidaseによって、過酸化水素、Myeloperoxidaseによって、次亜塩素酸を作る。Cytochrome b588は活性化状態でOxidase活性を持つ。好酸球は2分葉核、エオジン好性の大型顆粒、寄生虫の除去。組織障害、Ⅰ型アレルギー。好塩基球はヒスタミンセロトニンあり、IgE受容体あり、肥満細胞の前駆体か?まだ未解明。肥満細胞はアレルギーの弾薬、寄生虫排除。ヒスタミンセロトニン顆粒。IgE受容体の結合~脱顆粒~ヒスタミンセロトニン放出~血管拡張&漏出~即時型過敏症。単球は核は豆、アズール顆粒あり、マクロファージと樹状細胞の前駆細胞。マクロファージは末梢組織中にあり、リソソームあり、自然免疫のファゴサイトーシス、ROSの産生、抗原提示細胞(クラス1あり、クラス2は特異的発現)、炎症性サイトカインの産生。骨髄で造血幹細胞、末梢血で単球、組織でマクロファージになる。一方で胎児期では、卵黄嚢&胎児肝から、造血幹細胞が、末梢血中で、マクロファージ前駆細胞になり、ミクロ、クッパー、肺胞、脾臓マクロファージになる。好中球とマクロファージの取り込みでC型レクチンが細菌取り込み、ファゴサイトーシスして、リソソームと合体し、NADPH OxidaseとiNOSが協奏して、ROSとNOが出て、殺菌。これらの酵素はTLRシグナルによって活性化される。慢性肉下腫症とは、NADPH oxidaseの構成因子の先天的欠損で起こる免疫不全症。マクロファージは分化と作用によって、M1とM2に分けられ、M1は古典的活性化でROS、NO、リソソーム酵素、炎症性サイトカインを出す。M2は選択的活性化マクロファージで、IL-10、TGF-βを出して、炎症を抑える。IFN-γやPAMPsによってM1に、IL-4やIL-13によってM2になる。マクロファージは平滑筋や線維芽細胞の成長因子を放出する。食細胞同士の比較、G-CSF、M-CSFで成長因子を出す。好中球はデフェンシンを出すが、マクロファージは抗原提示を行うため、MHCクラス2を発現する。細胞表面マーカーはMHCクラス2以外同じ、Gr-1、Fcγ受容体。ケモカインは2&8、2&3&4である。樹状細胞はファゴサイトーシスやってるけど、Langerhans細胞もそれ。抗原を感染局所で取り込み、成熟して所属リンパ節へ行く、MHC class 1&2と、CD80, CD86を発現する。ナイーブT細胞に抗原提示を行い、T細胞を活性化する。樹状細胞とマクロファージと活性化B細胞は抗原提示細胞である。伝統的DC。形質細胞様DCはType 1 IFNs産生することで、抗ウイルス作用有り。炎症性DCなんかもある。

リンパ系の細胞、自然リンパ球は自然免疫、T細胞、B細胞は獲得免疫、他は中間。RAGで遺伝子再構成された、抗原受容体がなく、T細胞に対応した機能あり、リンパ球様の形態を持つ細胞種。分化する転写因子も一緒であり、サイトカインも一緒。自然免疫では、B細胞に対応するものがないのは何故?あるかもしれない。Th1,2,17はILC1, 2, 3に対応。NK細胞は自然リンパ球に分類、マクロファージを活性化させ、細胞傷害性顆粒あり。Nkはマクロファージとであい、IL-12, 15を受け取り、活性化され、IFN-γを出して活性化マクロファージにして、細胞内細菌を殺菌。また、Nk細胞は、ウイルス感染細胞は、グランザイムとパーフォリンが細胞ごと破壊する。A型肝炎は肝細胞を破壊されるので、肝炎の黄疸とかが出てく。NKはなぜ正常細胞を攻撃しない?正常細胞はMHCクラス1を発現する。それが、抑制型受容体に結合することで、活性化を抑える。ウイルス感染がMHCクラス1の発現が低下することで、NK細胞内には抑制性シグナルが生じない。細胞傷害性顆粒は結合した部分だけで出す。活性化B細胞は抗原提示細胞。B細胞は中和、抗体依存性細胞傷害、補体の活性化、オプソニン化。ヘルパーT細胞はマクロファージの活性化、炎症誘発、T&B細胞の活性化。細胞傷害性T細胞はウイルス感染細胞の傷害。制御性T細胞はT細胞の抑制。リンパ球はナイーブから、抗原と出会うと、大概はエフェクターになり、一部は記憶細胞になり、同じ抗原に備える。ナイーブT細胞は2次リンパ組織を循環する。エフェクターT細胞は感染部位に移動する。ナイーブT細胞はHEVを通る、エフェクターT細胞は活性化内皮細胞を通過する。前者はCCR7とL-セレクチンを発現し、HEVはCounter partあり、エフェクターT細胞は、CXCR3、E/P-セレクチンリガンド、インテグリンを発現し、活性化内皮細胞は、対応分子を発現しているので、感染場所を指定出来る。ナイーブが循環するのは全体でナイーブの種類を管理することで、全部と出会える、立食パーティー。CD3はT細胞受容体を合成する分子の一つ、T細胞のマーカーでいい。Ⅰ型NKT細胞、α-galacturonyl ceramideやMPMを認識する。Ⅱ型はSulfatideを認識する。NKT細胞はCD1分子上に提示された脂質抗原を認識する。感染の初期防御に重要。γδT細胞はαβ型ではなく、γδ型のT細胞受容体を発現する。MHC結合ペプチドは認識しない代わりに、T22などで提示された脂質を認識。皮膚や腸管の上皮で、炎症初期のIL-17産生細胞。CD4,CD8はない。γδT細胞はストレスに対応して、早い処理をする。脂質はそういう点でいいか。

Immunology No.1

免疫

アルツハイマー病とは、記憶や思考能力がゆっくりと障がいされ、単純作業さえ出来ない、アミロイド斑を特徴とする。タンパクの異常沈着による、アミロイド斑とタウタンパクからなる神経線維変性、海馬の障がいで脳の萎縮、アルツハイマー病の早期発症型家族性のタイプで原因遺伝子の3つ全てアミロイドβに関連する遺伝子。抗Aβ抗体 アデュカヌマブは臨床治験で、アミロイド斑減少、かに思われたが、BAN2401という抗体で治験をやっている。凝集体に特異的な構造につくべき。GWASはSNPのうち数10万の部分を決定し、SNPと病気や量的形質とのあ関連を統計的に調べる方法を言う。

大半は多因子疾患。感受性遺伝子をリスト化する。アルツハイマー病でのGWASは免疫の病理への関与を示唆した、つまり、脳内のミクログリア細胞に髙発現する遺伝子がとれた。リスクレベルと、集団内頻度の表を作ることが出来る。TREM2の経路の障がい、ミクログリアの機能の異常でアミロイドβが除去できないのでは?抗原特異的CD8+T細胞の反応で起きているかもしれない。

免疫とは。はしかは1度感染すると、2度感染しないのに、インフルエンザは毎年かかるのは、変異の程度が違うから。コロナウイルス南アフリカ株、ブラジル株も入っている。天然痘とかもワクチン出来た。ウイルスを叩くとなったら、地球レベルで考えるべき。変異が出たら、また拡散するから。HPV16,18が子宮頸がん発生に関与すること~ウイルス感染防げば癌も防げる。HPVワクチンは強力にHPV抗体を誘導する。

液性免疫。抗体産生細胞の概念。1.分化機能を持ち、表面に多彩な分子を発現。2.標的分子と親和性が高い時、シグナルが入る。3.抗体のようなものがどばどば流れる。補体の発見は、抗体だけ残す高温でダメになった、Rh因子などの発見。免疫の対象はあらゆる分子。免疫グロブリンとは、ファブリキウス嚢のB cellで作られる。細胞性免疫の主体は貪食が主体と考えられていたが、いまでは、それらは自然免疫と呼ばれる。抗体が付いたからなんだというのか。それらは次回述べることにしよう。

 

http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1167-15.pdf

 ON/OFF型のスイッチング挙動の例として、一次相転移(折りたたみ、解きほぐし)に着目して、温度による非平衡開放系の条件により、周期的相転移を起こせる。水溶液中、粘性支配、熱揺らぎ大きい環境。荷電高分子が低分子や水と相互作用して、時空間の構造を生み出しながら、個として仕事をする。自立・自己保存作用あり、動けばよし。ON/OFFスイッチは双安定なポテンシャルだと推定できる。これらを用いて、リミットサイクルを作る。