増幅器設計　ベイズ最適化と深層強化学習

マイクロ波・ミリ波、そしてサブテラヘルツ帯（Dバンド/Gバンドなど）に向けた高性能増幅器（パワーアンプ：PA、低雑音増幅器：LNA、分散型増幅器：DAなど）の設計において、ベイズ最適化（Bayesian Optimization: BO）と深層強化学習（Deep Reinforcement Learning: DRL）の導入は、従来の設計自動化（EDAツールの内蔵最適化）を遥かに凌駕するパラダイムシフトをもたらしています。

超高周波回路では、トランジスタの微細な寄生容量、多層基板・配線間の複雑な電磁界結合、非線形歪み、安定性（発振条件）などが複雑に絡み合い、設計空間（探索領域）が極めて高次元かつ非線形になります。

この困難な課題に対して、ベイズ最適化と強化学習がどのように適用され、それぞれどう使い分けられているのか、実装の最前線を解説します。

1. ベイズ最適化（BO）の適用：高価なEMシミュレーションの最小化

ベイズ最適化は、「評価（シミュレーション）コストが非常に高い未知の関数を、少ない試行回数で効率的に最適化する」ことに特化したアルゴリズムです。

① 回路設計におけるメカニズム

1. ガウス過程回帰（GPR）によるサロゲートモデル構築:

   これまでのシミュレーション結果（寸法パラメータと回路特性のペア）から、まだ計算していない未知のパラメータ領域の特性を「予測値」と「不確実性（ばらつき）」のセットで確率的に予測します。

2. 獲得関数（Acquisition Function）による次の手（寸法）の決定:

   「現在の予測で最も特性が良いと期待できる領域（開発・Exploitation）」と、「まだデータがなくて不確実性が高い領域（探索・Exploration）」のバランスをとりながら、次にシミュレータ（HFSSやAdvanced Design Systemなど）で評価すべき最適な寸法を自律的に決定します。

② 増幅器設計での具体的な用途

• 受動インピーダンス整合ネットワーク（マッチング回路）の最適化:

  マイクロストリップラインの長さ・幅、スタブの配置、オンチップ・インダクタ（スパイラルインダクタ）の巻き数やギャップの微調整。

• メリット:

  通常なら遺伝的アルゴリズム（GA）などで数千回〜数万回のフルウェーブ電磁界（EM）シミュレーションが必要な複雑な整合回路設計を、数十回〜数百回のシミュレーション回数でグローバル最適な形状へ収束させることができます。

2. 深層強化学習（DRL）の適用：複雑なトポロジー生成と動的適応

強化学習は、エージェントが環境（シミュレータまたは実回路）と相互作用し、得られる「報酬（Reward）」を最大化するように行動（Action）を選択する手法です。回路設計においては、「設計手順のシーケンス（手順）そのものを学習させる」、あるいは「リアルタイムの適応制御」に用いられます。

① 回路設計におけるメカニズム

• 状態（State）: 現在の回路トポロジー、各素子の値、現在の周波数特性（利得、NF、$S_{11}$、PAEなど）。

• 行動（Action）: 「トランジスタのサイズを大きくする」「インダクタを1つ追加する」「伝送線路を10 $\mu\text{m}$ 伸ばす」など。

• 報酬（Reward）: 仕様（例：利得＞15dB、NF＜2dB）を満たせばプラス、発振（安定性係数 $K < 1$）したり面積が超過すれば強烈なペナルティ（マイナス）。

② 増幅器設計での具体的な用途

• 不均一分散型増幅器（Non-uniform DA）のセクション最適化:

  各段のトランジスタサイズやLC遅延線路の定数を、入力から出力に向けてグラデーション状に変化させる設計。パラメータの組み合わせ（組合せ最適化）が爆発するため、RLエージェントに「最適なテーパリングのルール」を学習させます。

• スマート・パワーアンプ（動的・リアルタイム整合）:

  通信環境や温度変化によってアンテナのインピーダンス（負荷）が激しく変動するミリ波帯において、可変容量ダイオード（バリキャップ）やスイッチド・キャパシタの値をリアルタイムで制御し、常にアンプのPAE（電力付加効率）が最大になるよう追従させます。

3. ベイズ最適化 vs 強化学習：設計フェーズでの使い分け

これら2つの手法は、アンプ設計において以下のように役割が明確に分かれています。

4. 最新のトレンド：2つの手法のハイブリッド化

最先端のEDA研究や主要な半導体メーカー（TSMC、Intel、主要なRF/ミリ波ベンダーなど）のインハウスツールでは、これらの技術を組み合わせたシステムが開発されています。

1. RLによるトポロジーの「大枠（ラフ設計）」の自動生成:

   強化学習エージェントが、アンプの段数、バイアス回路のトポロジー、整合回路の基本形状（L型、$\pi$型など）を高速に組み立てます。

2. BOによる「極限（ファインチューニング）」の寸法最適化:

   RLが決定した基本構造に対して、ベイズ最適化がバトンを受け取り、製造ばらつき（PVTコーナー）を考慮しながら、利得平坦性や歪み（IM3/IP3）を最大化するナノメートル/マイクロメートル単位の最終寸法へと絞り込みます。

この「AI/MLアクセラレータ」の定着により、SiGeやGaN、微細CMOSを用いたミリ波・サブテラヘルツ帯の増幅器設計期間は、数週間〜数ヶ月単位から、わずか数日〜数十時間へと短縮されつつあります。