mirror of
https://github.com/MartinThoma/LaTeX-examples.git
synced 2025-04-26 06:48:04 +02:00
7740f0147f
The commands
find . -type f -name '*.md' -exec sed --in-place 's/[[:space:]]\+$//' {} \+
and
find . -type f -name '*.tex' -exec sed --in-place 's/[[:space:]]\+$//' {} \+
were used to do so.
95 lines
3.8 KiB
TeX
95 lines
3.8 KiB
TeX
\documentclass[a4paper]{scrartcl}
|
|
\usepackage{amssymb, amsmath} % needed for math
|
|
\usepackage[utf8]{inputenc} % this is needed for umlauts
|
|
\usepackage[ngerman]{babel} % this is needed for umlauts
|
|
\usepackage[T1]{fontenc} % this is needed for correct output of umlauts in pdf
|
|
\usepackage[margin=2.5cm]{geometry} %layout
|
|
\usepackage{hyperref} % links im text
|
|
\usepackage{parskip}
|
|
|
|
\title{Praktikum Spracherkennung}
|
|
\author{Martin Thoma}
|
|
|
|
\hypersetup{
|
|
pdfauthor = {Martin Thoma},
|
|
pdfkeywords = {},
|
|
pdftitle = {Praktikum Spracherkennung}
|
|
}
|
|
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
% Begin document %
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\begin{document}
|
|
\section{Aufgabe}
|
|
Berechnen Sie den Logarithmus der Wahrscheinlichkeit des Musters $m$, wenn die
|
|
eben definierte Gauß-Mixtur gegeben ist (d.h. die HMM
|
|
Emissionswahrscheinlichkeit).
|
|
|
|
\section{Gegeben}
|
|
|
|
\begin{align}
|
|
m &= \begin{pmatrix}2\\2\end{pmatrix} \in \mathbb{R}^d & \Sigma_{s,i} &= \begin{pmatrix}1 & 0 \\0 & 1\end{pmatrix} \in \mathbb{R}^{d \times d}\\
|
|
c_{s,1} &= 0.3 \in [0,1] & c_{s,2} &= 0.7 \in [0,1]\\
|
|
\mu_{s,1} &= \begin{pmatrix}1\\3\end{pmatrix} \in \mathbb{R}^d & \mu_{s,2} &= \begin{pmatrix}2\\4\end{pmatrix} \in \mathbb{R}^d
|
|
\end{align}
|
|
|
|
\[p(x|s) = \sum_{i=1}^{n_s} c_{s, i} \frac{1}{\sqrt{(2 \pi)^d |\Sigma_{s,i}|}} e^{-\frac{1}{2} {(x-\mu_{s,i})}^T \Sigma_{s,i}^{-1}(x-\mu_{s,i})}\]
|
|
|
|
mit
|
|
|
|
\begin{itemize}
|
|
\item $s$ (für \textit{senone}) ist die kleinste Einheit die der
|
|
automatische Spracherkenner zu erkennen in der lage sein soll.
|
|
\item $m$ ist das zu klassifizierende Muster.
|
|
\item $c_{s,i}$ sind die Gewichte der Gauss-Verteilungen. Ihre Summe muss
|
|
1 ergeben, damit das Ergebnis wieder eine
|
|
Wahrscheinlichkeitsdichtefunktion ist.
|
|
\item $\Sigma_{s,i}$ ist die Kovarianzmatrix. Sie ist invertierbar und
|
|
ihre Determinate $|\Sigma_{s,i}| \neq 0$.
|
|
\item $d$ ist die Dimension der Feature-Vektoren.
|
|
\item $n_s$ ist die Anzahl der Gauss-Verteilungen
|
|
\item $p(x|s)$ ist die Wahrscheinlichkeitsdichtefunktion, gegeben das
|
|
Senone $s$ für das Muster $x$.
|
|
\end{itemize}
|
|
|
|
\section{Erklärung}
|
|
|
|
Eine Gauss-Verteilung hat die Wahrscheinlichkeitsdichte $f:\mathbb{R} \rightarrow [0,1]$
|
|
\[f(x) := \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{1}{2}(\frac{x - \mu}{\sigma})^2}\]
|
|
wobei $\mu$ der Erwartungswert und $\sigma^2$ die Varianz ist.
|
|
Man schreibt
|
|
\[X \sim \mathcal{N}(\mu, \sigma^2)\]
|
|
|
|
Eine multivariate Gauss-Verteilung ist eine Verallgemeinerung auf mehrdimensionale
|
|
Zufallsvariablen. Sie hat die Wahrscheinlichkeitsdichte $f: \mathbb{R}^n \rightarrow [0,1]$
|
|
\[f(x) := \frac{1}{\sqrt{(2\pi)^n|\Sigma|}} e^{-\tfrac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)}\]
|
|
wobei $\mu$ der Erwartungswert und $\Sigma$ die Kovarianz-Matrix ist.
|
|
Man schreibt
|
|
\[X \sim \mathcal{N}_n(\mu, \Sigma)\]
|
|
|
|
Eine Multinomialverteilung ist eine diskrete Wahrscheinlichkeitsverteilung.
|
|
|
|
|
|
\section{Einsetzen}
|
|
|
|
\begin{align}
|
|
p(m|s) &= \sum_{i=1}^{2} c_{s, i} \frac{1}{\sqrt{(2 \pi)^2}} e^{-\frac{1}{2} {(m_1 - \mu_{1,s,i})^2+(m_2 - \mu_{2,s,i})^2}}\\
|
|
&= 0.3 \frac{1}{\sqrt{(2 \pi)^2}} e^{-\frac{1}{2} ({1^2+ (-1)^2})} + 0.7 \frac{1}{\sqrt{(2 \pi)^2}} e^{-\frac{1}{2} ({0^2+ (-2)^2}})\\
|
|
&= \frac{1}{2 \pi} (0.3 e^{-1} + 0.7 e^{-2})\\
|
|
&\approx 0.0326\\
|
|
\log(p(m|s)) &\approx -3.4234
|
|
\end{align}
|
|
|
|
\section{Fragen}
|
|
|
|
$p(m|s)$ ist nicht die Wahrscheinlichkeit von $m$. Die Wahrscheinlichkeit
|
|
eines einzelnen Wertes einer kontinuierlichen Zufallsvariable ist immer $0$,
|
|
da sonst die Summe der Wahrscheinlichkeiten unendlich wäre. Ist das
|
|
dennoch der gewünschte Wert?
|
|
|
|
Was hat das mit den HMMs zu tun? Sollte da eventuell GMM stehen?
|
|
|
|
Was ist eine multinominale multivariate Gauss-Verteilung? Wo ist der
|
|
Unterschied zur multivariaten Gauss-Verteilung?
|
|
|
|
\end{document}
|