Freigeisterhaus :: Thema anzeigen - Aus was besteht ein künstliches neuronales Netz?

Aus was besteht ein künstliches neuronales Netz?

bis

[^/[Drucken]\]

Freigeisterhaus -> Wissenschaft und Technik

#1: Aus was besteht ein künstliches neuronales Netz? Autor: DrBecks,

Verfasst am: 06.03.2019, 18:11
—
Hallo.

Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.

wirr

#2: Autor: step, Wohnort: Germering

Verfasst am: 06.03.2019, 19:03
—
Das kann man doch leicht im Netz finden.

Es besteht so ganz grob gesagt aus:

- Inputschnittstelle für Trainingsdatensätze, z.B. elektronische Bilder aus einer Datenbank

- einer Hardware, meistens GPU basiert (also so etwas wie Grafikkarten) + Verwaltungs-PC

- einer Software (Programm), die die Daten analysiert und dabei in mehreren Schichten Muster erkennt

- (optionale Teile je nach Variante, z.B. bei "supervised" learning gibt es Input vom "Trainer" zum Kategorisieren ("dies ist (k)ein Hund"), oder die Regeln beim Schach)

- Output in Form einer Entscheidung / Zuweisung ("auf dem Bild ist ein Hund", "ziehe e5-e6")

#3: Re: Aus was besteht ein künstliches neuronales Netz? Autor: sehr gut,

Verfasst am: 06.03.2019, 19:06
—

DrBecks hat folgendes geschrieben:

Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Bei Computern ist alles nur Interpretation, die eine Reihe an 0en und 1en wird als Integer interpretiert, eine andere Reihe als Fliesskomma, eine andere Reihe wird über eine Schablone gelegt und als String interpretiert usw
Ist eine Performancefrage, früher hatten Prozessoren keinen speziellen Chip für Fliesskomma, das wurde emuliert, war langsamer.

Eigentlich könntest du jeden Chip durch Software ersetzen, den Unterschied merkst du wenn du zB ein Video ohne Hardwarebeschleunigung(spezieller Chip für diesen 1 Job) ansiehst oder mit, der Prozessor im Computer hat kaum was zu tun oder ist ausgelastet.

Es gibt auch Drucker wo der Hersteller sich ein paar Chips einspart und durch Software ersetzt, die laufen dann nur mit dieser Software. Bei älteren PCs könnte man das an der Prozessorauslastung beim drucken sehen.

»Es gibt jedoch auch erste Prototypen neuronaler Rechnerarchitekturen, sozusagen den neuronalen Chip, für die das Forschungsgebiet der künstlichen neuronalen Netze die theoretischen Grundlagen bereitstellt. Dabei werden die physiologischen Vorgänge im Gehirn jedoch nicht nachgebildet, sondern nur die Architektur der massiv parallelen Analog-Addierer in Silizium nachgebaut, was gegenüber einer Software-Emulation eine bessere Leistung verspricht.«

#4: Re: Aus was besteht ein künstliches neuronales Netz? Autor: Skeptiker, Wohnort: 129 Goosebumpsville

Verfasst am: 06.03.2019, 19:32
—

DrBecks hat folgendes geschrieben:

Hallo.

Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.

wirr

Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

#5: Re: Aus was besteht ein künstliches neuronales Netz? Autor: Tarvoc,

Verfasst am: 07.03.2019, 00:56
—

Skeptiker hat folgendes geschrieben:

Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach

#6: Re: Aus was besteht ein künstliches neuronales Netz? Autor: Critic, Wohnort: Arena of Air

Verfasst am: 07.03.2019, 03:25
—

Tarvoc hat folgendes geschrieben:

Skeptiker hat folgendes geschrieben:

Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach

Vor ein paar Monaten hatten wir so eine Diskussion doch schonmal? Jedenfalls meinte einer der Nutzer, ich glaube fwo, daß es natürlich nicht effizient sei, ein komplettes Gehirn simulieren zu wollen, wenn es um irgendeine Frage ginge, bei der man sich mit KI helfen will. Sondern man bildet halt den entsprechenden Teilbereich ab. Noch dazu ist ja auch oft nicht erwünscht, daß die KI menschliche Anwandlungen zeigt.

(Es bleibt natürlich dennoch eine spannende Frage, wie und wann überhaupt ein Bewußtsein entsteht. Und eins der Kuriosa bei der Entwicklung von neuronalen Netzen scheint zu sein, daß man zunächst einmal nicht unbedingt sieht, *wie* eine bestimmte Fragestellung von dem Netz genau gelöst wird. (Es gibt natürlich auch dafür Analysemethoden, mit denen die innere Struktur solcher Netze wieder aufschlüsselt, um zu erklären, *wie* das Netz zu seiner Antwort kommt. Aber auch das kann ja hinreichend unverständlich sein.) Könnte es also sein, daß - wenn erst einmal das Netz hinreichend komplex wird, auch irgendwann so etwas wie ein Bewußtsein entstehen könnte...?)

#7: Re: Aus was besteht ein künstliches neuronales Netz? Autor: AdvocatusDiaboli, Wohnort: München

Verfasst am: 07.03.2019, 04:51
—

Critic hat folgendes geschrieben:

Tarvoc hat folgendes geschrieben:

Skeptiker hat folgendes geschrieben:

Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach

Die Frage ist - welche Rolle spielt die Körperphysiologie und die Wahrnehmungsfähigkeit bei der Ausbildung des Bewusstseins? Die Speichermethodik und Ausprägung eines biologischen neuronales Netzes unterscheidet sich zu einem künstlichen letztlich nicht in der Informationsverarbeitung an sich.

#8: Autor: DrBecks,

Verfasst am: 07.03.2019, 11:45
—
Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert?

#9: Autor: sponor, Wohnort: München

Verfasst am: 07.03.2019, 12:44
—

DrBecks hat folgendes geschrieben:

Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

Ohne mich da jetzt intensiv kundig gemacht zu haben, wie der aktuelle Stand gerade genau ist:
Ich nehme an, niemand wird Neuronen nachbauen (bzw. höchstens um das Funktionieren des biologischen Gehirns zu ergründen, also das Gegenteil der üblichen Nutzung).
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Jedenfalls hat man abstrakte Schichten von "Neuronen", die (abstrakt) hintereinander geschaltet werden und so das gefilterte/bearbeitete Ergebnis der Vorgänger selbst wieder filtern/bearbeiten usw.
Der große Unterschied ist v.a., dass die Verbindungen der Schichten und ihre Kopplungsstärke nicht einprogrammiert werden, sondern mittels diverser (abstrakter, mathematischer) Verfahren über das erwünschte Input-Output-Verhältnis trainiert werden.

#10: Autor: fwo, Wohnort: im Speckgürtel

Verfasst am: 07.03.2019, 13:03
—

sponor hat folgendes geschrieben:

DrBecks hat folgendes geschrieben:

Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

Auch, ohne mich besonders kundig gemacht zu haben und ohne einen Link bieten zu können:
Es kann sich grundsätzlich nur um eine Emulation handeln. Es gibt mW Ansätze zu Prozessoren, deren Befehlssätze für diese Emulation optimiert sind.
Step ist da bereits drauf eingegangen, indem er darauf hinwies, dass auch im Moment bereits meistens keine Standard-CPUs sondern GPUs benutzt werden, deren Befehlsatz aus Blickrichtung der Emulation neuronaler Netze nicht so viel Ballast mitschleppen und deshalb effizienter arbeiten. Der Rest von Steps Antwort bezieht sich schon auf Details der Emulation.

@DrBecks: Auf der Antwortebene, die Du anscheinend anstrebst:
Neuronale Netze laufen auf "normalen" Computern in Form von Programmen. Wir haben die Neuronen auf der physiologischen Seite noch viel zu wenig verstanden, um versuchen zu können, ihre Funktion mit speziellen Schaltkreisen direkt nachzubauen. Wir haben nur die Funktion soweit verstanden, dass wir diese in Programmen nachbauen können.

#11: Autor: sehr gut,

Verfasst am: 07.03.2019, 17:46
—

sponor hat folgendes geschrieben:

Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Ein "Neuronalprozessor" wär auf einen bestimmten Zweck optimiert, während "Standard-CPU" mehr so wie ein Schweizer-Messer mit 25 Werkzeugen oder Ganzjahresreifen sind: es geht, aber ein Spezialgerät(Schere,Winterreifen) kann effektiver sein.

#12: Autor: sponor, Wohnort: München

Verfasst am: 07.03.2019, 18:33
—

sehr gut hat folgendes geschrieben:

sponor hat folgendes geschrieben:

Schon klar. Meine Definition von "Standard-Hardware" sollte hier auch irgendwelche grotesk überzüchteten GPU-Boards mit einschließen. Halt alles, was man so fertig kaufen kann und wo man nicht erst einen Forschungsauftrag an Intel vergeben muss, o.ä. zwinkern

#13: Autor: step, Wohnort: Germering

Verfasst am: 07.03.2019, 21:08
—

DrBecks hat folgendes geschrieben:

So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden?

Nein.

DrBecks hat folgendes geschrieben:

Oder wird alles per Software simuliert?

Ja.

Im allgemeinen werden nur die Prinzipien simuliert, nicht die Neuronen selbst. Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen.

#14: Autor: DrBecks,

Verfasst am: 08.03.2019, 16:52
—
Ah, jetzt weiß ich Bescheid. Idee

Danke für die letzten Antworten!

#15: Autor: VanHanegem,

Verfasst am: 22.03.2019, 23:53
—

step hat folgendes geschrieben:

Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen.

glaube kaum, dass neuronale Netze in Hardware heute noch zu den "exotischen Ausnahmen" gehören

https://www.elektronikpraxis.vogel.de/welche-hardware-eignet-sich-besser-zur-ki-beschleunigung-a-720869/

Schließlich ist ein Neuron nur Addierer+Schalter und von den Dingern bringt man locker 10^6 ... 10^9 auf einem Chip so unter, dass die parallel arbeiten. Das ist dann allemal schneller, als sie seriell in einer Simulation durchzuleiern

#16: Autor: VanHanegem,

Verfasst am: 23.03.2019, 11:09
—
Sorry, nur der Vollständigkeit halber: in jede Verbindung gehört noch ein Proportionalglied (Verstärker). Mit der zum Lernen nötigen Ansteuerung von außen.

#17: Autor: step, Wohnort: Germering

Verfasst am: 23.03.2019, 12:31
—

VanHanegem hat folgendes geschrieben:

Natürlich wird Hardware verwendet, die Software muß ja irgendwo laufen. Natürlich verwendet man solche Hardware, die eine hohe Parallelisierung ermöglicht. Und natürlich gibt es dedizierte Hardware, die das besonders optimiert (z.B. die TPU, die ja auch in Deinem link genannt wird). Ich würde das aber nicht "neuronales Netz in Hardware nennen, denn letztlich läuft da aber überall Software, eine mit Strom und Rohdaten versorgte TPU würde von allein gar nichts lernen.

#18: Autor: VanHanegem,

Verfasst am: 26.03.2019, 12:01
—
Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?

#19: Autor: step, Wohnort: Germering

Verfasst am: 26.03.2019, 14:53
—

VanHanegem hat folgendes geschrieben:

Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?

Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht.

#20: Autor: VanHanegem,

Verfasst am: 03.04.2019, 09:54
—

step hat folgendes geschrieben:

VanHanegem hat folgendes geschrieben:

Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht.

Die Anpassung der Gewichtsfaktoren gehört doch zu den parallel-rechenintensivsten Teilen. Schließlich geht die Anzahl der Verbindungen quadratisch mit den Neuronen.

#21: Autor: Landei, Wohnort: Sandersdorf-Brehna

Verfasst am: 09.04.2019, 14:05
—
Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" und kann überall da laufen, wo andere Programme das auch tun (wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann).

Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu.

Historisch gesehen waren übrigens die ersten KNN-Modelle nicht am Gehirn orientiert, sondern am Auge. Da der Sehnerv nicht ausreicht, alle visuellen Informationen ungefiltert durchzureichen, findet bereits im Auge eine Vorverarbeitung statt (z.B. Erkennen von Kanten, Bewegungen u.s.w.). Für das Verständnis heutiger KNN ist es vielleicht eine gute Idee, mal den Artikel zu dieser "Urversion" zu lesen: https://de.wikipedia.org/wiki/Perzeptron

#22: Autor: VanHanegem,

Verfasst am: 28.04.2019, 11:16
—

Landei hat folgendes geschrieben:

Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" ... Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu.

Programmtechnisch (soweit als "ganz normales Programm" realisiert) sind das dann eben gerade keine Schichten, sondern (wie Du dann weiter unten ja auch selbst richtig schreibst) Arrays (Listen). Eine Interpretation der Werte als in Schichten angeordnete Neuronen, die über Verbindungen mit Gewichtsfaktoren verknüpft sind findet dann erst übers indirekt Programm statt, was dann zu dem exorbitanten Rechenaufwand führt wie von Dir richtig erwähnt:

Landei hat folgendes geschrieben:

wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann

In Summe stimmt zwar

Landei hat folgendes geschrieben:

Ein KNN benötigt keine spezielle Hardware

ist aber für anspruchsvollere Anwendungen nicht praktikabel. Als Alternative (Vorstufe?) zu einem expliziten Aufbau eines KNN in Hardware werden heute Tensor Processing Units zur Erhöhung der Parallelität verwendet. m.W. auch auf Graphik Karten für Standard PCs verfügbar. Strategien der Erhöhung der Konnektivität durch Cluster Systemarchitekturen lehnen sich m.E. jedoch direkt an die Grundidee der NN an.

#23: Autor: zelig,

Verfasst am: 31.07.2022, 11:06
—

Zitat:

Das Konnektom ist eines der heißesten Themen der Hirnforschung – eine Art Anatomie 2.0, doch weit jenseits der Grenzen von 1.0. So wurde erst unlängst beim Menschen ein doppeltes Netz hemmender Interneurone entdeckt. Moritz Helmstaedter, einer der führenden Konnektom-Forscher berichtet hier über Entwicklung, Stand, Perspektive und Bedeutung.

https://www.spektrum.de/video/das-konnektom-perspektive/2042638

Freigeisterhaus -> Wissenschaft und Technik

output generated using printer-friendly topic mod. Alle Zeiten sind GMT + 1 Stunde

Seite 1 von 1