Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
Autor |
Nachricht |
DrBecks Haijopai
Anmeldungsdatum: 29.09.2004 Beiträge: 87
|
(#2169196) Verfasst am: 06.03.2019, 18:11 Titel: Aus was besteht ein künstliches neuronales Netz? |
|
|
Hallo.
Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?
Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.
_________________
"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
|
|
Nach oben |
|
|
step registriert
Anmeldungsdatum: 17.07.2003 Beiträge: 22767
Wohnort: Germering
|
(#2169207) Verfasst am: 06.03.2019, 19:03 Titel: |
|
|
Das kann man doch leicht im Netz finden.
Es besteht so ganz grob gesagt aus:
- Inputschnittstelle für Trainingsdatensätze, z.B. elektronische Bilder aus einer Datenbank
- einer Hardware, meistens GPU basiert (also so etwas wie Grafikkarten) + Verwaltungs-PC
- einer Software (Programm), die die Daten analysiert und dabei in mehreren Schichten Muster erkennt
- (optionale Teile je nach Variante, z.B. bei "supervised" learning gibt es Input vom "Trainer" zum Kategorisieren ("dies ist (k)ein Hund"), oder die Regeln beim Schach)
- Output in Form einer Entscheidung / Zuweisung ("auf dem Bild ist ein Hund", "ziehe e5-e6")
_________________ Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
|
|
Nach oben |
|
|
sehr gut dauerhaft gesperrt
Anmeldungsdatum: 05.08.2007 Beiträge: 14852
|
(#2169209) Verfasst am: 06.03.2019, 19:06 Titel: Re: Aus was besteht ein künstliches neuronales Netz? |
|
|
DrBecks hat folgendes geschrieben: | Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert? |
Bei Computern ist alles nur Interpretation, die eine Reihe an 0en und 1en wird als Integer interpretiert, eine andere Reihe als Fliesskomma, eine andere Reihe wird über eine Schablone gelegt und als String interpretiert usw
Ist eine Performancefrage, früher hatten Prozessoren keinen speziellen Chip für Fliesskomma, das wurde emuliert, war langsamer.
Eigentlich könntest du jeden Chip durch Software ersetzen, den Unterschied merkst du wenn du zB ein Video ohne Hardwarebeschleunigung(spezieller Chip für diesen 1 Job) ansiehst oder mit, der Prozessor im Computer hat kaum was zu tun oder ist ausgelastet.
Es gibt auch Drucker wo der Hersteller sich ein paar Chips einspart und durch Software ersetzt, die laufen dann nur mit dieser Software. Bei älteren PCs könnte man das an der Prozessorauslastung beim drucken sehen.
»Es gibt jedoch auch erste Prototypen neuronaler Rechnerarchitekturen, sozusagen den neuronalen Chip, für die das Forschungsgebiet der künstlichen neuronalen Netze die theoretischen Grundlagen bereitstellt. Dabei werden die physiologischen Vorgänge im Gehirn jedoch nicht nachgebildet, sondern nur die Architektur der massiv parallelen Analog-Addierer in Silizium nachgebaut, was gegenüber einer Software-Emulation eine bessere Leistung verspricht.«
|
|
Nach oben |
|
|
Skeptiker "I can't breathe!"
Anmeldungsdatum: 14.01.2005 Beiträge: 16834
Wohnort: 129 Goosebumpsville
|
(#2169212) Verfasst am: 06.03.2019, 19:32 Titel: Re: Aus was besteht ein künstliches neuronales Netz? |
|
|
DrBecks hat folgendes geschrieben: | Hallo.
Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?
Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.
|
Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.
_________________ Free Julian Assange! Lock up the Killers!
Populismus ist keine Verschwörungstheorie
Informationsstelle Militarisierung e.V.
|
|
Nach oben |
|
|
Tarvoc would prefer not to.
Anmeldungsdatum: 01.03.2004 Beiträge: 44191
|
(#2169229) Verfasst am: 07.03.2019, 00:56 Titel: Re: Aus was besteht ein künstliches neuronales Netz? |
|
|
Skeptiker hat folgendes geschrieben: | Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun. |
Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann!
_________________ Geh mir aus der Sonne, Alexander!
|
|
Nach oben |
|
|
Critic oberflächlich
Anmeldungsdatum: 22.07.2003 Beiträge: 15984
Wohnort: Arena of Air
|
(#2169230) Verfasst am: 07.03.2019, 03:25 Titel: Re: Aus was besteht ein künstliches neuronales Netz? |
|
|
Tarvoc hat folgendes geschrieben: | Skeptiker hat folgendes geschrieben: | Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun. |
Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! |
Vor ein paar Monaten hatten wir so eine Diskussion doch schonmal? Jedenfalls meinte einer der Nutzer, ich glaube fwo, daß es natürlich nicht effizient sei, ein komplettes Gehirn simulieren zu wollen, wenn es um irgendeine Frage ginge, bei der man sich mit KI helfen will. Sondern man bildet halt den entsprechenden Teilbereich ab. Noch dazu ist ja auch oft nicht erwünscht, daß die KI menschliche Anwandlungen zeigt.
(Es bleibt natürlich dennoch eine spannende Frage, wie und wann überhaupt ein Bewußtsein entsteht. Und eins der Kuriosa bei der Entwicklung von neuronalen Netzen scheint zu sein, daß man zunächst einmal nicht unbedingt sieht, *wie* eine bestimmte Fragestellung von dem Netz genau gelöst wird. (Es gibt natürlich auch dafür Analysemethoden, mit denen die innere Struktur solcher Netze wieder aufschlüsselt, um zu erklären, *wie* das Netz zu seiner Antwort kommt. Aber auch das kann ja hinreichend unverständlich sein.) Könnte es also sein, daß - wenn erst einmal das Netz hinreichend komplex wird, auch irgendwann so etwas wie ein Bewußtsein entstehen könnte...?)
_________________ "Die Pentagon-Gang wird in der Liste der Terrorgruppen geführt"
Dann bin ich halt bekloppt.
"Wahrheit läßt sich nicht zeigen, nur erfinden." (Max Frisch)
|
|
Nach oben |
|
|
AdvocatusDiaboli Öffentlicher Mobber
Anmeldungsdatum: 12.08.2003 Beiträge: 26380
Wohnort: München
|
(#2169235) Verfasst am: 07.03.2019, 04:51 Titel: Re: Aus was besteht ein künstliches neuronales Netz? |
|
|
Critic hat folgendes geschrieben: | Tarvoc hat folgendes geschrieben: | Skeptiker hat folgendes geschrieben: | Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun. |
Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! |
Vor ein paar Monaten hatten wir so eine Diskussion doch schonmal? Jedenfalls meinte einer der Nutzer, ich glaube fwo, daß es natürlich nicht effizient sei, ein komplettes Gehirn simulieren zu wollen, wenn es um irgendeine Frage ginge, bei der man sich mit KI helfen will. Sondern man bildet halt den entsprechenden Teilbereich ab. Noch dazu ist ja auch oft nicht erwünscht, daß die KI menschliche Anwandlungen zeigt.
(Es bleibt natürlich dennoch eine spannende Frage, wie und wann überhaupt ein Bewußtsein entsteht. Und eins der Kuriosa bei der Entwicklung von neuronalen Netzen scheint zu sein, daß man zunächst einmal nicht unbedingt sieht, *wie* eine bestimmte Fragestellung von dem Netz genau gelöst wird. (Es gibt natürlich auch dafür Analysemethoden, mit denen die innere Struktur solcher Netze wieder aufschlüsselt, um zu erklären, *wie* das Netz zu seiner Antwort kommt. Aber auch das kann ja hinreichend unverständlich sein.) Könnte es also sein, daß - wenn erst einmal das Netz hinreichend komplex wird, auch irgendwann so etwas wie ein Bewußtsein entstehen könnte...?) |
Die Frage ist - welche Rolle spielt die Körperphysiologie und die Wahrnehmungsfähigkeit bei der Ausbildung des Bewusstseins? Die Speichermethodik und Ausprägung eines biologischen neuronales Netzes unterscheidet sich zu einem künstlichen letztlich nicht in der Informationsverarbeitung an sich.
_________________ Triggerwarnung: Der toxische Addi hat gepostet. Oh, zu spät, Sie haben das schon gelesen.
|
|
Nach oben |
|
|
DrBecks Haijopai
Anmeldungsdatum: 29.09.2004 Beiträge: 87
|
(#2169253) Verfasst am: 07.03.2019, 11:45 Titel: |
|
|
Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...!
@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert?
_________________
"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
|
|
Nach oben |
|
|
sponor registrierter User
Anmeldungsdatum: 16.05.2008 Beiträge: 1712
Wohnort: München
|
(#2169260) Verfasst am: 07.03.2019, 12:44 Titel: |
|
|
DrBecks hat folgendes geschrieben: | Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...!
@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert? |
Ohne mich da jetzt intensiv kundig gemacht zu haben, wie der aktuelle Stand gerade genau ist:
Ich nehme an, niemand wird Neuronen nachbauen (bzw. höchstens um das Funktionieren des biologischen Gehirns zu ergründen, also das Gegenteil der üblichen Nutzung).
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.
Jedenfalls hat man abstrakte Schichten von "Neuronen", die (abstrakt) hintereinander geschaltet werden und so das gefilterte/bearbeitete Ergebnis der Vorgänger selbst wieder filtern/bearbeiten usw.
Der große Unterschied ist v.a., dass die Verbindungen der Schichten und ihre Kopplungsstärke nicht einprogrammiert werden, sondern mittels diverser (abstrakter, mathematischer) Verfahren über das erwünschte Input-Output-Verhältnis trainiert werden.
_________________ Unsere Welt wird noch so fein werden, daß es so lächerlich sein wird, einen Gott zu glauben als heutzutage Gespenster.
(G. Chr. Lichtenberg)
|
|
Nach oben |
|
|
fwo Caterpillar D9
Anmeldungsdatum: 05.02.2008 Beiträge: 25916
Wohnort: im Speckgürtel
|
(#2169264) Verfasst am: 07.03.2019, 13:03 Titel: |
|
|
sponor hat folgendes geschrieben: | DrBecks hat folgendes geschrieben: | Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...!
@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert? |
Ohne mich da jetzt intensiv kundig gemacht zu haben, wie der aktuelle Stand gerade genau ist:
Ich nehme an, niemand wird Neuronen nachbauen (bzw. höchstens um das Funktionieren des biologischen Gehirns zu ergründen, also das Gegenteil der üblichen Nutzung).
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.
Jedenfalls hat man abstrakte Schichten von "Neuronen", die (abstrakt) hintereinander geschaltet werden und so das gefilterte/bearbeitete Ergebnis der Vorgänger selbst wieder filtern/bearbeiten usw.
Der große Unterschied ist v.a., dass die Verbindungen der Schichten und ihre Kopplungsstärke nicht einprogrammiert werden, sondern mittels diverser (abstrakter, mathematischer) Verfahren über das erwünschte Input-Output-Verhältnis trainiert werden. |
Auch, ohne mich besonders kundig gemacht zu haben und ohne einen Link bieten zu können:
Es kann sich grundsätzlich nur um eine Emulation handeln. Es gibt mW Ansätze zu Prozessoren, deren Befehlssätze für diese Emulation optimiert sind.
Step ist da bereits drauf eingegangen, indem er darauf hinwies, dass auch im Moment bereits meistens keine Standard-CPUs sondern GPUs benutzt werden, deren Befehlsatz aus Blickrichtung der Emulation neuronaler Netze nicht so viel Ballast mitschleppen und deshalb effizienter arbeiten. Der Rest von Steps Antwort bezieht sich schon auf Details der Emulation.
@DrBecks: Auf der Antwortebene, die Du anscheinend anstrebst:
Neuronale Netze laufen auf "normalen" Computern in Form von Programmen. Wir haben die Neuronen auf der physiologischen Seite noch viel zu wenig verstanden, um versuchen zu können, ihre Funktion mit speziellen Schaltkreisen direkt nachzubauen. Wir haben nur die Funktion soweit verstanden, dass wir diese in Programmen nachbauen können.
_________________ Ich glaube an die Existenz der Welt in der ich lebe.
The skills you use to produce the right answer are exactly the same skills you use to evaluate the answer. Isso.
Es gibt keinen Gott. Also: Jesus war nur ein Bankert und alle Propheten hatten einfach einen an der Waffel (wenn es sie überhaupt gab).
|
|
Nach oben |
|
|
sehr gut dauerhaft gesperrt
Anmeldungsdatum: 05.08.2007 Beiträge: 14852
|
(#2169294) Verfasst am: 07.03.2019, 17:46 Titel: |
|
|
sponor hat folgendes geschrieben: | Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen. |
Ein "Neuronalprozessor" wär auf einen bestimmten Zweck optimiert, während "Standard-CPU" mehr so wie ein Schweizer-Messer mit 25 Werkzeugen oder Ganzjahresreifen sind: es geht, aber ein Spezialgerät(Schere,Winterreifen) kann effektiver sein.
|
|
Nach oben |
|
|
sponor registrierter User
Anmeldungsdatum: 16.05.2008 Beiträge: 1712
Wohnort: München
|
(#2169302) Verfasst am: 07.03.2019, 18:33 Titel: |
|
|
sehr gut hat folgendes geschrieben: | sponor hat folgendes geschrieben: | Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen. |
Ein "Neuronalprozessor" wär auf einen bestimmten Zweck optimiert, während "Standard-CPU" mehr so wie ein Schweizer-Messer mit 25 Werkzeugen oder Ganzjahresreifen sind: es geht, aber ein Spezialgerät(Schere,Winterreifen) kann effektiver sein. |
Schon klar. Meine Definition von "Standard-Hardware" sollte hier auch irgendwelche grotesk überzüchteten GPU-Boards mit einschließen. Halt alles, was man so fertig kaufen kann und wo man nicht erst einen Forschungsauftrag an Intel vergeben muss, o.ä.
_________________ Unsere Welt wird noch so fein werden, daß es so lächerlich sein wird, einen Gott zu glauben als heutzutage Gespenster.
(G. Chr. Lichtenberg)
|
|
Nach oben |
|
|
step registriert
Anmeldungsdatum: 17.07.2003 Beiträge: 22767
Wohnort: Germering
|
(#2169332) Verfasst am: 07.03.2019, 21:08 Titel: |
|
|
DrBecks hat folgendes geschrieben: | So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? |
Nein.
DrBecks hat folgendes geschrieben: | Oder wird alles per Software simuliert? |
Ja.
Im allgemeinen werden nur die Prinzipien simuliert, nicht die Neuronen selbst. Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen.
_________________ Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
|
|
Nach oben |
|
|
DrBecks Haijopai
Anmeldungsdatum: 29.09.2004 Beiträge: 87
|
(#2169454) Verfasst am: 08.03.2019, 16:52 Titel: |
|
|
Ah, jetzt weiß ich Bescheid.
Danke für die letzten Antworten!
_________________
"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
|
|
Nach oben |
|
|
VanHanegem Weltmeister
Anmeldungsdatum: 24.04.2006 Beiträge: 2977
|
(#2171650) Verfasst am: 22.03.2019, 23:53 Titel: |
|
|
step hat folgendes geschrieben: | Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen. |
glaube kaum, dass neuronale Netze in Hardware heute noch zu den "exotischen Ausnahmen" gehören
https://www.elektronikpraxis.vogel.de/welche-hardware-eignet-sich-besser-zur-ki-beschleunigung-a-720869/
Schließlich ist ein Neuron nur Addierer+Schalter und von den Dingern bringt man locker 10^6 ... 10^9 auf einem Chip so unter, dass die parallel arbeiten. Das ist dann allemal schneller, als sie seriell in einer Simulation durchzuleiern
_________________ Hup Holland Hup, Oranje winnt de cup (2022)
|
|
Nach oben |
|
|
VanHanegem Weltmeister
Anmeldungsdatum: 24.04.2006 Beiträge: 2977
|
(#2171701) Verfasst am: 23.03.2019, 11:09 Titel: |
|
|
Sorry, nur der Vollständigkeit halber: in jede Verbindung gehört noch ein Proportionalglied (Verstärker). Mit der zum Lernen nötigen Ansteuerung von außen.
_________________ Hup Holland Hup, Oranje winnt de cup (2022)
|
|
Nach oben |
|
|
step registriert
Anmeldungsdatum: 17.07.2003 Beiträge: 22767
Wohnort: Germering
|
(#2171714) Verfasst am: 23.03.2019, 12:31 Titel: |
|
|
Natürlich wird Hardware verwendet, die Software muß ja irgendwo laufen. Natürlich verwendet man solche Hardware, die eine hohe Parallelisierung ermöglicht. Und natürlich gibt es dedizierte Hardware, die das besonders optimiert (z.B. die TPU, die ja auch in Deinem link genannt wird). Ich würde das aber nicht "neuronales Netz in Hardware nennen, denn letztlich läuft da aber überall Software, eine mit Strom und Rohdaten versorgte TPU würde von allein gar nichts lernen.
_________________ Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
|
|
Nach oben |
|
|
VanHanegem Weltmeister
Anmeldungsdatum: 24.04.2006 Beiträge: 2977
|
(#2172163) Verfasst am: 26.03.2019, 12:01 Titel: |
|
|
Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?
_________________ Hup Holland Hup, Oranje winnt de cup (2022)
|
|
Nach oben |
|
|
step registriert
Anmeldungsdatum: 17.07.2003 Beiträge: 22767
Wohnort: Germering
|
(#2172177) Verfasst am: 26.03.2019, 14:53 Titel: |
|
|
VanHanegem hat folgendes geschrieben: | Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen? |
Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht.
_________________ Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
|
|
Nach oben |
|
|
VanHanegem Weltmeister
Anmeldungsdatum: 24.04.2006 Beiträge: 2977
|
(#2173213) Verfasst am: 03.04.2019, 09:54 Titel: |
|
|
step hat folgendes geschrieben: | VanHanegem hat folgendes geschrieben: | Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen? |
Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht. |
Die Anpassung der Gewichtsfaktoren gehört doch zu den parallel-rechenintensivsten Teilen. Schließlich geht die Anzahl der Verbindungen quadratisch mit den Neuronen.
_________________ Hup Holland Hup, Oranje winnt de cup (2022)
|
|
Nach oben |
|
|
Landei Gesinnungspolizist
Anmeldungsdatum: 27.02.2011 Beiträge: 1180
Wohnort: Sandersdorf-Brehna
|
(#2173971) Verfasst am: 09.04.2019, 14:05 Titel: |
|
|
Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" und kann überall da laufen, wo andere Programme das auch tun (wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann).
Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu.
Historisch gesehen waren übrigens die ersten KNN-Modelle nicht am Gehirn orientiert, sondern am Auge. Da der Sehnerv nicht ausreicht, alle visuellen Informationen ungefiltert durchzureichen, findet bereits im Auge eine Vorverarbeitung statt (z.B. Erkennen von Kanten, Bewegungen u.s.w.). Für das Verständnis heutiger KNN ist es vielleicht eine gute Idee, mal den Artikel zu dieser "Urversion" zu lesen: https://de.wikipedia.org/wiki/Perzeptron
_________________ Der Islam gehört auf den Müllhaufen der Geschichte. Diese Gotteslehre eines unmoralischen Beduinen ist ein verwesender Kadaver, der unser Leben vergiftet. (Kemal Atatürk)
|
|
Nach oben |
|
|
VanHanegem Weltmeister
Anmeldungsdatum: 24.04.2006 Beiträge: 2977
|
(#2176273) Verfasst am: 28.04.2019, 11:16 Titel: |
|
|
Landei hat folgendes geschrieben: | Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" ... Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu. |
Programmtechnisch (soweit als "ganz normales Programm" realisiert) sind das dann eben gerade keine Schichten, sondern (wie Du dann weiter unten ja auch selbst richtig schreibst) Arrays (Listen). Eine Interpretation der Werte als in Schichten angeordnete Neuronen, die über Verbindungen mit Gewichtsfaktoren verknüpft sind findet dann erst übers indirekt Programm statt, was dann zu dem exorbitanten Rechenaufwand führt wie von Dir richtig erwähnt:
Landei hat folgendes geschrieben: | wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann |
In Summe stimmt zwar
Landei hat folgendes geschrieben: | Ein KNN benötigt keine spezielle Hardware |
ist aber für anspruchsvollere Anwendungen nicht praktikabel. Als Alternative (Vorstufe?) zu einem expliziten Aufbau eines KNN in Hardware werden heute Tensor Processing Units zur Erhöhung der Parallelität verwendet. m.W. auch auf Graphik Karten für Standard PCs verfügbar. Strategien der Erhöhung der Konnektivität durch Cluster Systemarchitekturen lehnen sich m.E. jedoch direkt an die Grundidee der NN an.
_________________ Hup Holland Hup, Oranje winnt de cup (2022)
|
|
Nach oben |
|
|
zelig Kultürlich
Anmeldungsdatum: 31.03.2004 Beiträge: 25404
|
(#2284875) Verfasst am: 31.07.2022, 11:06 Titel: |
|
|
Zitat: | Das Konnektom ist eines der heißesten Themen der Hirnforschung – eine Art Anatomie 2.0, doch weit jenseits der Grenzen von 1.0. So wurde erst unlängst beim Menschen ein doppeltes Netz hemmender Interneurone entdeckt. Moritz Helmstaedter, einer der führenden Konnektom-Forscher berichtet hier über Entwicklung, Stand, Perspektive und Bedeutung. |
https://www.spektrum.de/video/das-konnektom-perspektive/2042638
_________________ Es gibt kein richtiges Leben im falschen.
|
|
Nach oben |
|
|
|