Freigeisterhaus Foren-Übersicht
 FAQFAQ   SuchenSuchen   MitgliederlisteMitgliederliste   NutzungsbedingungenNutzungsbedingungen   BenutzergruppenBenutzergruppen   LinksLinks   RegistrierenRegistrieren 
 ProfilProfil   Einloggen, um private Nachrichten zu lesenEinloggen, um private Nachrichten zu lesen   LoginLogin 

Aus was besteht ein künstliches neuronales Netz?

 
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
DrBecks
Haijopai



Anmeldungsdatum: 29.09.2004
Beiträge: 87

Beitrag(#2169196) Verfasst am: 06.03.2019, 17:11    Titel: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

Hallo.

Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.

wirr
_________________

"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
step
registriert



Anmeldungsdatum: 17.07.2003
Beiträge: 22767
Wohnort: Germering

Beitrag(#2169207) Verfasst am: 06.03.2019, 18:03    Titel: Antworten mit Zitat

Das kann man doch leicht im Netz finden.

Es besteht so ganz grob gesagt aus:

- Inputschnittstelle für Trainingsdatensätze, z.B. elektronische Bilder aus einer Datenbank

- einer Hardware, meistens GPU basiert (also so etwas wie Grafikkarten) + Verwaltungs-PC

- einer Software (Programm), die die Daten analysiert und dabei in mehreren Schichten Muster erkennt

- (optionale Teile je nach Variante, z.B. bei "supervised" learning gibt es Input vom "Trainer" zum Kategorisieren ("dies ist (k)ein Hund"), oder die Regeln beim Schach)

- Output in Form einer Entscheidung / Zuweisung ("auf dem Bild ist ein Hund", "ziehe e5-e6")
_________________
Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
sehr gut
dauerhaft gesperrt



Anmeldungsdatum: 05.08.2007
Beiträge: 14852

Beitrag(#2169209) Verfasst am: 06.03.2019, 18:06    Titel: Re: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

DrBecks hat folgendes geschrieben:
Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Bei Computern ist alles nur Interpretation, die eine Reihe an 0en und 1en wird als Integer interpretiert, eine andere Reihe als Fliesskomma, eine andere Reihe wird über eine Schablone gelegt und als String interpretiert usw
Ist eine Performancefrage, früher hatten Prozessoren keinen speziellen Chip für Fliesskomma, das wurde emuliert, war langsamer.

Eigentlich könntest du jeden Chip durch Software ersetzen, den Unterschied merkst du wenn du zB ein Video ohne Hardwarebeschleunigung(spezieller Chip für diesen 1 Job) ansiehst oder mit, der Prozessor im Computer hat kaum was zu tun oder ist ausgelastet.

Es gibt auch Drucker wo der Hersteller sich ein paar Chips einspart und durch Software ersetzt, die laufen dann nur mit dieser Software. Bei älteren PCs könnte man das an der Prozessorauslastung beim drucken sehen.

»Es gibt jedoch auch erste Prototypen neuronaler Rechnerarchitekturen, sozusagen den neuronalen Chip, für die das Forschungsgebiet der künstlichen neuronalen Netze die theoretischen Grundlagen bereitstellt. Dabei werden die physiologischen Vorgänge im Gehirn jedoch nicht nachgebildet, sondern nur die Architektur der massiv parallelen Analog-Addierer in Silizium nachgebaut, was gegenüber einer Software-Emulation eine bessere Leistung verspricht.«
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Skeptiker
"I can't breathe!"



Anmeldungsdatum: 14.01.2005
Beiträge: 16834
Wohnort: 129 Goosebumpsville

Beitrag(#2169212) Verfasst am: 06.03.2019, 18:32    Titel: Re: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

DrBecks hat folgendes geschrieben:
Hallo.

Ich schreibe derzeit einen Artikel über KI und Bewusstsein und bin in dem Zusammenhang darauf gestoßen, dass ich garnicht weiß, wie ein lernfähiges Künstliches Neuronales Netz (KNN) eigentlich real aussieht, woraus es physisch besteht etc. Man findet überall im Netz 10000 schlaue Diagramme und Schaltpläne, aber zu dieser Frage garnichts. Sind die einzelnen künstlichen Neuronen elektronische Bauteile, wenn ja, wie groß sind sie etwa, aus welchen Materialien bestehen sie? Oder sind KNN in der Regel eher Software, die die Regeln eines KNN nur simuliert?

Experten an die Front. Ich danke vorab für Eure fachkundigen Antworten.

wirr


Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.
_________________
Free Julian Assange! Lock up the Killers!

Populismus ist keine Verschwörungstheorie

Informationsstelle Militarisierung e.V.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
Tarvoc
would prefer not to.



Anmeldungsdatum: 01.03.2004
Beiträge: 44088

Beitrag(#2169229) Verfasst am: 06.03.2019, 23:56    Titel: Re: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

Skeptiker hat folgendes geschrieben:
Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach
_________________
Geh mir aus der Sonne, Alexander!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Critic
oberflächlich



Anmeldungsdatum: 22.07.2003
Beiträge: 15976
Wohnort: Arena of Air

Beitrag(#2169230) Verfasst am: 07.03.2019, 02:25    Titel: Re: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

Tarvoc hat folgendes geschrieben:
Skeptiker hat folgendes geschrieben:
Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach


Vor ein paar Monaten hatten wir so eine Diskussion doch schonmal? Jedenfalls meinte einer der Nutzer, ich glaube fwo, daß es natürlich nicht effizient sei, ein komplettes Gehirn simulieren zu wollen, wenn es um irgendeine Frage ginge, bei der man sich mit KI helfen will. Sondern man bildet halt den entsprechenden Teilbereich ab. Noch dazu ist ja auch oft nicht erwünscht, daß die KI menschliche Anwandlungen zeigt.

(Es bleibt natürlich dennoch eine spannende Frage, wie und wann überhaupt ein Bewußtsein entsteht. Und eins der Kuriosa bei der Entwicklung von neuronalen Netzen scheint zu sein, daß man zunächst einmal nicht unbedingt sieht, *wie* eine bestimmte Fragestellung von dem Netz genau gelöst wird. (Es gibt natürlich auch dafür Analysemethoden, mit denen die innere Struktur solcher Netze wieder aufschlüsselt, um zu erklären, *wie* das Netz zu seiner Antwort kommt. Aber auch das kann ja hinreichend unverständlich sein.) Könnte es also sein, daß - wenn erst einmal das Netz hinreichend komplex wird, auch irgendwann so etwas wie ein Bewußtsein entstehen könnte...?)
_________________
"Die Pentagon-Gang wird in der Liste der Terrorgruppen geführt"

Dann bin ich halt bekloppt. Mit den Augen rollen

"Wahrheit läßt sich nicht zeigen, nur erfinden." (Max Frisch)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
AdvocatusDiaboli
Öffentlicher Mobber



Anmeldungsdatum: 12.08.2003
Beiträge: 26367
Wohnort: München

Beitrag(#2169235) Verfasst am: 07.03.2019, 03:51    Titel: Re: Aus was besteht ein künstliches neuronales Netz? Antworten mit Zitat

Critic hat folgendes geschrieben:
Tarvoc hat folgendes geschrieben:
Skeptiker hat folgendes geschrieben:
Auf jeden Fall hat eine KI nichts mit Bewusstsein zu tun.

Bewusstsein ist eine magische Qualität, die natürlich nur von GOTT verliehen und nicht etwa von uns kleinen, unbedeutenden Menschlein künstlich erzeugt werden kann! freakteach


Vor ein paar Monaten hatten wir so eine Diskussion doch schonmal? Jedenfalls meinte einer der Nutzer, ich glaube fwo, daß es natürlich nicht effizient sei, ein komplettes Gehirn simulieren zu wollen, wenn es um irgendeine Frage ginge, bei der man sich mit KI helfen will. Sondern man bildet halt den entsprechenden Teilbereich ab. Noch dazu ist ja auch oft nicht erwünscht, daß die KI menschliche Anwandlungen zeigt.

(Es bleibt natürlich dennoch eine spannende Frage, wie und wann überhaupt ein Bewußtsein entsteht. Und eins der Kuriosa bei der Entwicklung von neuronalen Netzen scheint zu sein, daß man zunächst einmal nicht unbedingt sieht, *wie* eine bestimmte Fragestellung von dem Netz genau gelöst wird. (Es gibt natürlich auch dafür Analysemethoden, mit denen die innere Struktur solcher Netze wieder aufschlüsselt, um zu erklären, *wie* das Netz zu seiner Antwort kommt. Aber auch das kann ja hinreichend unverständlich sein.) Könnte es also sein, daß - wenn erst einmal das Netz hinreichend komplex wird, auch irgendwann so etwas wie ein Bewußtsein entstehen könnte...?)


Die Frage ist - welche Rolle spielt die Körperphysiologie und die Wahrnehmungsfähigkeit bei der Ausbildung des Bewusstseins? Die Speichermethodik und Ausprägung eines biologischen neuronales Netzes unterscheidet sich zu einem künstlichen letztlich nicht in der Informationsverarbeitung an sich.
_________________
Triggerwarnung: Der toxische Addi hat gepostet. Oh, zu spät, Sie haben das schon gelesen.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
DrBecks
Haijopai



Anmeldungsdatum: 29.09.2004
Beiträge: 87

Beitrag(#2169253) Verfasst am: 07.03.2019, 10:45    Titel: Antworten mit Zitat

Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert?
_________________

"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
sponor
registrierter User



Anmeldungsdatum: 16.05.2008
Beiträge: 1712
Wohnort: München

Beitrag(#2169260) Verfasst am: 07.03.2019, 11:44    Titel: Antworten mit Zitat

DrBecks hat folgendes geschrieben:
Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert?

Ohne mich da jetzt intensiv kundig gemacht zu haben, wie der aktuelle Stand gerade genau ist:
Ich nehme an, niemand wird Neuronen nachbauen (bzw. höchstens um das Funktionieren des biologischen Gehirns zu ergründen, also das Gegenteil der üblichen Nutzung).
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Jedenfalls hat man abstrakte Schichten von "Neuronen", die (abstrakt) hintereinander geschaltet werden und so das gefilterte/bearbeitete Ergebnis der Vorgänger selbst wieder filtern/bearbeiten usw.
Der große Unterschied ist v.a., dass die Verbindungen der Schichten und ihre Kopplungsstärke nicht einprogrammiert werden, sondern mittels diverser (abstrakter, mathematischer) Verfahren über das erwünschte Input-Output-Verhältnis trainiert werden.
_________________
Unsere Welt wird noch so fein werden, daß es so lächerlich sein wird, einen Gott zu glauben als heutzutage Gespenster.
(G. Chr. Lichtenberg)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
fwo
Caterpillar D9



Anmeldungsdatum: 05.02.2008
Beiträge: 25827
Wohnort: im Speckgürtel

Beitrag(#2169264) Verfasst am: 07.03.2019, 12:03    Titel: Antworten mit Zitat

sponor hat folgendes geschrieben:
DrBecks hat folgendes geschrieben:
Oh weia, hätt' ich bloß nichts von Bewusstsein gesagt...! Mit den Augen rollen

@step & sehr gut:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden? Oder wird alles per Software simuliert?

Ohne mich da jetzt intensiv kundig gemacht zu haben, wie der aktuelle Stand gerade genau ist:
Ich nehme an, niemand wird Neuronen nachbauen (bzw. höchstens um das Funktionieren des biologischen Gehirns zu ergründen, also das Gegenteil der üblichen Nutzung).
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Jedenfalls hat man abstrakte Schichten von "Neuronen", die (abstrakt) hintereinander geschaltet werden und so das gefilterte/bearbeitete Ergebnis der Vorgänger selbst wieder filtern/bearbeiten usw.
Der große Unterschied ist v.a., dass die Verbindungen der Schichten und ihre Kopplungsstärke nicht einprogrammiert werden, sondern mittels diverser (abstrakter, mathematischer) Verfahren über das erwünschte Input-Output-Verhältnis trainiert werden.

Auch, ohne mich besonders kundig gemacht zu haben und ohne einen Link bieten zu können:
Es kann sich grundsätzlich nur um eine Emulation handeln. Es gibt mW Ansätze zu Prozessoren, deren Befehlssätze für diese Emulation optimiert sind.
Step ist da bereits drauf eingegangen, indem er darauf hinwies, dass auch im Moment bereits meistens keine Standard-CPUs sondern GPUs benutzt werden, deren Befehlsatz aus Blickrichtung der Emulation neuronaler Netze nicht so viel Ballast mitschleppen und deshalb effizienter arbeiten. Der Rest von Steps Antwort bezieht sich schon auf Details der Emulation.

@DrBecks: Auf der Antwortebene, die Du anscheinend anstrebst:
Neuronale Netze laufen auf "normalen" Computern in Form von Programmen. Wir haben die Neuronen auf der physiologischen Seite noch viel zu wenig verstanden, um versuchen zu können, ihre Funktion mit speziellen Schaltkreisen direkt nachzubauen. Wir haben nur die Funktion soweit verstanden, dass wir diese in Programmen nachbauen können.
_________________
Ich glaube an die Existenz der Welt in der ich lebe.

The skills you use to produce the right answer are exactly the same skills you use to evaluate the answer. Isso.

Es gibt keinen Gott. Also: Jesus war nur ein Bankert und alle Propheten hatten einfach einen an der Waffel (wenn es sie überhaupt gab).
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
sehr gut
dauerhaft gesperrt



Anmeldungsdatum: 05.08.2007
Beiträge: 14852

Beitrag(#2169294) Verfasst am: 07.03.2019, 16:46    Titel: Antworten mit Zitat

sponor hat folgendes geschrieben:
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Ein "Neuronalprozessor" wär auf einen bestimmten Zweck optimiert, während "Standard-CPU" mehr so wie ein Schweizer-Messer mit 25 Werkzeugen oder Ganzjahresreifen sind: es geht, aber ein Spezialgerät(Schere,Winterreifen) kann effektiver sein.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
sponor
registrierter User



Anmeldungsdatum: 16.05.2008
Beiträge: 1712
Wohnort: München

Beitrag(#2169302) Verfasst am: 07.03.2019, 17:33    Titel: Antworten mit Zitat

sehr gut hat folgendes geschrieben:
sponor hat folgendes geschrieben:
Das ist idR nur Software, die auf Standard-Hardware läuft. Oder vmtl. auch auf Nicht-Standard-Hardware bei den krasseren Szenarien, also z.B. bei Google oder Facebook im Data Center; die entwickeln auch mal gern selbst Chips (oder lassen entwickeln), wenn sie an Grenzen stoßen.

Ein "Neuronalprozessor" wär auf einen bestimmten Zweck optimiert, während "Standard-CPU" mehr so wie ein Schweizer-Messer mit 25 Werkzeugen oder Ganzjahresreifen sind: es geht, aber ein Spezialgerät(Schere,Winterreifen) kann effektiver sein.

Schon klar. Meine Definition von "Standard-Hardware" sollte hier auch irgendwelche grotesk überzüchteten GPU-Boards mit einschließen. Halt alles, was man so fertig kaufen kann und wo man nicht erst einen Forschungsauftrag an Intel vergeben muss, o.ä. zwinkern
_________________
Unsere Welt wird noch so fein werden, daß es so lächerlich sein wird, einen Gott zu glauben als heutzutage Gespenster.
(G. Chr. Lichtenberg)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
step
registriert



Anmeldungsdatum: 17.07.2003
Beiträge: 22767
Wohnort: Germering

Beitrag(#2169332) Verfasst am: 07.03.2019, 20:08    Titel: Antworten mit Zitat

DrBecks hat folgendes geschrieben:
So richtig habt ihr meine Frage wohl nicht verstanden, jedenfalls step nicht. Also nochmal: Sind die einzelnen Neuronen in einem KNN tatsächlich existierende elektronische Bauteile, ähnlich wie Transistoren, die dann per elektrischen Leitungen verbunden werden?

Nein.

DrBecks hat folgendes geschrieben:
Oder wird alles per Software simuliert?

Ja.

Im allgemeinen werden nur die Prinzipien simuliert, nicht die Neuronen selbst. Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen.
_________________
Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
DrBecks
Haijopai



Anmeldungsdatum: 29.09.2004
Beiträge: 87

Beitrag(#2169454) Verfasst am: 08.03.2019, 15:52    Titel: Antworten mit Zitat

Ah, jetzt weiß ich Bescheid. Idee
Danke für die letzten Antworten!
_________________

"Der Mensch mit Charakter lebt zu Hause, ohne seinen Geist zu üben, und handelt, ohne sich Gedanken darum zu machen... Er wirkt dümmlich und geht umher wie jemand, der von seinem Weg abgekommen ist. Er hat reichlich Geld zum Ausgeben, weiß aber nicht, woher es kommt." (Tschuang-tse)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden Website dieses Benutzers besuchen
VanHanegem
Weltmeister



Anmeldungsdatum: 24.04.2006
Beiträge: 2951

Beitrag(#2171650) Verfasst am: 22.03.2019, 22:53    Titel: Antworten mit Zitat

step hat folgendes geschrieben:
Es gibt allerdings exotische Ausnahmen, etwa innerhalb des Human Brain Projects wurden mW auch Versuche veranstaltet, Neuronen zu simulieren, also eine ähnliche Struktur wie im Gehirn aufzusetzen.

glaube kaum, dass neuronale Netze in Hardware heute noch zu den "exotischen Ausnahmen" gehören

https://www.elektronikpraxis.vogel.de/welche-hardware-eignet-sich-besser-zur-ki-beschleunigung-a-720869/

Schließlich ist ein Neuron nur Addierer+Schalter und von den Dingern bringt man locker 10^6 ... 10^9 auf einem Chip so unter, dass die parallel arbeiten. Das ist dann allemal schneller, als sie seriell in einer Simulation durchzuleiern
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
VanHanegem
Weltmeister



Anmeldungsdatum: 24.04.2006
Beiträge: 2951

Beitrag(#2171701) Verfasst am: 23.03.2019, 10:09    Titel: Antworten mit Zitat

Sorry, nur der Vollständigkeit halber: in jede Verbindung gehört noch ein Proportionalglied (Verstärker). Mit der zum Lernen nötigen Ansteuerung von außen.
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
step
registriert



Anmeldungsdatum: 17.07.2003
Beiträge: 22767
Wohnort: Germering

Beitrag(#2171714) Verfasst am: 23.03.2019, 11:31    Titel: Antworten mit Zitat

VanHanegem hat folgendes geschrieben:
glaube kaum, dass neuronale Netze in Hardware heute noch zu den "exotischen Ausnahmen" gehören

https://www.elektronikpraxis.vogel.de/welche-hardware-eignet-sich-besser-zur-ki-beschleunigung-a-720869/

Schließlich ist ein Neuron nur Addierer+Schalter und von den Dingern bringt man locker 10^6 ... 10^9 auf einem Chip so unter, dass die parallel arbeiten. Das ist dann allemal schneller, als sie seriell in einer Simulation durchzuleiern

Natürlich wird Hardware verwendet, die Software muß ja irgendwo laufen. Natürlich verwendet man solche Hardware, die eine hohe Parallelisierung ermöglicht. Und natürlich gibt es dedizierte Hardware, die das besonders optimiert (z.B. die TPU, die ja auch in Deinem link genannt wird). Ich würde das aber nicht "neuronales Netz in Hardware nennen, denn letztlich läuft da aber überall Software, eine mit Strom und Rohdaten versorgte TPU würde von allein gar nichts lernen.
_________________
Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
VanHanegem
Weltmeister



Anmeldungsdatum: 24.04.2006
Beiträge: 2951

Beitrag(#2172163) Verfasst am: 26.03.2019, 11:01    Titel: Antworten mit Zitat

Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
step
registriert



Anmeldungsdatum: 17.07.2003
Beiträge: 22767
Wohnort: Germering

Beitrag(#2172177) Verfasst am: 26.03.2019, 13:53    Titel: Antworten mit Zitat

VanHanegem hat folgendes geschrieben:
Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?

Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht.
_________________
Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
VanHanegem
Weltmeister



Anmeldungsdatum: 24.04.2006
Beiträge: 2951

Beitrag(#2173213) Verfasst am: 03.04.2019, 08:54    Titel: Antworten mit Zitat

step hat folgendes geschrieben:
VanHanegem hat folgendes geschrieben:
Die Daten zum Anlernen werden sicher erst mal durch einen normalen Rechner mit normaler Software auf einer normalen HD bereitgestellt. Aber wieso muss das Anpassen von Schwellwerten und Gewichtsfaktoren beim back propagation unbedingt über ein Softwaremodell laufen?

Sagt niemand, daß es das muß. Hat aber den Vorteil, daß man flexibler ist bei der Anpassung des Netzes, wenn man nur die parallel-rechenintensivsten Teile in HW macht.

Die Anpassung der Gewichtsfaktoren gehört doch zu den parallel-rechenintensivsten Teilen. Schließlich geht die Anzahl der Verbindungen quadratisch mit den Neuronen.
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Landei
Gesinnungspolizist



Anmeldungsdatum: 27.02.2011
Beiträge: 1180
Wohnort: Sandersdorf-Brehna

Beitrag(#2173971) Verfasst am: 09.04.2019, 13:05    Titel: Antworten mit Zitat

Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" und kann überall da laufen, wo andere Programme das auch tun (wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann).

Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu.

Historisch gesehen waren übrigens die ersten KNN-Modelle nicht am Gehirn orientiert, sondern am Auge. Da der Sehnerv nicht ausreicht, alle visuellen Informationen ungefiltert durchzureichen, findet bereits im Auge eine Vorverarbeitung statt (z.B. Erkennen von Kanten, Bewegungen u.s.w.). Für das Verständnis heutiger KNN ist es vielleicht eine gute Idee, mal den Artikel zu dieser "Urversion" zu lesen: https://de.wikipedia.org/wiki/Perzeptron
_________________
Der Islam gehört auf den Müllhaufen der Geschichte. Diese Gotteslehre eines unmoralischen Beduinen ist ein verwesender Kadaver, der unser Leben vergiftet. (Kemal Atatürk)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
VanHanegem
Weltmeister



Anmeldungsdatum: 24.04.2006
Beiträge: 2951

Beitrag(#2176273) Verfasst am: 28.04.2019, 10:16    Titel: Antworten mit Zitat

Landei hat folgendes geschrieben:
Ein KNN benötigt keine spezielle Hardware, es ist prinzipiell ein "ganz normales Programm" ... Programmtechnisch besteht ein KNN aus mehreren Schichten von "Neuronen", und Verbindungen zwischen diesen (normalerweise nur von der ersten Schicht zur zweiten, von der zweiten zur dritten u.s.w., aber es gibt auch andere Modelle, auch rekursive). Dabei sind - wie im Gehirn - normalerweise nicht die Neuronen das Entscheidende, sondern die Verbindungen, deren richtige "Gewichte" so lange gelernt werden müssen, bis das Netz zu einem Input den "richtigen" Output liefert. Die Eingangs- und Ausgangswerte sind einfach Listen von Zahlen, man muss also immer noch die Fragestellung und Antwort geeignet codieren (z.B. die Pixel von Bildern vorverarbeiten, damit die Menge an Input-Daten nicht so riesig ist). Manche Netze besitzen eine Lern- und eine Arbeitsphase (sind also irgendwann "fertig" und werden nur noch benutzt), andere lernen ständig dazu.

Programmtechnisch (soweit als "ganz normales Programm" realisiert) sind das dann eben gerade keine Schichten, sondern (wie Du dann weiter unten ja auch selbst richtig schreibst) Arrays (Listen). Eine Interpretation der Werte als in Schichten angeordnete Neuronen, die über Verbindungen mit Gewichtsfaktoren verknüpft sind findet dann erst übers indirekt Programm statt, was dann zu dem exorbitanten Rechenaufwand führt wie von Dir richtig erwähnt:
Landei hat folgendes geschrieben:
wobei natürlich bestimmte Anwendungen so rechenintensiv sein können, dass das rein praktisch gesehen nur ein Supercomputer erledigen kann



In Summe stimmt zwar
Landei hat folgendes geschrieben:
Ein KNN benötigt keine spezielle Hardware

ist aber für anspruchsvollere Anwendungen nicht praktikabel. Als Alternative (Vorstufe?) zu einem expliziten Aufbau eines KNN in Hardware werden heute Tensor Processing Units zur Erhöhung der Parallelität verwendet. m.W. auch auf Graphik Karten für Standard PCs verfügbar. Strategien der Erhöhung der Konnektivität durch Cluster Systemarchitekturen lehnen sich m.E. jedoch direkt an die Grundidee der NN an.
_________________
Hup Holland Hup, Oranje winnt de cup (2022)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
zelig
Kultürlich



Anmeldungsdatum: 31.03.2004
Beiträge: 25404

Beitrag(#2284875) Verfasst am: 31.07.2022, 10:06    Titel: Antworten mit Zitat

Zitat:
Das Konnektom ist eines der heißesten Themen der Hirnforschung – eine Art Anatomie 2.0, doch weit jenseits der Grenzen von 1.0. So wurde erst unlängst beim Menschen ein doppeltes Netz hemmender Interneurone entdeckt. Moritz Helmstaedter, einer der führenden Konnektom-Forscher berichtet hier über Entwicklung, Stand, Perspektive und Bedeutung.


https://www.spektrum.de/video/das-konnektom-perspektive/2042638
_________________
Es gibt kein richtiges Leben im falschen.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Beiträge der letzten Zeit anzeigen:   
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik Alle Zeiten sind GMT + 1 Stunde
Seite 1 von 1

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.



Impressum & Datenschutz


Powered by phpBB © 2001, 2005 phpBB Group